Основи інженерії штучного інтелекту 10-11 класи

12.1. Моделювання простої мовної моделі

Мовні моделі - це клас алгоритмів штучного інтелекту, які вміють працювати з текстом. Їх головне завдання - передбачати, яке слово найімовірніше з'явиться далі в тексті, враховуючи попередні слова. Хоча сучасні мовні моделі (як-от GPT чи BERT) побудовані на складних нейронних мережах, ми можемо зрозуміти основний принцип їх роботи на простішому прикладі.

Практична робота: Створення простої мовної моделі

Мета: Навчитися створювати базову мовну модель, яка передбачає наступне слово на основі двох попередніх слів.

Хід роботи:

1. Підготовка даних:
   • Візьміть будь-який текст для навчання моделі
   • Розбийте його на групи по три слова, де перші два будуть контекстом, а третє - тим, що модель має передбачити
2. Створення моделі в Orange:
   • Додайте блок Select Columns
   • Виберіть колонку context як ознаку (Feature)
   • Виберіть колонку next_token як цільову змінну (Target)
   • Використайте Bag of Words або TF-IDF для перетворення слів у числа
   • Додайте модель машинного навчання (Logistic Regression або Naive Bayes)
3. Тестування моделі:
   • Використайте блок Test & Score для оцінки якості моделі
   • Перевірте роботу моделі на нових прикладах через блок Predict

Висновок: Створена модель вчиться знаходити закономірності в тексті - які слова найчастіше йдуть після певних комбінацій інших слів. Наприклад, якщо в навчальних даних після слів "червона" та "машина" часто зустрічається слово "їде", модель буде пропонувати саме це слово. Цей простий принцип лежить в основі сучасних чат-ботів та систем обробки тексту, хоча вони використовують значно складніші алгоритми.