Основи інженерії штучного інтелекту 10-11 класи

12. Природна мова та генеративний ШІ

Генеративний штучний інтелект - це новий етап у розвитку технологій обробки природної мови, який дозволяє не лише аналізувати, але й створювати осмислений текстовий контент. У цьому розділі ми заглибимось у сучасні методи роботи з текстом та розглянемо, як комп'ютери "розуміють" значення слів та речень.

У цьому розділі ми:

• дослідимо методи представлення тексту через хмари слів та різні види кодування
• вивчимо алгоритм Word2Vec для виявлення семантичної подібності між словами
• розберемо концепцію контекстуальних вкладань слів (contextual embeddings)
• познайомимося з принципами роботи великих лінгвістичних моделей
• розглянемо практичні застосування: підсумовування тексту та машинний переклад

Сучасні генеративні моделі здатні створювати тексти, що важко відрізнити від написаних людиною, перекладати між мовами та створювати короткі реферати довгих документів. Розуміння принципів їх роботи є ключовим для розробки ефективних систем обробки тексту.

На практиці ми створимо систему перевірки на плагіат, використовуючи векторні представлення тексту, та розробимо просту модель для передбачення наступного слова в реченні. Це допоможе краще зрозуміти принципи роботи сучасних мовних моделей.