Що прийде на зміну великим мовним моделям: нова хвиля генеративного ШІ

Великі мовні моделі (LLM) змінили уявлення про штучний інтелект. Вони дозволяють спілкуватися з комп’ютером як з людиною, створюють тексти, зображення, відео. Але в них є й серйозні недоліки. Вони вигадують факти, потребують багато обчислювальних ресурсів і не можуть вчитися в реальному часі. Через це дослідники шукають нові підходи, які можуть доповнити або частково замінити LLM.

Наразі складно сказати, яка саме технологія стане наступним проривом. Але вже зараз є кілька перспективних напрямів: логічні системи, моделі з безперервним навчанням, "рідинні" мережі й малі мовні моделі.

Що таке LLM?

LLM — це моделі, які навчаються на великих обсягах тексту. Найвідоміші з них — GPT, Claude і Llama — працюють на основі трансформерів. Вони розбивають текст на частини (токени) й аналізують їх паралельно. Це дозволяє їм розуміти контекст і генерувати змістовні відповіді.

Проте не всі LLM однакові. Деякі, як-от Mamba, використовують інші технічні підходи. А ще немає чітких правил, скільки даних потрібно, щоб модель вважалась «великою». 

У чому проблеми LLM?

Хоч LLM і справляють враження, вони не ідеальні. Ось основні труднощі:

• Фантазії замість фактів. LLM можуть видавати неправдиву інформацію. Це трапляється через спосіб, у який вони обробляють запити.
  
  

• Висока вартість. Їх потрібно тренувати на потужних комп’ютерах, а це дорого і повільно.
  
  

• Погана пам’ять. Вони не запам’ятовують нову інформацію під час використання.
  
  

• Не оновлюються автоматично. Щоб модель знала щось нове, її треба навчати з нуля.
  
  

• Не розуміють логіки. LLM працюють не на логіці, а на шаблонах із даних. Тому не можуть робити справжні висновки.
  
  

Ці обмеження створюють проблеми, наприклад, у юриспруденції або журналістиці, де важливі точність і актуальність. А ще використання LLM часто надто дороге для широкого впровадження.

Що може бути далі?

Ніхто не очікує, що LLM повністю зникнуть. Але їх, скоріше за все, доповнюватимуть інші підходи. Ось кілька з них:

Логічні системи

Це моделі, які працюють за чітко прописаними правилами. Вони були ще у 1950-х, наприклад, у грі в шашки. Проблема в тому, що важко передбачити всі ситуації й написати правила на кожну. Але ці системи можна поєднувати з LLM — щоб перевіряти їхні відповіді на логічні помилки.

Моделі з навчанням у реальному часі

Є проєкти, як-от AIGO, які створюють моделі, здатні самі оновлювати свої знання в процесі використання. Це поки експериментальні технології, але в них великий потенціал.

Рідинні нейромережі

Liquid networks здатні змінювати свої налаштування, коли отримують нову інформацію. Раніше їх використовували для роботи з часом (наприклад, в економіці чи медицині), але їх теж можна адаптувати для генерації тексту.

Малі мовні моделі (SLM)

Це менш потужні, але точніші й дешевші моделі. Вони краще працюють у вузьких сферах, де важлива точність — наприклад, у чат-ботах для банків або служб підтримки.

Висновок

LLM залишаться важливою частиною штучного інтелекту. Але попереду — ера комбінованих рішень. Команди розробників уже створюють нові типи моделей, які вчаться швидше, працюють точніше й дешевші у використанні. Майбутнє генеративного ШІ — це не одна «супермодель», а поєднання технологій, які взаємно підсилюють одна одну.

Авторка: Дар’я Бровченко

Джерело