У недавньому матеріалі досліджувалися деякі обмеження моделей розуміння, навчених за допомогою посилення навчання. Наприклад, одне з досліджень виявило дивні нерегулярності в тому, як моделі зазнають невдачі. Claude 3.7 Sonnet зміг виконати до 100 правильних ходів у Вежі Ханоя, але зазнав поразки через п’ять ходів у задачі про перетин річки, незважаючи на те, що остання вимагала менше загальної кількості ходів.
Висновок: Навчання з підкріпленням зробило можливими агентів
Одним з найобговорюваніших застосувань великих мовних моделей (LLMs) у 2023 році стало створення чат-ботів, які можуть обробляти внутрішні документи компанії. Звичайний підхід до цієї проблеми називається RAG — скорочено від retrieval augmented generation.
Коли користувач ставить запитання, система RAG виконує пошук на основі ключових слів або векторів, щоб знайти найбільш релевантні документи. Потім ці документи вставляються у контекстну область LLM перед генеруванням відповіді. Системи RAG можуть бути вражаючими в демонстраціях, але на практиці їх ефективність часто виявляється низькою, оскільки один пошук зазвичай не виявляє найрелевантніші документи.
На сьогоднішній день існує можливість створення набагато кращих систем інформаційного пошуку, дозволяючи самій моделі вибирати запити. Якщо перший пошук не дає потрібних документів, модель може змінити запит і спробувати ще раз. Модель може виконати п’ять, 20 або навіть 100 пошуків, перш ніж надати відповідь.
Проте цей підхід працює лише якщо модель має агентні властивості, здатна залишатися на задачі протягом декількох раундів пошуку і аналізу. Раніше, до 2024 року, LLMs не справлялися з цим, як показали приклади AutoGPT і BabyAGI. Сучасні моделі значно покращилися, що дозволяє системам сучасного типу RAG отримувати кращі результати з меншими витратами.
Теж саме можна сказати про інші агентні додатки, про які я згадував на початку статті, такі як агенти для програмування та використання комп’ютера. У всіх цих систем є спільна риса — здатність до ітераційного мислення. Вони аналізують ситуацію, здійснюють дію, оцінюють результат, виконують нову дію і так далі.
Тимоті Б. Лі працював у Ars Technica з 2017 по 2021 рік. Сьогодні він пише Understanding AI, інформаційний бюлетень, що досліджує, як працює штучний інтелект і як він змінює наш світ. Ви можете підписатися тут.