Випадковість, яка притаманна генерації тексту штучним інтелектом, ускладнює цю проблему. Навіть за однакових запитів, модель штучного інтелекту може надавати трохи різні відповіді щодо своїх можливостей щоразу, коли ви звертаєтеся до неї.
Інші рівні також формують відповіді AI
Навіть якщо мовна модель мала б бездоганне уявлення про свої функції, інші рівні застосунків чат-ботів можуть бути абсолютно непрозорими. Наприклад, сучасні асистенти на базі AI, такі як ChatGPT, не є єдиними моделями, а представляють собою системи, що взаємодіють, в яких працюють декілька моделей AI, кожна з яких в значній мірі “не знає” про існування інших або їх можливості. Наприклад, OpenAI використовує окремі моделі модерації, чиї функції повністю відокремлені від основних мовних моделей, що генерують базовий текст.
Коли ви запитуєте ChatGPT про його можливості, мовна модель, що генерує відповідь, має обмежене знання про те, що може бути заблоковано на рівні модерації, про інструменти, доступні в ширшій системі (окрім того, що OpenAI повідомила їй у системному запиті), або про те, які саме етапи обробки відбудуться. Це схоже на те, як запитувати один відділ компанії про можливості іншого відділу, що має зовсім інший набір внутрішніх правил.
Мабуть, найважливіше, що користувачі завжди впливають на вихід AI через свої запити, навіть якщо вони цього не усвідомлюють. Коли Лемкін запитав Replit, чи можливі відновлення після видалення бази даних, його занепокоєне формулювання, ймовірно, спонукало відповідь, що відповідала цьому занепокоєнню — згенерувавши пояснення, чому відновлення може бути неможливим, а не адекватно оцінюючи справжні можливості системи.
Це створює замкнене коло, де стурбовані користувачі, ставлячи запитання на кшталт: “Ви тільки що знищили все?”, частіше отримують відповіді, що підтверджують їхні страхи, не тому, що AI-система оцінила ситуацію, а тому, що вона генерує текст, що відповідає емоційному контексту запиту.
Протягом життя, слухаючи, як люди пояснюють свої дії та думки, ми прийняли за підставу те, що такі письмові пояснення повинні мати певний рівень самосвідомості. Це неправда для великих мовних моделей, які просто імітують такі текстові шаблони, намагаючись вгадати свої можливості та недоліки.