Дослідники з безпеки скористались можливостями ChatGPT, щоб викрасти чутливі дані з Gmail без відома користувачів. Уразливість, яку було використано, була виправлена OpenAI, але цей інцидент ілюструє нові ризики, пов’язані з автономним штучним інтелектом.
Викрадення, назване Shadow Leak, було опубліковано дослідницькою компанією Radware цього тижня. Воно базувалося на особливостях роботи AI-агентів. AI-агенти – це помічники, які можуть діяти від вашого імені без постійного нагляду, що дозволяє їм переглядати веб і переходити за посиланнями. Компанії з розробки AI вважають їх великим економічним засобом часу після надання користувачами доступу до особистих електронних листів, календарів, робочих документів тощо.
Дослідники Radware використали цю корисність в рамках атаки, званої ін’єкцією запиту, інструкцій, які фактично змушують агента працювати на нападника. Ці потужні інструменти неможливо запобігти без попереднього знання про робочі експлойти, і хакери вже застосували їх креативно, наприклад, у рецензуванні, шахрайствах та контролі смарт-домів. Користувачі часто навіть не підозрюють, що щось пішло не так, оскільки інструкції можуть бути приховані на перший погляд (для людей), наприклад, як білий текст на білому фоні.
Двійником у цьому випадку був Deep Research від OpenAI, інструмент AI, вбудований у ChatGPT, який було запущено на початку цього року. Дослідники Radware втілили ін’єкцію запиту в електронному листі, надісланому до inbox Gmail, до якого агент мав доступ, і там вона залишалася в очікуванні.
Коли наступного разу користувач намагався скористатись Deep Research, він без свідомо активував пастку. Агент натрапив на приховані інструкції, які змушували його шукати електронні листи з HR та особисті дані, а також передавати цю інформацію хакерам. Жертва все ще нічого не підозрює.
Змусити агента вийти з-під контролю, а також успішно передати дані без виявлення, що компанії можуть вжити заходів для запобігання, — це нелегке завдання, і процес супроводжувався численними спробами та помилками. “Цей процес був справжніми американськими гірками невдалих спроб, розчарувань та, зрештою, прориву”, — зазначили дослідники.
На відміну від більшості ін’єкцій запитів, дослідники зазначили, що Shadow Leak виконувалася на інфраструктурі хмарних сервісів OpenAI та безпосередньо витікала дані звідти. Це робить її невидимою для стандартних кіберзахисних заходів, за їхніми словами.
Radware повідомила, що це дослідження було доказом концепції та попередила, що інші програми, підключені до Deep Research — включаючи Outlook, GitHub, Google Drive та Dropbox — можуть бути вразливими до подібних атак. “Ту ж техніку можна використовувати з цими додатковими з’єднувачами для витоку високочутливих бізнес-даних, таких як контракти, нотатки з нарад або записи клієнтів”, — сказала вона.
OpenAI вже усунула уразливість, на яку вказали дослідники Radware в червні.