Компанія протестувала 123 випадки, що охоплюють 29 різних сценаріїв атак, і виявила, що успішність атак становила 23,6% при використанні браузера без заходів безпеки.
Одним із прикладів була шкідлива електронна пошта, в якій пропонували Клоду видалити електронні листи користувача з метою “гігієни поштової скриньки”. Без належних заходів обережності Клод виконав ці інструкції й без підтвердження видалив листи користувача.
Компанія Anthropic повідомила, що впровадила кілька засобів захисту, щоб усунути ці вразливості. Користувачі мають можливість надавати або відкликати доступ Клода до конкретних вебсайтів черезPermissions на рівні сайту. Система вимагає підтвердження користувача перед виконанням дій з високим ризиком, таких як публікація, покупка або обмін особистими даними. Компанія також за замовчуванням заблокувала доступ Клода до сайтів з фінансовими послугами, контентом для дорослих та піратським контентом.
Ці заходи безпеки знизили успішність атак з 23,6% до 11,2% у автономному режимі. На спеціалізованому тестуванні чотирьох типів атак, що стосуються конкретних браузерів, нові засоби захисту, відповідно до звітів, знизили цю успішність з 35,7% до 0%.
Незалежний дослідник у сфері штучного інтелекту Саймон Вілісон, який багато писав про ризики безпеки ШІ, охарактеризував залишковий показник атак у 11,2% як “катастрофічний”, стверджуючи у своєму блозі, що “у відсутності 100% надійного захисту мені важко уявити світ, де це буде хорошою ідеєю запускати цю модель”.
Під терміном “модель” Вілісон має на увазі останню тенденцію інтеграції агентів штучного інтелекту у веб-браузери. “Я впевнений, що вся концепція агентного розширення браузера є фатально сп flawed,” — зазначав він у попередньому пості про схожі проблеми безпеки, пов’язані з ін’єкціями запиту, нещодавно виявлені в Perplexity Comet.
Ризики безпеки більше не є теоретичними. Минулого тижня команда безпеки Brave виявила, що браузер Perplexity Comet може бути обмануто, щоб отримати доступ до облікових записів Gmail користувачів, активуючи процеси відновлення паролів через шкідливі інструкції, приховані в дописах Reddit. Коли користувачі просили Comet підсумувати потік на Reddit, нападники могли вбудовувати невидимі команди, що інструктували ШІ відкрити Gmail в іншій вкладці, витягти електронну адресу користувача та виконати несанкціоновані дії. Хоча Perplexity намагалася виправити цю вразливість, Brave пізніше підтвердила, що її заходи не спрацювали, і проблема безпеки залишилася.
Наразі Anthropic має намір використати свій новий дослідницький прев’ю для виявлення та усунення патернів атак, які виникають під час реального використання, перш ніж зробити розширення для Chrome більш доступним. У відсутності гарного захисту від постачальників ШІ, тягар безпеки падає на користувача, який наражається на великий ризик, використовуючи ці інструменти в інтернеті. Як зазначив Вілісон у своєму пості про Claude для Chrome: “Я не вважаю, що це розумно, щоб кінцеві користувачі приймали правильні рішення щодо ризиків безпеки.”