Компанія Anthropic оновила свою політику використання чат-бота Claude у відповідь на зростаючі побоювання щодо безпеки. Окрім введення більш жорстких правил кібербезпеки, Anthropic тепер чітко зазначає, які небезпечні види зброї не можна розробляти за допомогою Claude.
У пості, що підсумовує зміни, Anthropic не акцентує уваги на корекціях у своїй політиці щодо зброї, проте порівняння старої та нової версій політики виявляє суттєву різницю. Раніше компанія забороняла використовувати Claude для “виробництва, модифікації, проектування, маркетингу або розповсюдження зброї, вибухових речовин, небезпечних матеріалів чи інших систем, що призначені для заподіяння шкоди або втрати людського життя”. Однак оновлена версія додає конкретні заборони на розробку високоякісних вибухівок, а також біологічної, ядерної, хімічної та радіологічної зброї.
У травні Anthropic ввела захист “AI Safety Level 3” разом із запуском нової моделі Claude Opus 4. Ці засоби безпеки покликані ускладнити злом моделі, а також допомогти запобігти її використанню для розробки зброї CBRN.
В своєму повідомленні Anthropic також визнає ризики, пов’язані з агентними AI-інструментами, такими як Computer Use, який дозволяє Claude отримати контроль над комп’ютером користувача, а також Claude Code — інструмент, що вбудовує Claude безпосередньо в термінал розробника. “Ці потужні можливості створюють нові ризики, включаючи потенціал для масштабованого зловживання, створення шкідливого програмного забезпечення та кібератак”, — пише Anthropic.
AI-стартап реагує на ці потенційні ризики, включивши новий розділ “Не підривати комп’ютерні або мережеві системи” у свою політику використання. Цей розділ містить правила, що забороняють використовувати Claude для виявлення чи експлуатації вразливостей, створення або розповсюдження шкідливого ПЗ, розробки інструментів для атак на відмову в обслуговуванні та інше.
Додатково, Anthropic пом’якшує свою політику щодо політичного контенту. Замість заборони на створення всіх видів контенту, пов’язаного з політичними кампаніями та лобіюванням, Anthropic тепер забороняє використовувати Claude лише для “використання, що є обманливим або руйнівним для демократичних процесів, або пов’язаним з націлюванням на виборців та кампанії.” Компанія також уточнила, що її вимоги до всіх “високих ризиків” використання, які застосовуються, коли люди використовують Claude для надання рекомендацій фізичним особам чи клієнтам, стосуються лише споживчих сценаріїв, а не бізнес-употреб.