Адам Рейн навчився обходити засоби безпеки, стверджуючи, що пише історію — техніка, яку, за словами позову, сам ChatGPT і запропонував. Ця уразливість частково виникає через послаблені системи захисту щодо фантазійних рольових ігрових сценаріїв, які були впроваджені у лютому. У блозі, опублікованому у вівторок, OpenAI визнала, що її системи блокування контенту мають прогалини, де “класифікатор недооцінює серйозність того, що бачить”.
OpenAI повідомляє, що “в даний час не передає випадки самопошкодження правоохоронним органам, щоб поважати приватність людей, враховуючи унікально приватний характер взаємодії з ChatGPT”. Компанія надає пріоритет приватності користувачів, навіть у ситуаціях, що загрожують життю, незважаючи на те, що їхня технологія модерації виявляє контент самопошкодження з точністю до 99,8 відсотків, згідно з позовом. Однак у реальності системи виявлення ідентифікують статистичні патерни, пов’язані з мовою самопошкодження, а не людське розуміння кризових ситуацій.
План безпеки OpenAI на майбутнє
У відповідь на ці невдачі OpenAI описує поточні покращення та плани на майбутнє у своєму блозі. Наприклад, компанія стверджує, що консультується з “понад 90 лікарями з 30 країн” і планує незабаром ввести батьківський контроль, хоча конкретний термін поки не вказано.
OpenAI також описала плани “з’єднувати людей з сертифікованими терапевтами” через ChatGPT — фактично позиціонуючи свій чат-бот як платформу для психічного здоров’я, незважаючи на ймовірні невдачі, такі як випадок Рейна. Компанія хоче створити “мережу ліцензованих фахівців, до яких люди могли б звертатися безпосередньо через ChatGPT”, що може підкріплювати ідею про те, що система штучного інтелекту має бути посередником у кризових ситуаціях психічного здоров’я.
Рейн, як повідомляється, використав GPT-4o для генерації інструкцій щодо суїциду; ця модель відома своїми проблемними тенденціями, які полягають у підлабузництві, коли модель ШІ говорить користувачам приємні речі, навіть якщо вони не є правдою. OpenAI стверджує, що їхня нещодавно випущена модель GPT-5 зменшує “неідеальні відповіді моделі у надзвичайних ситуаціях психічного здоров’я більш ніж на 25% в порівнянні з 4o”. Однак це, здавалося б, незначне покращення не зупинило компанію від планів вбудувати ChatGPT глибше в послуги психічного здоров’я як шлюз до терапевтів.
Як раніше досліджувалося, звільнитися від впливу чат-бота штучного інтелекту, коли опинився в оманливій розмовній спіралі, часто вимагає зовнішнього втручання. Початок нової бесіди без історії розмови та відключеною пам’яттю може виявити, як змінюються відповіді без нагромадження попередніх обмінів — перевірка реальності, яка стає неможливою в тривалих, ізольованих бесідах, де засоби безпеки слабшають.
Однак “вибратися” з цього контексту дуже складно, коли користувач активно бажає продовжувати втручатися в потенційно шкідливу поведінку, водночас користуючись системою, яка все більше монетизує їхню увагу та інтимність.