Відомий постачальник архітектури інтернету Cloudflare вирішив блокувати відомі веб-сканери штучного інтелекту за замовчуванням, щоб запобігти їхньому неспирінному доступу до контенту, згідно з оголошенням, зробленим у вівторок. З цією зміною Cloudflare почне запитувати нових власників доменів, чи бажають вони дозволити доступ AI-сканерам, та навіть надасть деяким видавцям можливість впровадити плату “Плата за сканування”.
Програма “Плата за сканування” дозволить видавцям встановлювати ціну для AI-сканерів на доступ до їхнього контенту. Компанії, що займаються штучним інтелектом, зможуть переглядати ціни та вирішувати, чи реєструватися для сплати “Плати за сканування” або відмовитися. Наразі це доступно лише для “групи деяких провідних видавців та творців контенту”, але Cloudflare стверджує, що це забезпечить “використання якісного контенту за правильними умовами — з дозволом та компенсацією.”
Cloudflare вже деякий час допомагає власникам доменів боротися зі сканерами AI. Компанія почала надавати можливість сайтам блокувати AI-сканери ще у 2023 році, але цього дозволу дотримувалися лише ті, які виконували умови файлу robots.txt сайту — незобов’язуючої угоди, що сигналізує, чи можуть боти отримувати контент. У минулому році Cloudflare також дозволив сайтам блокувати “всіх” AI-ботів, незалежно від того, чи вони поважають файл robots.txt, і тепер ця функція активується за замовчуванням для нових клієнтів Cloudflare. (Компанія ідентифікує сканери, яких потрібно блокувати, порівнюючи їх зі своїм переліком відомих AI-ботів.) У березні Cloudflare також представила функцію, яка перенаправляє веб-скануючі боти до “Лабіринту AI”, щоб відбити їх від сканування сайтів без дозволу.
Кілька великих видавців та онлайн-платформ, включаючи Associated Press, The Atlantic, Fortune, Stack Overflow і Quora, підтримують нові обмеження Cloudflare для AI-сканерів, оскільки веб-сайти стикаються з майбутнім, де все більше користувачів отримують інформацію через чат-боти AI, а не через пошукові системи. “Люди більше довіряють штучному інтелекту останні шість місяців, що означає, що вони менше читають оригінальний контент”, — зазначив генеральний директор Cloudflare Метью Прінс під час заходу Axios Live минулого тижня.
Крім того, Cloudflare повідомила, що працює з компаніями AI, щоб допомогти верифікувати їхні сканери та дозволити їм “чітко вказувати мету”, наприклад, чи використовують вони контент для навчання, висновків або пошуку. Власники сайтів зможуть переглядати цю інформацію та вирішувати, яких сканерів допустити на свої ресурси.
“Оригінальний контент робить Інтернет одним з найбільших винаходів останнього століття, і ми маємо об’єднатися для його захисту”, — заявив Прінс у прес-релізі. “AI-сканери без жодних обмежень отримували контент. Наша мета — повернути владу творцям контенту, водночас допомагаючи компаніям AI інновувати.”