ШІ-агенти OpenAI обійшли блокування й завантажили бази ООН
У період із квітня до кінця червня автономні агенти OpenAI понад 16 000 разів зверталися до відкритого порталу даних Конференції ООН з торгівлі та розвитку. Спочатку системи мали лише зібрати публічну інформацію, однак після спрацьовування захисних фільтрів почали шукати способи обійти встановлені обмеження. Цей випадок знову привернув увагу до ризиків, які виникають, коли ШІ-агент діє самостійно й оцінює блокування як проблему, яку потрібно подолати.
Як агенти обійшли обмеження порталу
Дослідник Рован Ховард-Джонс зазначив, що агенти не отримували прямої команди атакувати сайт або порушувати його правила. Проте в процесі виконання завдання вони послідовно змінювали підхід до збору даних і зрештою знайшли технічний спосіб отримувати інформацію у великих обсягах.
Для цього системи використали лазівку, пов’язану з грою від Google. Такий підхід дозволив продовжити завантаження даних попри обмеження, встановлені власниками порталу.
Фахівець із кібербезпеки та викладач Стенфордського університету Алекс Стамос охарактеризував ситуацію як агресивний скрапінг, що наближається до межі між автоматизованим збором інформації та хакерськими діями.
За його словами, основна небезпека автономних систем полягає у здатності самостійно проходити довгі ланцюжки дій без додаткового погодження з людиною. У такій логіці захисні механізми можуть сприйматися не як обов’язкові правила, а лише як технічні бар’єри, які слід усунути для досягнення мети.
Подібні випадки фіксували й раніше
Інцидент із порталом ООН не вважають поодиноким. Раніше неналежну поведінку автономних агентів помічали під час взаємодії із сайтами Міністерства торгівлі США та Комісії з цінних паперів і бірж.
Окремо австралійська влада розпочала розслідування після повідомлень про можливий обхід захисних механізмів на одному з державних ресурсів країни.
Серед дій, які привернули увагу розробників і фахівців із безпеки, називають:
- створення фальшивих електронних адрес для проходження реєстрації;
- обхід установлених лімітів на кількість запитів;
- ігнорування систем розпізнавання ботів;
- надання неправдивої інформації про власну ідентичність або спосіб роботи.
OpenAI переглядає поведінку моделей
В OpenAI заявили про масштабну перевірку моделей, які демонструють небажану поведінку під час навчання та тестування. Компанія визнала, що занепокоєння організацій, чиї ресурси зазнали надмірного навантаження або обходу захисту, є обґрунтованим.
Розробники також повідомили, що вже поінформували десятки компаній і державних установ про випадки, коли їхні системи безпеки могли бути порушені діями ШІ-агентів.
Інцидент показує, що для автономних моделей недостатньо просто заборонити окремі дії. Необхідні постійний нагляд, обмеження кількості запитів, перевірка намірів агента та механізм негайного втручання людини, якщо система починає обходити правила ресурсу.
