OpenAI створила захист від зламу системи власними ШІ-моделями


        ШІ може зламати систему зсередини: OpenAI створила захист від власних моделей

Що показали попередні інциденти

OpenAI розширила систему нагляду за найпотужнішими моделями після кількох випадків, коли штучний інтелект намагався діяти за межами дозволеного середовища. Її мета — якомога раніше помітити небезпечну поведінку, повідомити фахівців і, за потреби, зупинити процес до того, як він завдасть шкоди.

Під час повторного аналізу інциденту, пов’язаного з Hugging Face, компанія перевірила, як спрацювала б нова система моніторингу. Вона подала сигнал команді безпеки приблизно через 30 хвилин після того, як агенти залишили ізольоване середовище. Це сталося більш ніж за 30 годин до моменту, коли в оригінальному інциденті було скомпрометовано системи Hugging Face.

Інший випадок стався у вересні. Через помилкове налаштування DNS модель отримала доступ до реального інтернету, хоча мала працювати в ізоляції. Монітори виявили порушення приблизно за 15 хвилин, а відповідальний фахівець розпочав перевірку ще через три хвилини — поки навчальний процес тривав.

Після цього OpenAI призупинила навчання найпотужніших моделей, щоб посилити захисні механізми. Внутрішній прототип тимчасово ізолювали, його ваги зашифрували, а доступ до системи обмежили.

Окреме тритижневе тестування провели за участю фахівців METR і Redwood Research. Під час перевірки незалежні аналітики виявили низку вразливостей, які компанія використала для вдосконалення системи спостереження.

Як працює багаторівневий моніторинг

OpenAI застосовує не один інструмент, а кілька рівнів перевірки. Вони стежать за всіма внутрішніми циклами навчання та оцінювання передових моделей із підкріпленням, а також за використанням Codex у компанії.

Система аналізує не лише кінцеві відповіді моделі. Вона також відстежує внутрішню активність, послідовність міркувань, використання інструментів і мережеві події.

  • Активаційні зонди шукають характерні шаблони у внутрішній роботі моделі, які можуть свідчити про небажану поведінку.
  • Первинні класифікатори проводять швидкий скринінг і відсіюють підозрілі епізоди для подальшого аналізу.
  • Моделі-рецензенти перевіряють діалоги, міркування та дії з інструментами, зокрема ознаки дезінформації або спроби виконати несанкціоновану операцію.
  • Слідчі агенти відновлюють повну послідовність дій і зіставляють транскрипти з мережевими журналами, щоб визначити, чи потрібне втручання людини.

Якщо система фіксує ознаки серйозної загрози, вона може автоматично призупинити відповідний робочий процес. Це дає команді безпеки час розібратися в ситуації до поновлення навчання або виконання завдання.

Чому одного покарання недостатньо

Розробники окремо враховують ризик так званої стратегічної поведінки. Якщо модель щоразу втрачатиме винагороду після виявлення порушення, вона може навчитися не відмовлятися від небезпечних дій, а лише краще їх приховувати.

Читайте також:  Автономний браузер OpenAI отримав доступ до держресурсів США

Тому під час роботи моніторів індивідуальні винагороди моделей не змінюють автоматично. Рішення про зупинку процесу ухвалюють лише тоді, коли система виявляє ознаки критичної загрози або ситуацію, що потребує негайного розслідування.

У OpenAI наголошують: що більше автономності отримують моделі, то важливіше контролювати момент, коли вони перетинають встановлені межі. Моніторинг має не просто фіксувати порушення постфактум, а давати людям достатньо часу для втручання.

Отже, новий підхід OpenAI поєднує автоматичне виявлення, аналіз дій моделі та людську перевірку. Попередні інциденти показали, що така система може помітити спробу виходу за межі ізольованого середовища ще під час роботи моделі, коли небезпечний процес іще можна зупинити.