Вчені: безпечність ШІ не можна довести за 8 квадрильйонів років
Безпека штучного інтелекту має не лише інженерний, а й фундаментальний математичний бар’єр. Навіть надпотужний комп’ютер не здатен швидко перевірити всі можливі варіанти поведінки складної системи, а для частини програм узагалі не існує універсального алгоритму, який гарантував би правильний результат. Саме тому розробники ШІ спираються не на абсолютні докази, а на поєднання тестування, обмежень імовірності помилок та практичних компромісів.
Дві математичні межі
Комбінацій стає надто багато
Одна з класичних задач комбінаторики — пошук найкоротшого маршруту для кур’єра, який має відвідати кілька міст і повернутися до початкової точки. Для невеликої кількості міст комп’ютер може перебрати всі варіанти майже миттєво.
Однак зі збільшенням кількості пунктів кількість можливих маршрутів зростає не лінійно, а експоненційно. Для 10 міст завдання ще залишається простим, але для 20 кількість комбінацій сягає приблизно 2,4 квінтильйона.
Повний перебір такого набору на звичайному комп’ютері може тривати десятки років. Для 30 міст кількість варіантів уже вимірюється числом із десятками нулів — понад 260 нонільйонів. Навіть найшвидшим сучасним системам знадобилися б астрономічні проміжки часу, щоб перевірити їх усі.
Умовна оцінка для повного перебору 30 міст — близько 8,4 квадрильйона років. Це приблизно у 600 тисяч разів більше за вік Всесвіту.
Проблема тут не лише в недостатній потужності конкретного процесора. Навіть якщо комп’ютери стануть у тисячу чи мільйон разів швидшими, кількість нових комбінацій зростатиме ще стрімкіше.
Деякі властивості програм неможливо перевірити універсально
Друга межа пов’язана не зі швидкістю обчислень, а з принциповою нерозв’язністю окремих задач. Теорема Райса, сформульована в 1950-х роках, показує: для довільної програми не існує універсального алгоритму, який міг би визначити, чи має вона будь-яку нетривіальну властивість, пов’язану з її поведінкою.
Простіше кажучи, неможливо створити перевірку, яка для будь-якого коду наперед і безпомилково гарантувала б: програма за всіх можливих умов працюватиме саме так, як задумав розробник.
Це не означає, що окремі програми не можна аналізувати або тестувати. Йдеться про відсутність загального методу, здатного дати стовідсоткову відповідь для будь-якої системи та будь-якого сценарію.
Чому ці обмеження важливі для безпеки ШІ
Проблема вирівнювання ШІ полягає в тому, щоб система діяла відповідно до людських цілей, не завдавала шкоди та коректно реагувала на непередбачені ситуації. Вона одночасно стикається з обома математичними бар’єрами.
- Надмірна кількість варіантів. Якщо перевіряти лише шість параметрів безпеки, а кожен із них може мати 10 значень, уже виникає мільйон комбінацій. У реальних моделях кількість параметрів, контекстів і можливих команд значно більша.
- Неможливість повної гарантії. Не можна математично довести, що складний ШІ безпечно поводитиметься в абсолютно кожній ситуації, якщо система має широкий набір функцій і взаємодіє з відкритим середовищем.
- Непередбачуваність нових умов. Навіть успішні тести охоплюють лише певний набір сценаріїв. Нова команда, незвичне поєднання обставин або помилка в даних можуть створити ситуацію, якої не було під час перевірки.
Тому дослідники не намагаються довести безпеку ШІ одним універсальним математичним тестом. Натомість вони використовують обмежені моделі загроз, симуляції, перевірку коду, контроль доступу, моніторинг поведінки та поетапне розгортання систем.
Чи здатні квантові комп’ютери розв’язати проблему
Квантові обчислення можуть істотно прискорити пошук у деяких задачах. Наприклад, алгоритм Гровера дає квадратичне, а не експоненційне прискорення для пошуку в неструктурованому наборі даних.
У теоретичній моделі це означає, що завдання, на яке класичній системі потрібні десятки років, може виконуватися значно швидше. Для складніших наборів даних виграш також може бути великим, однак він не перетворює астрономічні обсяги обчислень на миттєву операцію.
Є й практичні обмеження: сучасні квантові комп’ютери мають обмежену кількість стабільних кубітів, схильні до помилок і потребують складної інфраструктури. Крім того, квадратичне прискорення не скасовує вибухового зростання кількості варіантів.
Отже, квантові технології можуть відсунути обчислювальну межу, але не усувають її. Якщо кількість параметрів і сценаріїв продовжить зростати, повний перебір знову стане непрактичним.
Чому на практиці шукають не ідеальний, а достатньо добрий результат
У прикладних задачах зазвичай не потрібно перевіряти кожну можливість. Логістичні компанії, наприклад, щодня прокладають маршрути для тисяч вантажівок за допомогою евристик — спрощених правил, які швидко знаходять дуже хороший варіант.
Такий маршрут може бути на кілька відсотків гіршим за теоретично ідеальний, зате його можна побудувати за секунди. Для бізнесу це часто набагато цінніше, ніж чекати роками на доказ абсолютної оптимальності.
Подібний підхід застосовують і в розробленні ШІ. Замість недосяжної гарантії безпеки за будь-яких умов створюють багаторівневий захист:
- обмежують доступ моделі до критичних дій;
- перевіряють її на великій кількості типових і небезпечних сценаріїв;
- використовують окремі системи моніторингу та фільтрації;
- залишають можливість втручання людини;
- поступово розширюють функціональність після додаткових перевірок.
Досконаліша модель не змінює законів математики. Вона лише точніше оцінює ситуації, краще узагальнює попередній досвід і рідше помиляється в межах перевірених сценаріїв.
Математика не робить безпечний ШІ неможливим, але показує межі обіцянок. Абсолютно перевірити складну систему в усіх можливих умовах не вдасться, тому реалістична стратегія полягає в поєднанні приблизних алгоритмів, обмежень, тестування та постійного контролю.
