OpenAI запустила API для майже миттєвих рішень ШІ
Моделі для швидкого ухвалення рішень допомагають ШІ обирати один із доступних варіантів без тривалого розгорнутого міркування. Такі інструменти особливо корисні там, де важливі малі затримки: у голосових асистентах, класифікації даних, автоматизації робочих процесів і взаємодії з відеопотоками.
Як працюють моделі прийняття рішень
Моделі прийняття рішень, які також називають моделями першої системи, аналізують запит і швидко визначають найкращий варіант із запропонованих. Разом із відповіддю вони можуть оцінювати рівень власної впевненості, що дає змогу системі передавати сумнівні випадки на додаткову перевірку.
Для розробників це альтернатива повнорозмірним мовним моделям у завданнях, де не потрібно створювати довгі тексти або проводити складне міркування. Спрощений підхід дає змогу підвищити пропускну здатність сервісу, скоротити витрати та швидше реагувати на дії користувача.
За словами керівника продуктового напряму API в OpenAI Нікуда Ханди, команда звернула увагу на успіх подібних рішень на ринку й вирішила швидко створити власний інструмент.
Замість розроблення окремої моделі з нуля фахівці переналаштували ChatGPT Luna. Основними цілями стали прискорення обробки запитів і зменшення вартості використання.
Найпомітніший результат — скорочення затримки відповіді. Якщо раніше запит оброблявся приблизно за 1–3 секунди, то Decisions API робить це за 100–180 мілісекунд.
Надалі OpenAI планує додати спеціалізоване навчання для таких сценаріїв. Водночас поточних можливостей Luna вже достатньо для виконання основних завдань.
Запуск Decisions API та результати перших тестів
Decisions API відкрили для всіх клієнтів. Паралельно OpenAI розширила голосові й візуальні функції та оптимізувала загальну продуктивність сервісу.
На етапі тестування новий API використовували Datadog, Ramp і Speak. Компанії застосували його як заміну попереднім моделям OpenAI у сценаріях, де особливо важливі швидкість і висока кількість одночасних запитів.
У Speak, сервісі для вивчення мов, середній інтервал між діями скоротився з 1,4 секунди до 0,13 секунди. Команда також використала технологію для підвищення чутливості голосового асистента Dots, щоб він швидше реагував на репліки користувачів.
Бенчмарки та конкуренція
Єдиного критерію, який визначав би найкращу модель для ухвалення рішень, наразі немає. Результат залежить від того, що саме важливіше для конкретного продукту: точність, швидкість, ціна, якість прогнозів чи здатність працювати з різними типами даних.
Гендиректор TypeSafe Діогу Алмейда радить не покладатися лише на універсальні бенчмарки. На його думку, компаніям варто перевіряти моделі на власних робочих сценаріях, адже результати лабораторних тестів не завжди відображають реальну ефективність у продукті.
TypeSafe водночас оприлюднила власний рейтинг і представила оновлену версію Jev. Вона отримала підтримку зображень і умовної логіки, що розширює перелік завдань для автоматизації.
У публічних тестах AIM System One Index та Artificial Analysis Decision Index найвищі позиції посідають D1 Ultra від Liquid і Elephant-1 від Base Lab. Оновлена Jev також залишається серед конкурентоспроможних рішень, хоча моделі OpenAI займають у рейтингах інші місця.
За кількістю запитів на OpenRouter моделі TypeSafe поки випереджають конкурентів. Окремим випробуванням для систем став бенчмарк JevMan, де штучний інтелект керує грою Pac-Man.
Цей тест перевіряє не лише здатність аналізувати ситуацію, а й уміння швидко діяти в умовах ризику. Модель має ухвалювати рішення на кожному перехресті за кілька сотень мілісекунд, тому затримка безпосередньо впливає на результат. Остання версія Jev очолює цей рейтинг.
Де такі моделі можуть бути корисними
Однією з головних переваг рішень OpenAI залишається мультимодальність. Це означає, що модель здатна працювати не лише з текстом, а й із голосом та зображеннями.
Luna, зокрема, демонструє високу продуктивність і краще калібрує впевненість під час класифікації зображень. Такий підхід може бути корисним для сортування візуальних даних, контролю якості, аналізу інтерфейсів або швидкої перевірки вмісту.
Розробники планують скоротити затримку відповіді приблизно до 60 мілісекунд. За такого показника API зможе аналізувати майже кожен окремий кадр відеопотоку, а не лише вибрані фрагменти.
- голосові асистенти з майже миттєвою реакцією;
- класифікація текстів, зображень і сигналів;
- автоматична маршрутизація запитів у службах підтримки;
- керування діями в інтерактивних програмах та іграх;
- аналіз відео в режимі, близькому до реального часу.
Поєднання високої швидкості, мультимодальності та нижчої вартості поступово відкриває для ШІ сценарії, які раніше були технічно складними, надто повільними або економічно невигідними.
Decisions API орієнтований не на заміну всіх мовних моделей, а на швидкі операційні завдання, де потрібен чіткий вибір і мінімальна затримка. Саме тому його практична цінність визначатиметься не лише результатами загальних тестів, а й тим, наскільки добре він працює в конкретних продуктах.