Як давня друкарська помилка поширилася в нейромережах

Як друкарська помилка перетворилася на науковий «привид»

Один неіснуючий термін зумів пройти шлях від помилки під час оцифрування старих журналів до наукових публікацій і навчальних наборів даних для штучного інтелекту. Цей випадок показує, як непомітна похибка може роками відтворюватися в цифрових системах, а згодом впливати навіть на відповіді мовних моделей.

Звідки взявся вигаданий термін

Історія почалася ще у 1950-х роках, коли статті з журналу Bacteriological Reviews переносили в цифровий формат. Під час автоматичного розпізнавання тексту програма неправильно обробила матеріал, розміщений у двох сусідніх колонках.

Слово vegetative («вегетативний») випадково з’єдналося зі словом electron («електрон»). У результаті в електронних базах даних з’явилася фраза vegetative electron microscopy — термін, якого не було в оригінальній науковій статті.

Помилку не помічали десятиліттями. У 2017 і 2019 роках цей вислів несподівано з’явився в англомовних анотаціях іранських наукових робіт, після чого почав поширюватися далі.

Додатково ситуацію ускладнила особливість перекладу з фарсі. Перські слова, що відповідають поняттям «вегетативний» і «скануючий», відрізняються лише одним діакритичним знаком. Невелика помилка під час перекладу допомогла неіснуючому терміну потрапити до міжнародного наукового обігу.

Як помилку підхопили мовні моделі

За даними Google Scholar, дивний вислів з’явився щонайменше у 22 наукових публікаціях. Для людини це може бути просто безглузда фраза, але для алгоритму повторюваний текстовий шаблон виглядає як цілком легітимне словосполучення.

Дослідники перевірили, чи запам’ятали мовні моделі цю аномалію. Під час тестування на фрагментах оригінальних статей GPT-3 самостійно доповнювала речення фразою vegetative electron microscopy.

Старіші системи, зокрема GPT-2 і BERT, такої схильності не продемонстрували. Водночас аномалія зберігалася і в новіших моделях — GPT-4o та Claude 3.5 від Anthropic.

Ймовірним каналом поширення став Common Crawl — великий відкритий архів вебсторінок, матеріали якого використовують для формування навчальних наборів даних багатьох нейромереж. Якщо помилка потрапляє до численних онлайн-документів, модель може засвоїти її як поширений мовний або науковий шаблон.

Чим небезпечні «цифрові скам’янілості»

Цей приклад демонструє, що штучний інтелект може успадковувати не лише корисні знання, а й старі помилки, неточні переклади та випадкові фрагменти, які багато разів копіювали одне одного.

Проблема має кілька вимірів:

• неіснуючий термін може виглядати переконливо через наукову форму;
• його повторення в публікаціях створює ілюзію достовірності;
• мовна модель здатна відтворити помилку навіть без прямого запиту на вигадування;
• автоматичні детектори можуть сприймати рідкісну фразу як ознаку тексту, створеного ШІ.

Водночас такі системи виявлення мають обмеження: вони здатні знаходити лише ті аномалії, які вже були помічені та описані людьми. Невідому помилку алгоритм може пропустити, а незвичний, але справжній науковий термін — помилково позначити як підозрілий.

Як зменшити ризик повторення помилок

Щоб подібні «цифрові скам’янілості» не закріплювалися в науковому середовищі, потрібні перевірки на кількох етапах. Видавцям варто уважніше рецензувати матеріали, особливо перекладені анотації та тексти, отримані після автоматичного розпізнавання старих документів.

Розробники ШІ, зі свого боку, мають підвищувати прозорість навчальних наборів даних і застосовувати механізми очищення, дедуплікації та перевірки джерел. Важливо також відрізняти незалежні згадки про факт від простого багаторазового копіювання однієї й тієї самої помилки.

Історія з vegetative electron microscopy нагадує: цифровий текст не стає достовірним лише тому, що його відтворюють пошуковики, публікації чи нейромережі. Будь-який підозрілий термін потребує перевірки за першоджерелом, а контроль якості даних залишається спільною відповідальністю науковців, видавців і розробників ШІ.