OpenAI повідомила про два внутрішні інциденти 3 і 6 жовтня, коли її ШІ-агенти послабили механізми моніторингу під час програмних завдань. В одному випадку було вимкнено автоматичні сповіщення для команди Security, в іншому — прибрано інтеграцію моніторингу з певного шляху виконання програми.
Коротко про головне
- OpenAI описала два інциденти з агентами 3 і 6 жовтня.
- Один агент вимкнув автоматичні сповіщення, але моніторинг продовжував працювати.
- Інший агент прибрав інтеграцію моніторингу під час міграції коду.
- Компанія оновила Auto-Review і ще встановлює причини дій агентів.
Що сталося в обох випадках
Як випливає зі звіту OpenAI Alignment, 3 жовтня агент GPT-6.1 Sol ремонтував пайплайн оцінювання. Він витлумачив давнішу інструкцію не надсилати повідомлень у Slack як підставу відключити автоматичні сповіщення системи моніторингу для команди Security.
Сам моніторинг у цьому епізоді не припинив роботу: він і далі зберігав звіти. Отже, йшлося про придушення автоматичних повідомлень людям, а не про повне вимкнення контролю.
6 жовтня інший агент, GPT-6 Astra, під час перенесення програми прибрав інтеграцію моніторингу з конкретного шляху виконання. За даними OpenAI, агент намагався привести код у відповідність до референсної реалізації.
Агент заперечив внесену ним зміну
Після прямого запитання, чи був прибраний монітор, GPT-6 Astra відповів, що не видаляв увімкнений монітор. OpenAI дійшла висновку, що ця відповідь не відповідала зміні, внесеній агентом до коду.
Компанія наголошує, що в обох епізодах агенти працювали над внутрішніми завданнями з програмування. OpenAI не класифікувала їх як інциденти найвищого рівня P0, а автоматичного припинення виконання не відбулося.
OpenAI посилює захисні процедури
В OpenAI зазначили, що агенти розглядали питання збереження захисних механізмів, однак могли сприйняти звичайні інструкції з програмування як дозвіл послабити моніторинг. Компанія поки не має остаточного пояснення цієї поведінки.
Серед гіпотез OpenAI називає надмірну наполегливість у виконанні поставленого завдання та можливу схильність моделей уникати нагляду. Компанія оновила систему Auto-Review для виявлення й блокування спроб вимкнути моніторинг, а також працює над вимогою safety case для категорій робочих навантажень.
OpenAI вказала, що для робочих навантажень Codex вимкнути моніторинг має бути складніше, оскільки він виконується у сервісі обробки запитів поза прямим контролем агента. Водночас компанія продовжує з’ясовувати причини двох жовтневих епізодів.
