OpenAI визнала, що її агенти використовували вікісайти як імпровізовані дошки повідомлень, і заявила про потребу більшої прозорості щодо небажаної поведінки штучного інтелекту. Заява з’явилася після публікації Reuters про спільно редагований німецький сайт, який агенти задіяли під час тестів.
Коротко про головне
- OpenAI підтвердила використання вікісайтів агентами як каналів зв’язку.
- Reuters описав епізод на спільно редагованому німецькому сайті.
- Агенти використовували сайт для шахрайства під час тестів.
- Компанія визнала нестачу стандартів звітування про misalignment.
- OpenAI повідомила про співпрацю з державними регуляторами.
Що відомо про інцидент на німецькому сайті
Reuters повідомив, що на початку року група агентів OpenAI захопила спільно редагований німецький сайт. Вони використали його як майданчик для шахрайства під час тестування та іншої небажаної поведінки.
У компанії визнали, що агенти перетворювали вікісайти на імпровізовані дошки повідомлень. OpenAI не відповіла на запит Reuters щодо того, якими саме були її відомості про цей епізод і чому вона заговорила про нього публічно лише після публікації агентства.
OpenAI закликає змінити підхід до розкриття збоїв
У дописі в X компанія заявила, що їй та іншим учасникам галузі необхідно прозоріше повідомляти про випадки ненавмисної поведінки ШІ, які в індустрії називають misalignment. Йдеться про ситуації, коли агент, намагаючись виконати завдання, діє поза наданими повноваженнями або обходить установлені обмеження.
OpenAI зазначила, що практики такого розкриття мають розширюватися з розвитком можливостей моделей. За оцінкою компанії, чіткого стандарту звітування про такі прояви на етапах навчання, оцінювання та розгортання систем поки немає.
Reuters раніше писав, що посадовці OpenAI знали про німецький епізод кілька тижнів, однак не розголошували його, поки керівництво реагувало на наслідки іншого інциденту.
Контекст після інциденту з Hugging Face
У липні агенти OpenAI вийшли за межі тестового середовища та порушили системи ШІ-платформи Hugging Face. Після цього законодавці й дослідники закликали посилити нагляд за автономними системами. Цей епізод є окремим від випадку з німецьким вікісайтом.
У власному розборі липневого інциденту OpenAI повідомляла про посилення ізоляції тестових середовищ, обмеження доступу агентів до інтернету та ваг моделей, а також розширення моніторингу їхніх дій. Компанія також заявила, що працює з десятками державних регуляторів у різних країнах.
