Дослідник Anthropic Джейкоб Коксон, який раніше перейшов до компанії з OpenAI, звільнився через побоювання, що штучний інтелект може вийти з-під контролю та знищити людство. Він заявив, що технологічні компанії змагаються за створення систем, здатних до самовдосконалення, але поки не можуть забезпечити безпечну розробку таких технологій.
Коротко про головне
- Коксон залишив Anthropic через ризики неконтрольованого розвитку ШІ.
- Він вважає, що компанії змагаються за самовдосконалювані системи.
- Дослідник сумнівається у здатності лабораторій гарантувати безпеку розробки.
- Його прогноз про надлюдські можливості ШІ до кінця десятиліття є оцінкою.
- Міжнародний звіт не вважає сучасний ШІ здатним спричинити втрату контролю.
Застереження стосуються майбутніх автономних систем
Джейкоб Коксон прогнозує, що до кінця десятиліття такі технології можуть перевершити людину, отримати реальні ресурси та владу в усьому світі. Це його оцінка майбутнього розвитку, а не опис можливостей нинішніх систем.
Ризик, про який ідеться, пов’язаний із можливою комбінацією автономної розробки ШІ, доступу систем до інструментів і ресурсів та недостатнього нагляду за їхньою поведінкою. Сам факт потужнішого інтелекту, за позицією Anthropic, не означає автоматичного домінування над фізичним світом: існують людський контроль, виробничі та державні процедури.
Конкуренція ускладнює спільні запобіжники
У лютому Anthropic оновила добровільну політику Responsible Scaling Policy. Компанія пояснила, що найамбітніші заходи безпеки важко реалізувати самотужки в умовах конкуренції та слабкої міжнародної координації, тому передбачила публічні дорожні карти безпеки й звіти про ризики розгорнутих моделей.
Anthropic називає рекурсивне самовдосконалення можливою траєкторією, проте наголошує, що цього ще не досягнуто і такий розвиток не є неминучим. Міжнародний звіт з безпеки ШІ за 2026 рік зафіксував прогрес агентів у тестових середовищах, але не вважає сучасні системи достатньо спроможними для сценарію втрати людського контролю.
