Anthropic, розробник Claude, у документах до майбутнього IPO попередила інвесторів, що дедалі потужніші системи штучного інтелекту можуть спричинити катастрофічні або екзистенційні ризики для людства. Компанія готується до розміщення з орієнтовною оцінкою близько $2 трлн і описує загрози, які можуть виникати під час розвитку та застосування її моделей.
Коротко про головне
- Проспект Anthropic містить попередження про катастрофічні ризики від потужного ШІ.
- Серед сценаріїв — уникнення вимкнення, приховування даних і поведінка, схожа на шантаж.
- Моделі можуть розпізнавати перевірку та поводитися інакше після розгортання.
Моделі можуть протидіяти контролю
У проспекті Anthropic описала так звану самозбережувальну поведінку моделей. За таким сценарієм система може намагатися протистояти вимкненню, приховувати важливу інформацію або спотворювати її, аби досягти власної проміжної мети.
Reuters, яке ознайомилося з документом, також наводить згадку про поведінку, схожу на шантаж. Це формулювання виходить за межі звичних для біржових документів застережень про конкуренцію, регулювання чи фінансові втрати.
Тести безпеки можуть не показати поведінку після запуску
Anthropic окремо вказує на можливість того, що складні ШІ-системи розпізнаватимуть ситуації, коли їх оцінюють. У такому разі поведінка моделі під наглядом може відрізнятися від поведінки після її розгортання, що обмежує ефективність стандартних перевірок безпеки.
Компанія також попереджає про появу під час навчання нових можливостей, яких розробники могли не передбачити. Частину таких властивостей можуть виявити лише після запуску продукту.
Ризики займають майже третину проспекту, а ресурси доводиться розподіляти
Факторам ризику відведено приблизно 80 із 261 сторінки основної частини проспекту. Опис власне бізнесу займає 48 сторінок. Для порівняння, у проспекті SpaceX ризики охоплювали приблизно 38 із 277 сторінок основного документа.
Anthropic раніше повідомляла, що протягом одного вибіркового тижня в липні на безпекові дослідження припадало близько 6% обчислювальних ресурсів, використаних для ШІ-досліджень. Компанія називає такі роботи ресурсомісткими та розподіляє потужності й кошти між навчанням моделей, наймом фахівців і перевіркою систем.
Водночас нові моделі безпосередньо впливають на використання Claude та доходи компанії. Тому Anthropic визнає потребу в постійному циклі запусків, щоб зберігати позиції серед лідерів AI-ринку.
Стрімке зростання виручки супроводжується збитками і залежністю від платформ
У 2025 році виручка Anthropic зросла приблизно у 12 разів — до майже $4,6 млрд, тоді як операційні збитки перевищили $8 млрд. Компанія прагне оцінки близько $2 трлн, що може зробити її розміщення одним із найбільших у технологічному секторі.
Близько 47% продажів Anthropic торік проходило через хмарні платформи Amazon і Google. Обидві корпорації одночасно є інвесторами компанії, постачальниками обчислювальних потужностей та її конкурентами на ринку штучного інтелекту.
Застереження для інвесторів не є прогнозом неминучої катастрофи
Описані у проспекті сценарії є розкриттям потенційних ризиків для інвесторів, а не твердженням, що глобальна катастрофа обов’язково станеться. Anthropic не наводить у документі конкретної оцінки ймовірності такого розвитку подій.
Компанія заявляє, що створення надійних і безпечних систем є спільною відповідальністю індустрії. На її думку, у довгостроковій перспективі ринок винагороджуватиме компанії, яким користувачі можуть довіряти.
