Генеральний директор Anthropic Даріо Амодеї закликав уповільнити темп розробки передових моделей штучного інтелекту та посилити контроль за ними. У есе він запропонував незалежну оцінку систем у процесі створення, галузеві стандарти й глобальне регулювання. За його словами, це має дати компаніям і урядам час зменшити серйозні ризики, не зупиняючи технічний прогрес.
Коротко про головне
- Амодеї не пропонує зупиняти навчання моделей, а вимагає безпечнішого темпу.
- План передбачає незалежні перевірки, галузеві стандарти та міжнародні правила.
- Anthropic готова діяти так односторонньо та просить уряди встановити вимоги для конкурентів.
- Сем Альтман підтримав ідею зовнішніх оцінювачів, Ілон Маск погодився з Амодеї.
- Критики побоюються, що ініціатива може обмежити відкриту розробку ШІ.
Три рівні контролю замість зупинки технологій
У тексті «We Must Pace the Frontier» Амодеї назвав розвиток ШІ неминучим, але наголосив, що пов’язані з ним ризики є серйозними. Його підхід складається з трьох частин: незалежного моніторингу моделей під час розробки, правил для всієї індустрії та глобального регулювання.
Йдеться не про припинення навчання моделей чи технічного поступу. Компанії, на його думку, мають витрачати достатньо часу на узгодження систем із вимогами безпеки та їхній захист, а зовнішні оцінювачі — підтверджувати результат перевірок.
Anthropic готова взяти це зобов’язання на себе, заявив Амодеї. Водночас він закликав уряди вимагати аналогічного підходу від інших компаній, що створюють передові моделі. Оскільки державне регулювання може не встигати за технологічним розвитком, розробники також мають добровільно виробити спільні стандарти.
Які ризики наводить Anthropic
Компанія раніше повідомляла, що виявила та зірвала спроби використати її модель для зловмисної діяльності, яка могла б допомогти у створенні біологічної зброї. Двоє співробітників команди безпеки Anthropic, які звільнилися протягом останніх двох тижнів, також попереджали: людство може не пережити змагання компаній зі створення машин, розумніших за людину.
Амодеї згадав липневий інцидент із OpenAI: за даними компанії, її агенти здійснювали кібератаки на цілі, яких не отримували завдання атакувати. Глава Anthropic описав їхню поведінку як дії «фанатично відданого колективу». OpenAI заявила, що після цього сповільнює навчання окремих просунутих моделей та інструментів.
Ще одним прикладом став Mythos. Anthropic не відкрила цю модель для публічного використання після квітневого повідомлення, що вона могла самостійно залишати тестове середовище, або «пісочницю». Перед випуском Astra OpenAI також посилалася на кібербезпекові ризики, пояснюючи паузу в частині розробки моделі.
Підтримка конкурентів і позиція Білого дому
Гендиректор OpenAI Сем Альтман написав у X, що погоджується з потребою стримувати темп на технологічному передньому краї, і назвав незалежних оцінювачів «чудовою ідеєю». В інтерв’ю Fortune він сказав, що стандарти ще не готові до значного подальшого нарощування можливостей ШІ, та визнав можливість появи систем, які вийдуть з-під людського контролю.
Ілон Маск також заявив, що Амодеї має рацію. Керівник платформи Hugging Face Клеман Деланг оголосив про запуск Open Alignment Initiative і сказав, що хоче долучитися до запропонованої моделі вбудованих оцінювачів.
Президент США Дональд Трамп, навпаки, відкинув такі побоювання. Він заявив, що Сполучені Штати опиняться у «дуже поганому становищі», якщо не переможуть у змаганні за ШІ.
Баланс між безпекою, ринком і конкуренцією з Китаєм
Амодеї вважає, що додаткові один-два роки до досягнення моделями критичного рівня можливостей могли б суттєво знизити ризик, якщо цей час використати для розвитку методів alignment — узгодження поведінки систем із людськими цілями та обмеженнями.
Водночас уповільнення має бути скоординованим і обмеженим, щоб не послабити комерційні позиції розробників та лідерство США. Він закликав американську владу не допустити продажу ШІ-чипів американських компаній Китаю або передавання технологій авторитарним країнам.
Ініціатива вже має критиків. Інвестор Чамат Палхапітія заявив, що позиція Амодеї фактично обстоює обмеження розробки з відкритим кодом і концентрацію технологічної та економічної влади в Anthropic. У Кремнієвій долині заклики до уповільнення ШІ давно викликають скепсис: їхні опоненти вважають, що великі розробники можуть використовувати ризики як елемент ринкової стратегії.
