Кто остановит ИИ, если он станет опасным? Anthropic предложила красную кнопку

Самый важный вопрос не в том, кто победит — OpenAI, Google, Anthropic или SpaceX, — а кто нажмёт стоп, если ИИ станет реально опасным. Anthropic заявила, что самые мощные модели нельзя выпускать в мир как новую кнопку в приложении: это система, которая пишет серьёзный код, ищет слабые места в чужих системах и забирает на себя всё больше решений. Компания не предлагает запретить ИИ, но считает, что слишком сильную модель должны проверять не только разработчики, а государство должно иметь право остановить опасный запуск.

ИИ развивается настолько быстро, что государственные механизмы отстают, поэтому для самых мощных моделей — класса Anthropic Mythos — нужен отдельный режим: не запрет и не контроль каждого продукта, а обязательные правила для крупных разработчиков передового ИИ. Anthropic предлагает три вещи: обязанности разработчиков, независимую внешнюю проверку и полномочия государства остановить развёртывание при катастрофическом риске. На практике Mythos получил ограниченный круг компаний, Fable закрыли для всех, кроме граждан США, а через несколько дней после релиза государство её заблокировало.

Anthropic предлагает не запретить ИИ, а не доверять только самоотчёту: прозрачность, отчёты и карты системы недостаточны без независимой оценки. Государству же даётся красная кнопка: если модель реально опасна, оно условно её блокирует. Такие блокировки уже есть — Пентагон внёс Alibaba, Baidu и другие компании в «красную зону». Сам ведущий не стал бы пользоваться китайскими моделями, убеждённый, что все данные там записываются, тогда как Fable как модель класса Mythos хранила данные тридцать дней, а Microsoft в первые дни запретила её у себя.

ИИ развивается экспоненциально, а законы, агентства и суды создаются медленно; медленно реагирует даже бизнес — у ChatGPT пять миллионов платных подписок из миллиарда пользователей. К моменту, когда общество поймёт риск, опасные возможности уже могут быть развёрнуты без возврата назад, поэтому законы для самых сильных моделей нужны заранее. Ведущий добавляет своё: модели становятся всё менее доступными, государство умеет только ограничивать, а с учётом Китая, который дистиллирует американские модели, у США нет шансов остановиться.

Правила касаются только крупных разработчиков, проходящих два порога сразу, а не любого стартапа или open source проекта. Первый — порог возможностей: обучение моделей с вычислениями более десяти в двадцать пятой степени операций с плавающей точкой. Второй — масштаб компании: более пятисот миллионов долларов годовой выручки от ИИ или более миллиарда долларов расходов на R&D; здесь, замечает ведущий, огромное количество стран и команд просто отваливается. Пороги не вечны: агентство должно регулярно их пересматривать, и ведущий ожидает, что после IPO этого первой захочет сама Anthropic.

Катастрофический риск — не ошибка чат-бота, спорный ответ или галлюцинация, а вред, способный существенно способствовать смерти, массовому ущербу и разрушению общественной безопасности. Четыре зоны: биологический риск; киберриск — модели ускоряют поиск дырок в системах, а Mythos не только нашла невероятное количество уязвимостей, но и сама создала функционал для работы с ними; потеря контроля, когда автономная система обходит ограничения и скрывает действия; и автоматизированные исследования, где ИИ помогает создавать ещё более сильный ИИ. Документ не делает вид, что все риски одинаковы.

Если компания сама оценивает модель, выбирает тесты, пишет отчёт и решает о выпуске, возникает конфликт интересов — особенно если она, как Anthropic, хочет выйти на IPO и бежит в гонке с Китаем. Поэтому Anthropic предлагает обязательные отчёты, независимых проверяющих и доступ государства. Ведущий не до конца верит в саму возможность: служба проверки государства под руководством Илона Маска нашла не так много, а как государство проверит сверхмодель, которую не могут проверить ни она сама, ни её создатели? После каждого релиза в моделях находят всё более фундаментальные ошибки.

Покрываемые разработчики публикуют и обновляют фреймворк безопасности — структурированный документ о том, какие модели покрываются, какие риски и тесты, кто и когда их проводит и кто отвечает; руководство ежегодно подтверждает, что правила применяются. Отчёты по рискам — минимум раз в шесть месяцев, потому что модель может стать опаснее из-за новых инструментов или данных. Карта системы описывает способности и ограничения модели, а о критических инцидентах нужно сообщать государству в течение пятнадцати дней. Ведущий не понимает, как это заработает в США: описанное очень похоже на Китай.

Anthropic признаёт, что экосистема независимых оценщиков незрелая и её нужно развивать прямо сейчас, и называет риск shopping — «поиска удобного оценщика»: если компания выбирает не самого строгого, а самого удобного проверяющего, независимая проверка превращается в ритуал. Ведущий сравнивает это с партнёрской программой OpenAI на четыреста тысяч сертифицированных консультантов, которую считает пиар-ходом, и с Meta, где после призыва Цукерберга максимизировать токены на них уйдут миллиарды долларов. Его ощущение: «независимое» у Anthropic пока будет таким же зависимым.

Anthropic различает безопасность модели от вреда и защищённость от кражи, взлома и злоупотребления: если веса украдут, их запустят без ограничений, поэтому нужна защита инфраструктуры обучения, доступа сотрудников, API и защита от дистилляции. Одновременно компания избегает слишком широкой власти государства блокировать любые модели: предлагает судебное принуждение, судебный пересмотр, ограниченную дискрецию агентств и одинаковую обработку сопоставимых моделей — правовую процедуру вместо произвола. Слабый федеральный закон не должен отменять более строгие законы штатов.

Если ИИ станет общей заменой труда, главная проблема будет не в росте, а в распределении: доходы и власть сконцентрируются у владельцев капитала, вычислительной инфраструктуры и ИИ-компаний. Политика должна «купить время» для адаптации и измерять влияние ИИ на рынок труда, а меры строятся по трём сценариям: около пяти процентов безработицы, около десяти — экономический шок с расширением поддержки доходов, и беспрецедентная структурная безработица вплоть до базового дохода. Ведущий не верит, что ИИ заберёт рабочие места, и ему не нравится, что Anthropic вообще говорит о безработице.

Эссе Дарио Амодея объясняет логику: образ из Толкина «не будь слишком поспешным» хорош для политики, но ИИ движется так быстро, что медлительность тоже риск, а если поставить себя на паузу, кто-то другой всё равно это создаст. Ведущий сопоставляет это с текстом OpenAI «Управление сверхинтеллектом»: особый режим, международная координация и агентство наподобие Международного агентства по атомной энергии — но кто в нём будет и кто решит, у кого могут быть модели? OpenAI делает акцент на решениях демократических государств, но именно она подписала контракт с полным доступом военных к системе.