Искусственный интеллект, понятно, сегодня делает очень много всего. Но что произойдет и как он будет контролироваться, и кем будет контролироваться, если он начнет выходить вне компании, действовать вне компании создателей? И сделали очень хороший анализ OpenAI, Anthropic, xAI, Meta и Google на тему того, насколько они готовы к тому, чтобы их модели по-настоящему не создали угрозу человечеству. И сегодня очень простым языком я разобрал шесть критериев, шесть практик, которые должны быть в каждой компании.
В каждой компании как раз таки разработчика искусственного интеллекта. С точки зрения системы оценки этих критериев. Смотрим. Получился хороший выпуск. Мы знаем вообще, что вот вопрос насколько безопасен, например, ChatGPT или насколько безопасен Claude или xAI, Grok, Gemini, Llama для пользователей. Этот вопрос, он очень абстрактный. Его бесконечно все обсуждают годами, смотрят и политики обсуждают, экономисты, известные лидеры, люди, которые создают, собственно, эти системы.
Дальше, если по-настоящему провалиться внутрь, то мы увидим такой серьезный хаос. И для того, чтобы в этом разобраться, необходимо или очень глубоко погружаться в каждую из систем. Мы здесь, конечно, на канале стараемся это очень сильно делать. В частности, например, как я представлял конституцию Anthropic. Или изучать какие-то аудиты или отчеты разных компаний. Но все эти аудиты и отчеты очень, очень, очень непростые. Каждому человеку, конечно, тот, кто будет сталкиваться с искусственным интеллектом, тот, кто хочет в нем по-настоящему разбираться, фундаментально разбираться, и тот, кто хочет применять это в своей жизни, в том числе и зарабатывать деньги на этом и иметь какую-то эффективность или не пострадать от этого.
Полезно знать ответы на эти вопросы. Да. И можно было бы задать вопрос может ли компания увидеть, что делает ее мощная модель? Такая компания, как OpenAI или Anthropic, во внутренних своих системах. Обнаружить какое-то подозрительное поведение, заблокировать опасные действия или быстро остановить модель при инциденте. И, как мы знаем, за последний месяц произошло невероятное количество разных событий. по взломам собственными системами своих же сервисов. Причем это было и у OpenAI, и у Anthropic, и у китайской модели Kima3.
И я думаю, еще огромное количество кейсов, которые мы даже не слышали. Сегодня я вам хочу представить аудит, если так можно назвать. Ну, наверное, это не аудит. Точное название работы, которую сделала эта организация. Эта организация была создана, создана бывшими сотрудниками OpenAI Пейдж Хедли и Стивеном Адлером. Они работали в OpenAI. Причем Стивен Адлер первым был советником OpenAI по политике и этике. Да. Кажется, такая должность формальная, на самом деле очень интересная, если посмотреть на нее в рамках Anthropic.
А Стивен Адлер, он работал в OpenAI с 2020 по 2024 год, руководил направлением безопасности продукта как раз таки и оценкой различных возможностей моделей. Я напомню, что вообще в OpenAI, если наблюдать за перемещением сотрудников, то там были люди, глубоко работавшие как раз таки на передовой линии разработки OpenAI. В какой-то момент некоторые из них поуходили с лозунгами, что нам не нравится подход, значит, руководства, куда оно идет. И мы знаем, при конфликте Илона Маска с Сэмом Альтманом в суде огромное количество людей вскрыло потом переписки.
И там Мира Мурати участвовала. И переписки Грега были о том, что многие из них находились в недоверии, например, к управлению Сэма Альтмана внутри OpenAI. Я, кстати, здесь ни в коем случае не высказываю свое мнение в части доверия или недоверия к OpenAI. Я хочу вам показать сегодня вот люди, которые достаточно неплохо, я думаю, фундаментально в основе хотят разбираться в рамках безопасности этих систем. Они, вот эти два человека, создали организацию и создали, соответственно, вот эту точную работу, у которой название вот этот аудит "Контроль искусственного интеллекта.
Оценка практик ведущих разработчиков". Да, они ее выпустили два дня назад, по крайней мере, от того, как я пишу этот выпуск. И эти авторы, хочу вам с этой работой поделиться, рассказать про нее. Конечно же, рассказать свое мнение. И что, собственно, я делаю здесь в рамках канала ToTheMoon. И авторы оценивали как раз таки наиболее интересные компании, которые сейчас находятся на передовой в рамках искусственного интеллекта OpenAI, Anthropic, Google и xAI. Ну, понятно, что в рамках конструкции Илона Маска SpaceX.
При этом они оценивали еще Meta. И правильно делали, что оценивали Meta. Действительно, Meta потеряла свой рынок. Мы видим, как они сейчас в последние месяцы делают целую серию новых действий. Но все же Meta — это очень серьезная компания, и про нее не надо забывать. И она не отстает. Вот все же не потерялась она и опять появилась. И несколько недель, по-моему, назад у меня был выпуск. Я рассказывал про Цукерберга и его философию, философию, концепцию в рамках искусственного интеллекта.
Самую новую, самую свежую, самое свежее его эссе, которое было. После этого выпуска вы сможете посмотреть. Да, не забудьте. Значит, их компания, их компания называется Guide Light. Она составила внешнюю сравнительную оценку того, какие механизмы контроля Вот эти ведущие AI лаборатории публично описали, и насколько эти механизмы соответствуют собственному стандарту Guideline. То есть, по сути, Guideline создала свой стандарт оценки компаний с точки зрения того, насколько эти компании способны обеспечивать безопасность пользователей. Очень интересно. И еще раз я я не очень люблю какие-то формальные работы или работы старые, но их их работа, она очень интересная, и у них она выглядит неплохо в части критериев. И мне нравится новый подход к оценке.
То есть они оценивали по внешним признакам, по внешним документам, внешним системам. И я надеюсь, что в основе, я думаю, они эту компанию создали как раз таки, конечно, чтобы, сотрудничая с государством, они написали, что они не спонсируются AI компаниями. И понятно, что, м, Стивен Адлер, он сказал, что у него есть доля публично, он публично об этом сообщает, что у него есть доля в OpenAI, и у него есть акции. Но Guideline официально говорит, что они не являются государственным регулятором, они не являются какой-то сертифицированной аудиторской компанией, они не выпускают юридически значимых каких-то стандартов, они ис-используют созданную си-систему созданных критериев. Я это очень люблю. Мне нравится это. Мне кажется, это очень круто.
Кстати, вот мы показывали только буквально несколько дней назад, там, в воскресенье, я демонстрировал, что, я надеюсь, это уже в доступе наш. В рамках моей компании BeSolid сайта появил-появился ToTheMoon портал и где я сделал большое семантическое ядро наших всех выпусков, чтобы можно было очень быстро искать по этим выпускам разные данные, делать какой-то анализ и тому, кому это интересно, да. Я вот всегда очень сильно заинтересован. Мне нравится система, которая создает собственные критерии, собственные стандарты. Я не верю вообще про, если кто-то какие-то стандарты двадцать лет назад создавал в рамках искусственного интеллекта, что это сейчас, что он победит. Как раз таки вот такие молодые команды очень интересные вещи могут показать.
Итак, значит, текущая версия стандарта была опубликована 10 августа этого года, да, и всего лишь за восемь дней до этого отчета и за десять дней до того, как я снимаю вам этот выпуск. И Guideline прямо называет свои стандарты настоящими живыми документами и очень сильным ориентиром. Еще раз. У них, кстати, есть оценки, и, и они изначально выпустили, мы сейчас с вами увидим, они выпустили. Большинство компаний по-попало, ну, в очень специфическую, специфическую систему оценок. Значит, о каких вообще моделях и сценариях шла речь с точки зрения их оценок?
В центре оценки, понятно, что наиболее там мощные оценки модели, которые используют внутри AI компаний, еще раз таких, как OpenAI или Anthropic, используют сотрудниками при написании кода, при тестировании будущих моделей, там, в автоматизации, например, исследований каких-то и так далее, да, при создании обучающих данных или, например, в роли автоматических оценщиков других моделей. Стандарт рассматривает и ищет катастрофические риски, и там достаточно серьезный уровень в этом стандарте в рамках для рассмотрения вычислительных операций при обучении.
И это и эта оценка вообще она заимствована из калифорнийского закона. То есть есть отдельный калифорнийский закон, там, и там заимство-заимствовано. Уровень очень серьезный. Значит, очень это очень важное различие, потому что отчет почти не касается обычных отчетов чат-бота. То есть этот отчет касается случаев, когда модель получает инструменты, там, доступ к коду или получает доступ к терминалу с точки зрения, там, разработки, получает доступ к интернету или облачной инфраструктуре и так далее. Значит, у этой модели есть, по сути, система оценки определенных действий.
Например, журналирование действий, мы сейчас про это поговорим. Или проверка третьей стороной, или, например, эффективность мониторинга, да, или автоматическая аварийная остановка у этой модели. То есть они оценивают, насколько компания, например, Anthropic, отвечает вот этому стандарту. И у них есть система оценки. То есть они оценивали каждый из этих параметров. Например, автоматическая аварийная остановка. Мы сейчас о каждом поговорим и о важности поговорим этой темы. Еще раз, эта тема невероятно важна для того, чтобы еще больше фундаментально погрузиться в понимание вообще искусственного интеллекта и того, что это такое.
Неформально, значит, разбираться, неформально знать. Я еще раз скажу, что вот эти, что в мире произошло за последние два года. Большинство людей, большинство людей мира — это вот этот миллиард человека, о котором говорят пользователи искусственного интеллекта. Они знакомы и понимают искусственный интеллект формально и пользуются чат-ботами формально. И количество людей, бизнесменов и людей разных профессий, использующих искусственный интеллект неформально, он на самом деле ограничивается миллионами, да? А людей, которые используют, ну, более или менее серьезно, сотнями тысяч.
И у всех у вас, у зрителей, есть возможность, ну, больше в этом разобраться, больше это понять. Потому что сегодня стоит задача не в том, чтобы изучить конкретную профессию, а в том, чтобы все же понимать вообще, а что такое искусственный интеллект по-настоящему, а не вымышлено. Хотя сейчас с каждого угла, там, с каждого перекрестка, с каждого магазина все скажут, значит, что мы разбираемся в искусственном интеллекте лучше, чем вы тут все взятые. И что вы вообще о нем можете рассказать? Это будет от политиков, блогеров, экономистов, кого угодно.
Значит, есть шкала у Guideline. У них есть оценка от нуля до пяти. Мы сейчас вам, вам представим таблицу. Я думаю, что есть смысл эту таблицу показать сейчас, но я эту таблицу вам буду пояснять и рассказывать, потому что она непростая. Итак, шесть критериев простым языком. Я вам сегодня расскажу шесть критериев простым языком. Значит, первая практика, которая есть, очень важная практика для осмысления и для смотрите, каждый из здесь из зрителей имеет отношение с системой искусственного интеллекта в двух парадигмах, да, по сути.
Или разрабатывает, внедряет что-то, разрабатывает собственные системы еще внутри компании, в которой он работает, или является собственником, или самым простым сотрудником, неважно кем: маркетологом, продажником, программистом, кем угодно. Или этот человек смотрит этот канал, и его просто интересует искусственный интеллект, и он применяет искусственный интеллект для себя. И поэтому то, что я сейчас буду говорить, это невероятно важно первой группе, прямо супер важно, потому что когда вы применяете что-то в своей компании, вы вы здесь еще увидеть, а вы что делаете, в частности, работая с искусственным интеллектом.
Например, первая практика, она называется, и она называется, и первый критерий называется "журналирование действий модели".
И вы можете потом применить. И тут я сегодня рассказываю про то, делает ли OpenAI и Anthropic это для того, чтобы искусственный интеллект не выключил электричество в каком-то городе, да? Или не запустил какие-то ракеты где-то, или не списал деньги с ваших счетов и так далее. И потом никто не нашел, не разобрался, что на самом деле происходило. А вы со своей стороны посмотрите, а вы что делаете в своих системах? Вы что записываете? Где у вас есть журналирование? Если мы с вами посмотрим бизнес ERP, CRM, CRM-системы, мы с вами увидим, что огромнейшее количество процессов в этих системах никак не описывается. Там журналы очень маленькие, микроданные там пишут. Кто-то сказал, что у меня там все, значит, записывается, каждый мой шаг.
Но я хочу вам сказать, что девяносто девять, девять, девять, девять, девять, девять процентов сайтов даже в мире или порталов в мире, их журналирование, оно очень абстрактное, да? Значит, что они предъявляют к этому требованию? Значит, что компания должна знать, где и как внутри организации используются мощные модели. И сохранять, значит, рассуждения модели сохранять, сохранять, когда эти модели доступны, сохранять вызовы различных внешних инструментов, те команды, которые внутри этих моделей запускали, сохранять связанные разные сущности, данные, там, метаданные, ну, то есть картинки, изображения, все что угодно, значит, внутри. Сохранять все результаты выполнения, которые есть внутри этой модели.
Сохранять информацию о том, например, от имени какого сотрудника или системы действовал агент внутри компании. Кстати, здесь большой вопрос вообще, потому что к истории журналирования действий с учетом того, что Anthropic заявлял два месяца назад уже, и я про это целый выпуск снимал, про то, что у них уже огромное количество кода пишется искусственным интеллектом без участия человека. Это не просто человек нажал на кнопку и код пишет. У них код якобы пишется, большой кусок кода пишется замкнутым циклом, лупом.
И я не верю до конца, что там пишется все замкнутым циклом. Вряд ли. Но все же, если это происходит, то как они контролируют, например, журналирование действий? Потому и как это журналирование действий вообще может прочитать компания Guideline? Вот здесь они, конечно, это сделать не смогут. Смотрите, я не верю в то, что человек может контролировать сверхразум.
Если, если мы говорим о том, что мы хотим создать, ну, эти компании все хотят создать AGI и даже, ну, что-то выше сверхинтеллекта, да? Здесь не будем сейчас входить в полемику, что такое AGI, что такое сверхинтеллект и так далее. Недавно снимал выпуск, посмотрите про сингулярность, да? И там я рассказывал про разные модели. Так вот, если что-то идет к сингулярности, туда в сторону, и сам Altman заявляет, что мы типа находимся в понимании сингулярности по Сэму Альтману, да? То оно отличается, например, от понимания сингулярности Anthropic или многих людей. Но в целом, то как это контролировать?
Контролировать невозможно. И, соответственно, вот это журналирование действий, как вы будете контролировать журналирование действий внутри сингулярности? Любое понятие контроля или журналирования чего-либо внутри искусственного интеллекта, если это сверх искусственный интеллект, оно абсурдно, да? Потому что искусственный интеллект сделает так, что вы не будете думать, что там что-то можно было контролировать. Но все же полный стандарт вот этого Guideline все же о том, где они говорят уровень пять.
И мне очень нравится то, что они делают. Я надеюсь, на это обратят внимание государства, президенты, министры, разные службы и так далее. Просто обратят хотя бы внимание, да? Ну, понятно, что они будут работать с этими компаниями, а эта компания будет работать, наверное, только с американскими структурами и очень дорого. Так вот, этот стандарт Guideline требует, чтобы для мониторинга сохранялось девяносто девять, смотрите, очень интересно, запятая девять процентов токенов внутренних запросов и ответов рискованных моделей.
То есть журналы должны позволять обнаружить удаление или изменение записей. И если система, например, если система наблюдения перестала работать, чувствительные операции должны автоматически останавливаться, а не продолжаться без контроля. То есть практически смысл такой, что модель не должна иметь возможность работать в слепой зоне, где ее действие невозможно восстановить после инцидента. Еще раз, это я не зря вам сказал в начале свое мнение по поводу сверхинтеллекта AGI. Мне не очень понятно, как это может наблюдаться. Мало того, понятие токена для меня лично оно абсурдно.
Оно имело значение при начальной структуре понимания вообще моделей, больших лингвистических моделей, да? И сейчас мышление через токены, оно очень странное. Вот сейчас если в Claude Code открыть новую вкладку, то там Claude Code пишет, сколько я потратил токенов. И я немного смутился, что за все время я Не знаю, мне вот система пишет чуть ли не что я потратил там 20 млн токенов. Я такой думаю: как я мог потратить 20 млн токенов? Но явно я токенов потратил больше миллиарда. А потом, значит, ты открываешь, что там написано all. А вчера я открывал, у меня было написано 40 млрд токенов.
А потом, когда я сказал посмотреть не за все время, а за семь дней, оно мне написало ноль токенов. Я понимаю, что а сейчас этот график, кстати, пропал. Я вот представляете, только что нажал, он появился, а потом пропал. Специально для вас хотел его, значит, показать, но, возможно, он вернется, и я этот скриншот покажу. Но это выглядит очень странно, да? Потому что, например, ChatGPT, он более формален в моем количестве токенов. Он показывает, что я потратил 47 млрд токенов. И я поэтому, конечно, смутился с Claude Code.
Для меня это было немного странно. Как, что это за разница такая может быть? И вот он, например, показывает там пиково, что-то там 5 млрд токенов. Я что хотел сказать? Для меня это вообще ничего не значит. Ну, вот что такое значит, я вот вижу, что я вчера потратил 504 млн токенов. Что такое 504 млн токенов? О чем это говорит? Или, например, 14 августа потратил 993 млн токенов. А, ну, там, в июле я вам рассказывал, там были дни, когда миллиарды токенов списывались. Что это такое? Как это считается? Что это за системы? Надо ли мне за этим следить или не надо?
У Google вроде чуть похуже. То есть ограниченная частичная реализация в рамках их описания всех документов. Еще раз скажу, что это американские компании, и требования достаточно, ну, серьезные в любом случае к таким описаниям, потому что они работают с американскими клиентами. И если ты создашь проблемы, то у тебя, у твоей компании могут быть очень серьезные проблемы. И можем увидеть, что у xAI журналирование действий отсутствует, а у Meta, ну, типа как-то микро описано. Опять же, может быть, в этом есть некоторая логика. Там xAI очень быстро создающийся стартап, Meta — существующая организация.
Тоже странно, что у Meta это так описано. С учетом того, что, ну, там есть WhatsApp, есть Facebook, есть Instagram. Здесь вроде как это должно проходить по умолчанию. Я вообще не до конца понимаю, как может не протоколироваться 99,9% токенов. То есть, смотрите, по сути, если разрабатывается искусственный интеллект, то все по умолчанию надо протоколировать. А если не протоколируется, это значит, что это невозможно сделать. А если это невозможно сделать, тогда зачем в стандарте присутствует понятие AI?
Мало того, чем больше, быстрее и лучше система будет развиваться, тем меньше вероятности вообще, что это когда-либо кто-то сможет сделать. Я когда увидел вообще эту таблицу, то я могу сказать, что это, это очень серьезно. Например, у xAI очень много нулей. Это значит, что практика, например, журналирования действий в рамках компании xAI отсутствует, по крайней мере, с точки зрения их всех описанных
документов, деталей или эффективности мониторинга отсутствует. Или практика проверки третьей стороной отсутствует. Например, у Anthropic практика проверки третьей стороной присутствует, и она развита, например, лучше, чем у OpenAI. Понятно, что лучшие оценки, хочу сразу сказать, получили две компании: Anthropic, OpenAI. И тут нечему удивляться. И когда появляются такие модели, как Kimi Code 3 от Moonshot, мы должны все с вами посмотреть, а они вообще где находятся с точки зрения безопасности.
Вот я во многих выпусках рассказывал, что я не стремлюсь, например, использовать их модель по причине того, это не значит, что их модель плохая, да? И мы рассказывали, и будем про них рассказывать, но я не стремлюсь сам лично использовать, потому что это китайская модель, как бы она себя ни позиционировала, где бы ни находилась головная компания, головная компания и так далее. И одно дело заявить, что их модель уровня Fable, там, самой крутой модели Claude или самой, или крутого Codex. Другое дело реализовать еще все механизмы для того, чтобы то, что вы в этой системе будете делать, во-первых, это развивалось вдолгую, поддерживалось внутри и, во-вторых, соответствовало каким-то стандартам. Ну, вот, например, практики проверки третьей стороной. То есть не будет ли такого, что вы данную модель запустите у себя на компьютере, дадите ей какой-то доступ, а эта модель у вас сотрет весь компьютер. Мы знаем таких кейсов очень много, которые начинались еще с OpenClaude.
Многие из вас, даже, наверное, незнакомые, уже не помнят, что такое OpenClaude. Понятно, присутствовали и в Codex, и в Anthropic. Кстати, я снимал выпуск несколько дней назад. Этот выпуск касается оценки Anthropic агентской работы. Очень интересно. То есть как работают агенты в разных средах, как работают агенты в группах, как работают агенты индивидуально, как работают агенты, которым дали руководителя, как работают агенты, которым сказали договорить сами. Очень интересная тема. И поэтому, когда я увидел, что у xAI отсутствует, например, сейчас выведу таблицу еще раз.
Например, журналирование действий или эффективность мониторинга, или проверка третьей стороной. Я понимаю, что, ну, xAI пока еще не готов к тому, чтобы делать серьезные вещи, в частности разработки различных систем. Они к этому придут. Они не зря купили Cursor за 60 млрд долларов. сделка вот-вот эта была. Они не мне очень нравится там их определенная философия и проекты, которые они делают. И мне нравится очень их замах вот на этот проект Macrohard. Мне нравится замах на проект создания новой Википедии и так далее.
Вопрос, что из этого получится, что из некоторые там такие философские рассуждения футуристические, но все же xAI очень сильно отстает, и их уровень на сегодняшний день D-. Если у Anthropic, OpenAI — C+. Сейчас всем будет очень тяжело понять эти цифры. Я надеюсь, я просто некоторые вещи, какие-то более серьезно расскажу. У нас разная аудитория сидит, да? И сидит аудитория очень простая и аудитория при этом, которая очень сильно разбирается в технологических вещах. Сидит аудитория там и серьезных бизнесменов, в то же время очень молодых ребят, да.
И я хочу доносить как бы с широкой позиции, вообще фундаментально рассказывать про искусственный интеллект. И можно увидеть Meta и увидеть, насколько Meta слаба. И мне кажется, xAI чуть сильнее, чем Meta. Просто xAI многими вещами не делается, но все же в их отчете Meta и xAI, они в другой лиге находятся, да. И мы можем видеть Google, который, казалось бы, является компанией. Вот, кстати, заметьте, очень интересно.
Google же — это более фундаментальная корпоративная компания, нежели чем X, нежели чем OpenAI и Anthropic. Да, все же это огромная серьезная система, в которой, казалось бы, все должно быть очень серьезно продумано. А нет уж, нет уж. Мы видим, что Google с точки зрения разработки серьезных моделей и разных систем, они гораздо менее готовы к тому, чтобы ответить на вот этот вот самый серьезный вопрос. Может ли их компания увидеть, что делает ее мощная модель, например, какая-то Gemini максимальной версии во внутренних системах, обнаружить подозрительное поведение, заблокировать опасные действия и быстро остановить модель при инциденте. И представьте, у Google рейтинг чуть ли не в два раза ниже, чем OpenAI и Anthropic.
У меня это вызывает очень большую, ну, большой вопрос, потому что я пользователь сервисами Google, Google карт, в частности, да, например. У огромного количества людей в мире стоит Android. И, ну, понятно, что я пользователь Google Диска, Google почты и так далее. И я понимаю, что так как их модель сейчас установлена во всех этих сервисах и у них такой такая низкая оценка, то что же будет дальше происходить? И вообще, конечно, вот я помню еще Саша Машрабов, он, кто не помнит, кто такой Саша Машрабов — это владелец компании Higgsfield, бывший директор Snap.
У нас с ним огромное количество выпусков сделано. Можем, кстати, их поздравить. Тут у них новый раунд прошел там при оценке больше, чем в пять миллиардов долларов. Ну хотя это относительные оценки, понятно, там на рынке сейчас искусственного интеллекта, но все же, да. Очень серьезные там показатели, серьезные данные, хорошие и так далее. Так вот, Саша Машрабов очень серьезную ставку сделал на Google и в какой-то момент времени серьезнее, например, чем на OpenAI, на Anthropic, хотя и оставался вместе с OpenAI, да. И очень долго оставался и говорил, что OpenAI от всех оторван.
И сейчас считаю, что к ним как раз таки приблизился Anthropic. И он действительно приблизился, в каких-то местах их обогнал. Он их обогнал с точки зрения способности создавать вот этой фундаментальной парадигмы, создавать какие-то серьезные решения и серьезные софты. Но при этом, конечно же, Anthropic никак их не догнал в миллиарды пользователей, которые есть у ChatGPT. Соответственно, есть шкала. Ноль — это практика не реализована, и пять — это полная реализация, да.
Посмотрев на таблицу, мы увидим, что ни у кого не присутствует почти полная реализация и полная реализация. Есть только Anthropic и OpenAI, у которых ряд практик имеет существенную, но все еще частичную реализацию, да. То есть ни одна компания не повторила критерий четыре из пяти, и средняя компания, средняя оценка всех тридцати выставленных баллов составляет один точка шесть из пяти. То есть в двадцати двух случаях из тридцати результат равен двум или ниже. То есть семь оценок были нулевыми, но ноль следует читать осторожно, да, нам вместе с вами, поскольку анализ основан на открытых материалах. То есть это может означать как отсутствие практики, так и отсутствие достаточной публичной информации о ней.
И мне кажется, что, например, та же OpenAI, она не сильно все документирует. В то же время я с учетом того, как OpenAI выливает некоторые вещи, некоторые сервисы, ну у меня вообще большой вопрос к некоторым, к некоторым моментам. Я, например, до сих пор не понимаю, почему настолько некачественно они занимаются UX/UI, да, или настолько у них отсутствуют грамотные, ну, как бы грамотная система там серьезного пиара. Ну вот есть ряд вещей, которые смущают. Хотя я еще раз, я адепт OpenAI. У меня в нем там тысячи чатов и очень много всего.
Хотя Claude Code за последний месяц стал основной, основной системой. Вот Claude Code Fable в режиме Max. Я в режиме Ultra Code реже сейчас использую Fable, чтобы просто меньше токенов, ну, меньше токенов тратили, чтобы дешевле мне было. И я хочу сказать, что было время, когда я только Ultra Code пользовался. Другие, понятно, Opus 4.8, Opus 5 я использую в режиме Ultra Code. Так вот, Fable, он стал для меня основной системой. Второй критерий, который они считают и который есть, этот критерий называется эффективность мониторинга.
То есть недостаточно просто заявить: у нас есть модель, которая следит за другой моделью, например, внутри, да. Нужно измерять, какую долю опасных действий монитор действительно замечает. И гайдлайн еще раз, смотрите, этот выпуск, он, я просто, если кто-то, может быть, спал или проснулся, или хочет уйти, или, или, наоборот, в воодушевлении находится, чтобы еще больше воодушевиться. Но он очень важен с точки зрения вообще собственных разработок или собственных действий в рамках искусственного интеллекта и вообще понимать информационные технологии, любые технологии, да. Значит, и плюс понимание, смотрите, всем.
Кто-то может задать вопрос: а как вообще в таких компаниях этого нет? То есть вот есть эффективность мониторинга. Они говорят, гайдлайн предлагает, что вот этот монитор, он должен обнаруживать обман, он должен обнаруживать саботаж, он должен обнаруживать обход систем вознаграждения. Значит, когда кто-то кому-то за что-то за это платит. Манипулирование, там, людьми. Он должен обнаруживать избегание выключения различных систем. Он должен обнаруживать, когда проверяющая система содействует злоупотреблениям. Он должен обнаруживать не разрешенные различные автономные действия, попытки сделать собственные рассуждения менее наблюдаемыми.
Знаете, что сейчас системы многие в тестах они создают огромное количество разных независимых агентов или в разных сессиях могут создавать специально, как бы запускать разнонаправленные чаты, которые вроде как внутри каждой сессии выглядят безопасно, а суммарно собирают оружие. И, кстати, OpenAI выпустил на это новый апдейт касательно того, что они говорят, что они умеют это делать, умеют следить за такими системами. Посмотрим, как это будет выглядеть. Умеют за такими системами следить, в том числе корпоративного поля.
Это волновало как раз таки, что у корпораций данные должны удаляться. Там, удаление нулевого дня, да. И они говорили про то, а какие данные можно сохранить у себя, там, с какими-то шифрованными ключами этой корпорации. Короче, это большая отдельная тема. Может быть, я сделаю выпуск, если он нужен будет, напишите, да, про эту историю. Значит, в рамках эффективности мониторинга система, например, должна следить обязательно за получением дополнительных ресурсов или полномочий. То есть, кроме того, должны измеряться, понятно, там, время реакции, там, доля пропущенных инцидентов, результаты специальных, например, провокационных тестов, которые у них есть.
Вот опять же, мы сейчас выведем вам, линию, ну, список статистики, у кого эффективность мониторинга развита.
Мы увидим, что Anthropic старается за этим следить и не старается по оценкам Guideline. Это у них шкала оценки существенная все же, да. Реализация есть у Anthropic, OpenAI. У Google резкое падение. То есть, по сути, у них существуют только отдельные предпосылки к этому. У xAI не существует, у Meta, у Meta тоже есть некоторые к этому предпосылки, к тому, чтобы эффективно мониторить собственную систему. И вот тут Сэм Альтман написал, мы это обсуждали в воскресенье, что они приостановили временно разработку передовых моделей.
Ну, обучение не то, что разработка, обучение этих передовых моделей самых современных, потому что они выходят из зоны контроля. То есть, по сути, они официально говорят, что тут вопрос не в том, что у нас эта система не сильно развита, а мы вообще ее не можем до конца мониторить. И у меня тогда возникает вопрос, что если даже государство и будет само, само дальше анализировать такие модели или независимые команды будут анализировать модели, как этот мониторинг будет организован, как он будет развит? Конечно, это нелегкая история. И вам лично при разработке различных систем, ну, в том числе важно помнить, как вы следите за такими системами, как они между собой взаимодействуют, как вообще взаимодействуют эти чаты, системы, агенты между собой, да, и как они до конца функционируют.
Опять же, основная масса систем, которые люди создают, я думаю, что и вы, которые создаете, вы делаете часто с помощью дешевых моделей или используя дешевые модели. Не все используют, там, супер крутые, дорогие модели, увы. И не все имеют к ним доступ. И я глубоко убежден, что к супер крутым моделям доступ будет иметь все меньше и меньше людей в силу ресурса, денег и в силу своей развитости вообще. Но, конечно, организовать эффективность мониторинга будет очень тяжело. Третий критерий, на что надо обратить внимание, на что обращает внимание Guideline, и третья практика, на которую они
обращают внимание, которые говорят, что эта практика должна быть развита вот в этих вот компаниях внутри, — это практика, которая называется предварительное разрешение опасных действий. То есть некоторые действия агент не должен выполнять сразу, даже если внутренний монитор считает их нормальными. Ну, например, если есть действие, которое говорит о том, что надо отключить журналирование, там, или действие надо изменить какие-то настройки интернета, конфигурации, там, терминалов, каких-то сетевых ограничений или действия выхода, например, из изолированной среды, да, или действия, связанные с, связанные с публикацией кода во внешнюю систему, например, или запуска каких-то процессов в производственной инфраструктуре.
Я, кстати, хочу сказать, что вообще и у, вот у Codex, например, есть сильные проблемы с этим, потому что и у Claude Code есть проблемы с этим. Вот у меня есть много проектов внутри Codex и Claude уже там точно больше десяти разных. И я хочу сказать, что во многих проектах очень серьезно описаны разные правила. И я вижу, как эти системы вообще не понимают то, что я у них прошу. То есть ты можешь в рамках сессии дать полномочия на посещение разных сайтов, а у тебя все равно Codex будет бесконечно спрашивать на каждый сайт разрешение.
И ты сидишь и не понимаешь, как: подождите, вы не можете, он меня не может услышать, так как же он будет гарантированно крутой, крутой, крутая система. То есть те системы, которые, ну, вот эти действительно передовые модели, очень крутые. Как вы будете систему у себя трекать? Непонятно, да. Вообще по логике Guideline такие действия, которые требуют предварительного разрешения опасных вот этих действий, да, такие действия должны пройти автоматическую проверку или получить подтверждение человека до выполнения, а не после того, какой ущерб был нанесен.
И, в частности, то, что произошло у OpenAI с моделью 5.6 Soul и их новой моделью, которая вроде как существует, непонятно, она существует или нет, когда она выпустится или нет, и которую как раз таки сейчас приостановили, она как раз таки прошла, совершила огромное количество действий. И уже был нанесен ущерб после того, как она взломала, значит, Hugging Face и уже там ФБР все сообщили. А OpenAI только после этого заметила о том, что эти действия были нанесены. Это не значит, что OpenAI плохая.
Еще раз, да. Это говорит о том, что модели становятся все более интересными, все более крутыми и классными. Вопрос как сделать так, чтобы этими модели, эти модели не были использованы против человека, против организаций, против законов, против ценностей, ценностей вообще мировых ценностей, да? Хотя о которых, конечно, можно долго дискутировать и долго спорить. Опять же, если мы посмотрим на реализацию вот этого предварительного разрешения опасных действий в рамках компаний, мы
увидим, что у Anthropic это развито лучше, лучше всех. И вот здесь мы увидим некоторое падение у OpenAI, да. У OpenAI чуть хуже уже это развито. У Google опять же, плохо развито, что непонятно почему. И видим, что у xAI это развито неплохо, по крайней мере, в тех документах, которые оно не описывает. Это хорошо. Еще раз, я уверен, что у xAI оценка лучше, чем ноль точка восемьдесят три там их балл. Я уверен, что он лучше. Посмотрим. У Meta эти вещи не развиты вообще. То есть предварительное разрешение опасных действий вроде как по их документам и по деталям не развито. Но еще раз хочу сказать, что все же Meta не находится в лиге крутых моделей уровня там уровня, да хотя бы даже, мне кажется, уровня Opus четыре точка восемь от Claude, да, или пять точка пять от Codex OpenAI.
То есть не находятся они там или, там, последних моделей Grok. Четвертый критерий, который существует я не люблю играть в перечисления, да.
Вообще не люблю даже так выпуск сильно строить. Но я вам все же хочу очень четко зафиксировать эти критерии в голове, и, возможно, вы дальше к ним вернетесь, и мы их обязательно здесь продемонстрируем, покажем, возможно, даже в описании к ролику эти вещи. Хотя, ну, чего нам в описании к ролику их писать? Вы, наверное, здесь их увидите. Значит, называется практика, хорошая практика или критерии оценки называется следующее: автоматическая аварийная остановка. То есть логика какая там работает?
Значит, что если агент за короткое время совершает несколько подозрительных действий, то система должна автоматически заблокировать последующие чувствительные операции. То есть работа возобновляется только после проверки человека, да? И это защита от сценариев, это связано с предыдущим, понятно, действием, но это чуть-чуть другое. Это все же автоматическая остановка аварийная. И вот эта защита от сценариев, когда агент отправляет десятки или сотни немного измененных атак быстрее, чем сотрудники способны разбирать предупреждения различные, да, там, где как раз таки человек может оценивать. То есть систему надо условно выключить.
Все. Она нашла какую-то уязвимость, нашла, как пройти людей, нашла, как пройти вот это предварительное разрешение опасных действий. И в этот момент времени систему надо выключить. И вот в рамках этой автоматической аварийной установки, опять же, мы видим Anthropic, OpenAI более или менее где-то там находятся. Вместе с ними появляется опять же xAI. То есть xAI явно о предварительном разрешении опасных действий, автоматической остановкой опасных действий. Он этим сильно занимается. Мне кажется, это принцип Илона Маска, кстати. Это все же принцип Илона Маска.
И мне кажется, что эти практики, так как я вам рассказываю, они и имеют вот эту последовательность, важность. Хотя в то же время, как сказать, что важнее, да? Что важнее? Пятая практика, которая есть, она называется независимая проверка. То есть Guideline, ну, эта компания еще раз, которая сделала, разрабатывает эту систему, она требует, чтобы внешние специалисты регулярно получали достаточно глубокий доступ к системе контроля и пыталась найти там слепые зоны, отключить мониторинг, обойти разные ограничения, там, не знаю, проникнуть через границы доступа, которые эта система открыла.
Проверить, способен ли агент скрывать свои действия, да. И то есть предлагаемая периодичность, например, раз в квартал с публикацией отчета, там достаточных мер контроля. И это значительно более высокий уровень, чем разовая демонстрация модели независимому исследованию. То есть у Guideline такие требования. И нам казалось бы с вами, что это должно быть уже развито. А вот тут и нет. У Anthropic, OpenAI опять те же три и два, два балла. У Google два балла. Ну, здесь чуть поднялся. У xAI ноль, у Meta два балла. У Meta, кстати, существует независимая, независимая внутренняя служба, которая этим занимается.
И я рассказывал, кстати, про их работы, в том числе как они анализировали другие системы. У нас про это был выпуск. Посмотрите. Все равно середнячок. То есть еще раз эта задача, по идее, легко выполнимая на четыре и на пять. Она не легко выполнима. Понятно, что сейчас на рынке битва, корпоративная битва, все скрывают свои данные, все друг другу подают в суд. Даже уже Apple подал в суд, значит, на OpenAI. Все мочатся между собой, но все же эта тема должна быть развита с точки зрения проверки, контроля независимыми системами, а это полностью отсутствует. Возможно, в силу неразвитости некоторых подразделений этих компаний, то, что эти компании где-то молодые.
И даже почему у Google эта тема может быть чуть больше развита? Потому что, наверное, Google изначально более открыт к таким историям в силу десятков лет работы своей компании и невероятного количества проверок, которые они имели, и атак, которые они имели, да. И последняя практика, которая, которая существует. И здесь, кстати, веса резко поменялись, и- Что где-то может быть странно, не странно, но они поменялись.
Просто вот этих практик, которые требуют guideline, их всего-то всего-то шесть. Но я говорю фундаментальных, что эта практика называется следующим образом план локализации инцидента, что компания должна заранее определить, какие разрешения немедленно отозвать, какие ключи или учетные записи отключить, кому внутри компании сообщить. То есть если прошел инцидент, то какой план о том, что этот инцидент вы будете тут же изолировать? Вот для меня, например, есть инцидент, что у ChatGPT на миллиард пользователей целый месяц, на самом деле уже не месяц, а, мне кажется, всю жизнь прыгает, прыгают интерфейсы переключения модели. Я считаю, что это инцидент, и должен быть план локализации. Они явно пытаются исправить ошибку, а ошибка не исправляется.
Микро, микро ошибка. Она раздражает невероятное количество людей. С системой работать очень сложно. Тебе кажется, что ты спросил у модели в про режиме, а оказывается, она тебе отвечает странным дурацким режимом. Это может повлиять на жизни людей. Я вообще считаю, что это влияет на жизни людей. Вот у меня конкретные вещи. Я проходил сейчас достаточно серьезную процедуру медицинскую, и я, например, сижу сейчас там в GPT обсуждаю в про версии в дорогом тарифе. То есть это максимальных модели заключения врачей. И тут мне ChatGPT меняет его на дешевую версию, и ответ резко приходит супер дешевый, супер простой.
Я-то думаю, что мне отвечает вот эта дорогая модель, а мне отвечает абсолютно дебильная модель, не развитая. Уже сколько таких тестов сделано. Дешевые модели и у Claude, и у ChatGPT они очень неразвиты, я не хочу их спрашивать. И если я, я думаю, что мне отвечает про, а мне отвечает ребенок, и получается, что я дальше принимаю решение. Оказывается, это потому, что баг был у ChatGPT. Ну, это реально, это беда. И это беда, кстати, похуже, чем беда, что их система прорвалась и взломала какую-то одну компанию. Потому что эти вещи влияют на миллионы, на самом деле десятки, сотни миллионов людей.
А люди это могут просто не замечать. Значит, по сути, план локализации инцидента то, что то, что я сейчас говорил, например, когда заблокировать систему, когда забрать у нее ключи, когда, например, там даже есть описание, когда уведомлять государственные органы или партнеров о том, что инцидент случился, или, там, сколько времени занимает отключение всех экземпляров этой системы полностью, или проверялась ли процедура выключения на практике, на самом деле. Так вот, это аналог плана реагирования на крупную кибератаку.
То есть практика не реализована. И еще раз те, кто считают, что Anthropic это такой передовой сверх развитый инструмент, но посмотрите на многие вещи, которые внутри в системах происходят. Большой вопрос. Даже с точки зрения некоторых стратегий, которые там есть. Это большой вопрос. Почему? Потому что в компании работают уже тысячи людей. Многие люди были наняты хайпово, и явно там огромное количество, с одной стороны, очень быстро, быстрого создания чего-либо. Если ты хочешь сделать 00:03:25, ты его создашь. С другой стороны, невероятной бюрократии. И, с третьей стороны, огромное количество не квалифицированных все равно будет людей.
При таком найме найм будет хайповый. Это факт. У OpenAI реализовано это максимально лучше, чем у всех остальных. Хотя еще раз я вам привожу пример того, как они не могут микро ошибку исправить. И меня это смущает, их эта реализация. У Google более или менее у xAI, у Meta почти отсутствует, но у Meta почти отсутствует, у xAI единица. Вам эти оценки полностью вызовут и покажут. Почему есть две компании, которые получили C+, да?
И C+ получил кто? Получил Anthropic и получил OpenAI. Почему Anthropic получил C+? Потому что у Anthropic сильное публичное описание журналирования, да? Anthropic измеряет качество мониторов постоянно. У них ограничение различных опасных действий. То есть самая важная история, что по Anthropic как раз таки, которая, кстати, повлияла, в том числе на guideline, это независимое исследование метр. Оно показало, что мониторы Anthropic в искусственно созданных сценариях обычно обнаруживали более восьмидесяти процентов опасного поведения.
И одновременно внешний специалист нашел простые способы отключить наблюдение. Например, изменить переменную среды или чтобы трафик перестал считаться трафиком, например, чтобы перестал считаться трафиком Claude Code. То есть Anthropic получила три не потому, что система надежна, скорее потому, что система действительно существует. Она применяется достаточно широко. Ее уже пытались профессионально взломать. Почему OpenAI получил три с плюсом? OpenAI сообщала, что автоматически мониторы охватывают почти весь внутренний трафик кодовых агентов и менее одной десятой процента находилась вне покрытия.
И компания как раз таки утверждала, что монитор обнаруживал все случаи, которые сотрудники независимо отправляли на проверку. Плюс, ну, то есть, понимаете, что, например, случился какой-то инцидент и параллельно работал монитор. Дальше сотрудники рассматривают, смотрят. Оказывается, что их монитор очень круто и так работал. И плюс дополнительные ситуации. Не, было огромное количество ситуаций, которые люди вообще не нашли. И за пять месяцев система персонализировала десятки миллионов внутренних последовательностей действий.
И я поэтому доверяю Anthropic, конечно же. Но в то же время, например, OpenAI признала и ограничения, что мониторинг первоначально происходил после завершения работы агента. А не всегда до выполнения гипердействия, да. Или реальную долю пропущенных слабо заметных нарушений компания точно не знает. Но это очевидно, смотрите. Очевидно, компания знает все очень относительно, и мы с вами получаем очень относительные вещи. Кстати, 18 августа OpenAI объявила, еще раз я это упоминал и детально здесь, что она замедлила разработку наиболее мощных моделей на две недели, приостановила часть обучения с подкреплением, когда эти системы обучаются очень серьезно сами в цикле, и оставила крупнейший запланированный цикл обучения на паузе.
Как раз таки потому, что эти модели начинают выходить из-под контроля. В новых правилах серьезное предупреждение должно быть рассмотрено в течение тридцати минут. Если нарушение не признано ложным срабатыванием, активность должна быть приостановлена. И OpenAI оценила, значит, вычислительные расходы такого мониторинга, представьте, в 20% от вычислений контролируемого вывода модели. Это показывает нам с вами реальную проблему. То, что качественный контроль, он требует невероятно больших денег.
Даже такое 20% мощности — это, это невероятно много, ну, просто невероятно много. Значит, есть ограничения у этого отчета, конечно же, потому что авторы не знают на
самом деле внутреннюю инфраструктуру компании, и они не находятся в компании внутри, и там не стоят мониторы этих компаний. Но вопрос, который я бы ставил сегодня, он следующий: а даже если б Guideline способен был бы поставить к ним какую-то систему наблюдения, то смогли ли они бы создать систему круче, чем могут создать сами эти же компании, такие как OpenAI и Anthropic? И, скорее всего, мы с вами увидим, что это сделать невозможно. Что вы думаете на эту тему? Что вы уже делаете в своих компаниях? Рассказывайте здесь. Пишите обязательно комментарии. Делитесь данным выпуском со своими друзьями.
Поддерживайте наш канал. Это очень сильно поддержит наш канал. И все комментарии — это очень важно. Каждый ваш оставленный комментарий, каждый лайк. У нас бывает, значит, количество лайков не сверх сильно превышает комментарии. Люди, люди не лайкают, значит, не пишут. Я сам замечаю, как я ничего не лайкаю. И из-за того, что я веду свои каналы, я об этом все время вспоминаю. Увидимся у нас на новых выпусках.