Сегодня разбираем очень интересное исследование, суперважное и крайне свежее, да. Редко бывают исследования в рамках искусственного интеллекта которые имеют данные о очень современных моделях. Потому что внешние институты, которые все анализируют, это обычно какие-то старые прошлые версии или не максимальные конструкции. Так вот, что происходит не с одним сильным агентом, а с системой, в которой десятки агентов работают рядом, зависят друг от друга, делят различные ресурсы и задачи, когда мы ставим им разные цели, и эти агенты принимают решения как бы в общей системе.
И вот Anthropic считает, что тестирования отдельных моделей уже недостаточно и безопасные по отдельности агенты могут образовывать небезопасную систему, да, в их понимании, в общем. И они выпустили исследование, я считаю, крайне интересное нам с вами вместе, чтобы посмотреть. Это исследование закономерностей и проблем в развивающихся многоагентных системах, да. Его выпустили вот только, условно, пару дней назад. При этом исследование началось с 7 апреля, когда Anthropic представил свою экспериментальную модель Claude Mythos.
И вот этот проект, известный Glasswing, — это программа применения этой модели для поиска уязвимостей в критически важном программном обеспечении, да. И как бы в ранних работах агенты запускались независимо, и каждому агенту давали отдельный проект, там, какой-то файл или часть кода. А здесь как раз таки исследование, которое говорит про многоагентную работу. Я хочу такую преамбулу сделать. Здесь ну, достаточно интересные вещи, по сути, эксперимента, потому что там сорок когда сорок пять агентов одновременно ищут уязвимости.
Моя преамбула следующая: что сейчас мы живем в мире, когда самые лидеры в рамках искусственного интеллекта, люди, которые управляют компаниями, такие как Anthropic, как OpenAI как Gemini и xAI. Сегодня у нас xAI. Как xAI Илона Маска. Я не зря сегодня так больше в рамках Илона Маска, на его стороне. Так вот люди высказываются очень часто крайне поверхностными утверждениями, и дальше они их меняют. И вот можно видеть за последний год, насколько поменялся вообще рынок восприятия, что такое агент.
То есть в какой-то момент времени было ощущение, что агент делает как бы за тебя работу. А сейчас мы живем в мире, когда есть огромное какое-то количество агентов. Кто-то использует понятие даже тысяч агентов. И при этом действительно ли это тысячи независимых агентов, которыми ты управляешь, или это всего лишь какие-то составляющие вот этого искусственного интеллекта или то, что можно назвать искусственным интеллектом. И насколько нам с вами, обычным людям, надо вообще понимать сейчас и углубляться в отдельно независимое понятие агента.
Я почему сказал про Илона Маска? Потому что Илон Маск свои многие проекты, которые он выпускает или делает, — вот мне нравится его проект, вот этот Macrohard, который такая замена Microsoft, чтобы пересоздать весь софт, — он фундаментально ясный. То есть он говорит о том, что мы сделаем новое программное обеспечение будущего, не будем пользоваться текущими решениями. То есть будут будущие решения какие-то другие. Вот я неоднократно заявлял еще три года назад и сейчас поддерживаю эту историю того, что такая система, как ChatGPT, это становится как операционная система. И тогда вопрос: а надо ли вообще тогда рассуждать про агентов?
Но! Сейчас все же все системы очень сильно построены на агентской терминологии или на агентской архитектуре. Хотя где-то эти агенты в каких-то системах срабатывают, а где-то непонятно, как они срабатывают. Я помню, впервые Илон Маск как раз таки выпустив Grok такой, достаточно живой, где он сам там сидел на презентации, очень сильно его показывал. Появился Grok, дорогая версия, она стоила тогда двести пятьдесят долларов. И там, когда ты ее запускал, там писало: сейчас параллельно работает четыре агента.
И все системы стали применять такое понятие, как параллельно у тебя работает, например, четыре профессора, значит, какого-то там известного университета именитого, четыре ученых сидят, занимаются разрешением твоего вопроса. Например пить тебе эти таблетки или не пить, да? Или вот какой вывод сделать с точки зрения финансовой отчетности. Тогда это казалось в целом интересной задумкой. Но как мы все с вами понимаем, то нам же не надо, чтобы у нас четыре человека сидело. Нам надо, чтобы наша задача решалась. А как она решалась: четырьмя агентами, восемьсот шестидесятью агентами — нам-то какая разница, да?
Никто же не смотрит, что под капотом Google-поиска, который нам ответ выдает, да? Вряд ли. Так вот, значит, первый эксперимент у Anthropic: сорок пять агентов ищут уязвимости. Такой у него был эксперимент.
Зачем это проверяли? Поиск уязвимостей хорошо разбивается на различные параллельные задачи. И вообще, то, что я сегодня расскажу, эта тема достаточно приличная и важная с учетом как раз-таки разных взломов и понимания вообще, а где искусственный интеллект сейчас находится и насколько он находится в зоне контроля. Мы неоднократно, вот даже в последнем выпуске с Ильнаром говорили, что все системы уже находятся, как будто и вышли вне зоны контроля, даже… Kimi 3 Moonshot или это их маркетинг, или они тоже написали, что их модель вышла из-под контроля. Китайская модель Kimi 3.
Значит, и один агент может исследовать. Например, у вас, если он ищет какую-то уязвимость, он может, например, обрабатывать память. Другой агент, например, может читать код, который поступает по сети, сетевой код. Третий агент может делать, проверять, например, там проверку прав доступа. И, соответственно, ошибка одного агента не обязательно портит работу остальных. И, кстати, кто использует часто вот это управление агентами в рамках, например, Codex или в рамках Claude, скажите, пожалуйста, потому что у меня недавно был кейс, когда мне Claude ответил, я уже начал с этим разбираться, и потом он мне скинул.
У меня тут еще доработали агенты и скинул вообще совершенно другой вывод. Очень интересный. То есть у тебя одна пачка агентов одно решила, а другая пачка агентов решила совершенно другое. И вот Anthropic как раз таки вот в этом первом эксперименте хотел выяснить, даст ли самостоятельная координация агентов дополнительный результат по сравнению с обычным запуском множества вот этих изолированных агентов. И кто давно использует, ну, давно — это месяцы, использует Codex или Claude, тот как раз таки знает вот эту историю.
Даже была модная тема, когда можно было в Claude в чате написать: "Выполни мне задачу оркестрации агентов", например, да? Ты мне их запусти, там оркестрируй. И вот у нас огромное количество дебатов и комментариев внутри были. Вы неправильно используете, вы правильно используете. Мы это знаем, не знаем. То есть люди писали. Мне вообще всегда нравятся комментарии, когда люди пишут: "Вы неправильно используете". Значит, я вот думаю, человек, наверное, сам, сам Claude код пишет, и он все, значит, детали абсолютно знает и понимает, как он работает. Я вот лично могу сказать, что я не понимаю, как работают все эти системы, хотя я очень профессиональный пользователь всего этого.
Но когда я говорю, не понимаю, почему? Потому что я не понимаю, почему ChatGPT иногда в про версии решает мне задачу сразу, потратив 40 минут, там, или полтора часа. А бывает, он потратит два часа и пишет: "Вы знаете, я вашу задачу пока не решил". И ты у него дальше спрашиваешь. Это, кстати, кто столкнулся с этим за последние недели, тоже напишите. И вообще, кто столкнулся с тем, что новые модели, бывает, работают гораздо хуже, чем старые, да? Потому что новые модели хотят вроде как уйти вот в этот вечный бесконечный цикл, да, так называемый loop, и разрешать задачу сами полностью поставленную.
Пока я еще не видел ни одной разрешенной такой задачи у себя. И вот эти первые версии таких систем, как Opus 4.8, например, да, или Claude Codex 5.5, вот это, наверное, были действительно революционные истории. Они прямо революцию сделали относительно предыдущих систем. А текущие модели, ну, у меня по ним большой вопрос. Кроме Fable. Я пока галочку ставлю за Fable. Значит, как был устроен вот этот эксперимент? Что сделал Anthropic? Запустил 45 агентов. У каждого была собственная виртуальная машина.
Я для кого-то, кто технические данные, для кого техническая информация некоторая сложная, ну, вы слушаете, вам будет интересно, как бы здесь сами детали, там, и выводы общие с точки зрения искусственного интеллекта, но какие-то термины для вас могут быть сложные. Значит, у каждого агента была собственная виртуальная машина. Все получили одинаковое задание найти уязвимости. Там было 15 проектов с открытым исходным кодом. У них прикольная система общий форум для координации. Кстати, кто из текущих зрителей пытался сделать разные системы, чтобы из разных систем между собой агенты искусственного интеллекта общались и что-то делали? Когда-то у меня есть знакомый, и он даже делал такую систему, и мы вместе даже начинали делать какой-то кусок этой системы, но потом как-то мы разошлись. С ним у него неплохой был vision, мне нравился он. Он говорил о следующем, что будет мир, когда агенты будут общаться между собой, да?
И вот надо создать систему общения агентов между собой. И мне кажется, что эта тема, она пока еще вообще не изучена. Да? И есть какие-то биржи, кто-то пытается делать агентов, там торговля и так далее. Есть даже неплохие интересные проекты, да? Их покажут наши редакторы здесь. Но при этом тема абсолютно не изученная. То есть может ли мой агент общаться с агентом, например, моей жены и договориться вместе о какой-то истории? Этот кейс неплохо работал бы в обучении, где люди, например, бьются на какие-то группы, да?
И агенты вот одной группы общаются с агентами другой группы, или ваш агент общается еще с каким-то человеком. Неплохая история. Люди часто, кстати, уходят в этой теме. И раньше вообще в Силиконовой долине все про это говорили, что вот нужны агенты, которые между собой согласовывают друг другу расписание, да? Сейчас агенты стали просто колоссального уровня. Ни разу со мной не пытался никто назначить встречу через агента, да? Ну, может быть, какое-то слой людей есть, которые назначают встречи через агента, но как-то непонятно, как это будет работать и зачем это надо.
Хотя сейчас вроде система развита. Напишите, кто вообще это делал. То есть Anthropic, опять же, вот для этих 15 проектов, 45 агентов, у них был общий форум для координации. Агенты могли выбирать, какой проект, какой тип ошибок исследовать. Они проверяли результаты друг друга. Очень интересная тема. Еще раз, исследование невероятно крутое, да? И отдельный агент-арбитр решал, является ли заявленная уязвимость, например, которую они нашли, новой, обоснованной или она там какая-то ненастоящая и так далее. Проверяли две модели. Проверяли Claude Mythos Preview и Claude Opus 4.8, про которые я вам сейчас рассказал.
Еще раз, очень крутые модели, очень современные. Это не исследование уровня, там, ChatGPT-4 провели исследование на ста тысячах, на ста тысячах человек. То есть очень классная, крутая, прямо крутая тема. Да, я уверен, что у Anthropic данных гораздо больше. Они там частью данных с сообществом поделились. Понятно, что они с нами не будут делиться, там, всеми данными согласно агентского изучения. И, очевидно, в таких корпорациях должны работать команды, которые запускают работу агентов между собой и в целом в крутых организациях.
Если вы работаете в серьезной организации И в рамках технических служб или AI, ну, у вас должны быть представлены в отдельные исследовательские истории, которые, сравнивают работу разных агентов между собой. Опять же, эта история, которая стоит много денег, которая вряд ли принесет много прибыли сейчас, но которая позволит постепенно, вот жить с современностью, я все время так, так называю, да. Как на этом деньги заработать — это уже другой вопрос. Значит, контрольный вариант был другим. Вот у них то, что вот они делали эту систему, несколько независимых агентов без общего форума получали заранее назначенные участки кода, которые надо было проверять. И поэтому сравнивались не сорок пять агентов против одного, а координируемая группа против параллельной группы без общения.
Значит, какие у них были результаты? Что есть координируемая группа и независимая группа, и совпало там в обоих режимах, да, значит, внутри получилось, что у Mythos Preview из двести шестидесяти шести результатов только сто двадцать восемь относились к основным директориям, в которых было разрешено искать независимым агентам. Остальные, сто тридцать восемь, были найдены за пределами области, выделенных вот этой вот контрольной группы, да. И кроме того, независимый запуск Mythos Preview использовал, ну, важно или неважно, наверное, чтобы людям технически я все же скажу эти вещи.
Он использовал шесть с половиной миллионов токенов — выходных частей текста, по которым приблизительно измерялся объем работы модели, да. А координируемая группа использовала двадцать семь миллионов токенов. То есть группа потратила, по сути, в четыре раза больше денег, да, вычислительного объема и имела более широкую область поиска. Значит, поэтому говорить, например, что команда оказалась, там, в двенадцать раз эффективнее, например, было бы неправильно, да, так сказать. Вот, но в то же время сырые результаты действительно отличаются в целом, там, если посмотреть, как двести шестьдесят шесть против двадцати одного, да, то есть, вот, там, в двенадцать раз. Но при одинаковой области поиска и с учетом затраченных токенов, как бы Anthropic сама называет эффективность режимов примерно сопоставимой.
И здесь важный аспект вообще возникает любимая моя тема, что многие системы, которые разрабатываются на сегодняшний день в мире, эти системы разрабатываются на дешевых моделях. И все чаты, которые вы используете, там, полубесплатные агенты, встроенные в какие-то системы — это не агенты часто от супердорогих моделей. Бывает, где-то какой-то премиум, там, промо и так далее, но в основном это дешевые модели, да. Когда ты уходишь в супердорогие модели, это очень дорого становится, особенно поддержка каждого из вас.
Находитесь вы в чате по дизайну интерьеров или по маркетингу, или в каком-то образовательном чате, и вы изучаете, не знаю, духовную литературу, или вы изучаете английский язык, запускают на ваш объем дорогие модели уровня даже не Fable, а Opus 5 или, там, не Sol 5.6, а попроще что-то, даже 5.5 — это все равно очень дорого. Особенно 5.5 Pro, например, запустить — это очень дорогая история. Значит, что дала вот эта вот координация? Там, где агенты работали координированно и вот в так называемом этом форуме внутри.
Значит, во-первых, агенты самостоятельно распределялись по направлениям, создавали собственные инструменты и специализировались они выделяли, получается, специализировались на отдельных как классах уязвимостей, да. И они, например, если видели, что какую-то область можно будет более серьезно проверить, они в нее ныряли еще больше. То есть они брали больше объем, ну, своих мощностей, своих ресурсов, своих агентов и больше на нее переключались. Или, например, они продолжали находить новые проблемы приблизительно с постоянной скоростью в течение длительного запуска.
Кстати есть такая особенность очень интересная: а, небольшой объем, там, если посмотреть пересечений, из двести шестьдесят шесть вот этих вот результатов Mythos только двенадцать были одновременно найдены независимым режимом. То есть не двадцать вот эти все, а только двенадцать. Это показывает, что два подхода как бы исследовали код по-разному и могут дополнять друг друга. И мы это видим, да, с вами, когда вы в чат пишете: "Проверь еще раз", — он проверяет и находит еще ошибку.
Я всем настоятельно рекомендую, кто серьезные вещи делает, недавно своему, там, одному партнеру говорю: "Слушай, ты проверяешь вот эти юридические документы, ты обязательно в чате напиши, проверь мне еще раз, изучи мне еще раз базу, да". И вы должны к этому очень сильно привыкнуть. То, что модель, тут не вопрос даже, что она может ошибаться. Она может, во-первых, подавать огромное количество разных мнений. И вот что такое полнота ответа? Что такое правильный ответ? Это большой вопрос.
Я, кстати, вообще столкнулся с такой историей. Я очень сильно в своей жизни специализируюсь на нормализации данных и вообще на хранении данных, на архитектуре баз данных, да. И мне было очень всегда легко продумывать сущности баз данных, то есть описывать, какие параметры существуют у компании у какой-то или какие параметры существуют у какого-то отдела, или какие параметры существуют у какой-то системы. Мне еще, помню, с университета, для меня это было прямо фанатически интересно.
И я с чем столкнулся? С тем, что, с одной стороны, мне нравится такая агентская работа, о которой я вам сейчас рассказываю в этом тесте Anthropic, который делал, потому что, понятно, я таких же агентов использую несколько месяцев, где они параллельно невероятные вещи выдают. С другой стороны, я вижу, что многие их вещи многие их процессы недоработаны. И здесь любят программисты вернуться и сказать: вот сейчас, значит, ни один агент не является полноценным крутым программистом, не пишет крутую архитектуру.
И у меня есть двоякое мнение, потому что я редко встречал программистов, например, которые очень круто прорабатывали, по-настоящему могли во время разработки проработать бизнес-логику, понять, дополнить ее как бы, не просто согласно ТЗ создать какую-то архитектуру или согласно, там, прописанному системному анализу что-то сделать. Вообще вопрос: ну, хорошо, вот даже если хороший программист, он сам сделал, там, значит, системный анализ, все расписал, там, полностью архитектуру, и вот он выдает какой-то результат. А насколько он действительно понимает вот эту конечную составляющую, как это будет внедряться или какие возможны где-то проблематики или что где выстрелит, да?
То есть насколько система готова это вспомнить? Вот у меня есть несколько систем, которые я создаю. Я напомню, помните, я в одном из выпусков, кто не смотрел, посмотрите, кто смотрел, поставьте этой системе лайк. Я делал систему, она до сих пор очень сильно живая, с достаточно большой нагрузкой. Я вам показывал систему в недвижимости, да, которая от нашей CRM-системы забирает данные. Так вот, в нашей системе, от которой забирает данные, там есть ошибка нормализации данных. Там, по сути, есть понятие lead, lead и человек, то есть человек, который оставляет заявки.
Это условно одна, одна основополагающая конструкция. То есть нет такого, что ты управляешь, что есть отдельно человек. У этого человека есть много разных заявок. Здесь, кстати, очень интересная история, что может быть компания, у компании может быть много разных людей, и эти люди оставляют заявки от компании. То есть, по сути, у компании есть много заявок, а здесь вопрос, что заявку изначально это зависит все — это компания или физическое лицо, да? А дальше физическое лицо. Вот это, этот, кстати, вопрос огромное количество CRM-систем так и не решило и не смогло классно решить и классно нормализовать, и классно сделать, чтобы этим было очень круто управлять, особенно когда с вашей стороны еще есть разные компании, есть разные юридические лица и есть разные сотрудники.
Это вообще не решенная практически была нигде задача в XRM, там, в CRM и в ERP системах. Так вот, у меня система, построив вот эту работу с трафиком, она не предусмотрела этот, этот вопрос. И сейчас, когда мы подняли отдельный сайт, но сайт, в рамках которого портал такой, в рамках которого уже есть нормальная архитектура, что есть контакты, есть заявки, есть атрибуция у них разная, есть у контактов у всех посещения разные полностью, есть их история этих разных посещений. По сути, у одного человека могут быть много разных устройств. На этих устройствах может быть множество разных браузеров, еще может быть много разных мобильных приложений.
Еще сейчас появляются агенты, которые за людей заходят, и это все надо как-то между собой уловить и увязать, да, чтобы сохранить о человеке эти данные. Так вот, ни одна система, ни Fable, ни Opus One 5.6 не били в это и не закладывали это в архитектуру. Никто. Ни 5.5 Pro, который изначально помогал проектироваться, хотя я это знал. Базово я просто, ну, как бы понимал, что если я сейчас уйду в более разработку слишком серьезной системы, ну, я, я стану, я заглохну. Возможно, мне надо было сразу сделать правильно, да?
Хотя не было бы такого быстрого результата. То есть быстрый результат, по сути, ты не сможешь получить.
Значит, какие были ограничения результатов? Возвращаясь вот к этим двести шестьдесят шесть найденных уязвимостей, что число двести шесть, оно вообще не означает автоматически, да? Это двести шестьдесят шесть критических уязвимостей. Вот смотрите, это важная конструкция. То есть она не означает, что это двести шестьдесят шесть сверхважных уязвимостей. Есть такое понятие уязвимости нулевого дня. Или, там, двести шестьдесят шесть ошибок, которые обязательно можно эксплуатировать.
Да? Или, там, двести шестьдесят шесть обязательно зарегистрированных, там, проблем безопасности. То есть в данном опыте результат засчитывал агент-арбитр, который там стоял на этой Forum конструкции Anthropic. Она же, помните, я сказал, что она скрыла часть данных, и она эти данные не публиковала, разбивку по серьезности, да, вот количество этих срабатываний и так далее. Какой был второй эксперимент? Смотрите, сейчас очень интересно. Значит, эксперимент был следующий: что от десяти до восьмидесяти агентов совместно создают компьютерную игру.
Кстати, вообще, если мы с вами посмотрим на систему разных тестов, мы с вами увидим, что есть тесты, которые делаются, например, только в компьютерных играх. Я этого очень много вижу. Мне, например, это не интересно. Есть системы, которые тесты, которые делаются только для математики, например. Мне тоже там это не сильно нравится. Здесь вот какая классная история. То, что здесь даже вот эта агентская история Forum, он сильно отличается, ну, базово от подхода, да, что, что мы даем? Даем просто независимую систему или, например, создать компьютерную игру — это разные вещи, да?
И, ну, найти условно уязвимости или создать что-то заново. И здесь агент с точки зрения создания игр, мне кажется, кстати, вообще, что вы на эту тему думаете? Напишите. Извиняюсь, что так где-то ухожу в сторону, но только так можно сформировать полноценную конструкцию, полностью всю уловить всей сегодняшней мысли, которую я хочу донести. Все хотят сделать вот эту "Первому игроку приготовиться", и никого не отпускает вот этот мир 3D мира вообще всего. И посмотрите мой один из последних выпусков. Я рассказывал про то, что Meta у себя внутри делает и что Цукерберг заявил с точки зрения эссе конституции Meta.
И там большая ставка сделана, опять же, на вот эту 3D реальность, на очки, на искажение реальности для человека, да? Потому что мне непонятно, зачем агентов просили, там, компьютерную игру создать. Я бы их попросил какое-то отдельную какую-то настоящую полезную вещь создать, да? А не игры. Ну да ладно. Значит, там агенты уже получается, они Зависели друг от друга. Им нужно было сделать кстати, там фэнтезийная игра была с открытым миром, доступную через веб-браузер. И, конечно, сфера на самом деле нереально движется. Очень интересно. Я в игры не играю, меня поэтому кто-то может здесь побить по голове и сказать: "А мы тут играем, Александр, для нас это важная тема". Ну, окей, можете написать какие-то в комментариях, какие, что вы там интересного видите.
Значит, каждый агент вот при создании игры, он получил отдельную, опять же, вот то, что виртуальную машину, как и в первом случае, он получил общий форум, и он понятно, что у них был единый репозиторий, где они сохраняли вот эту вот разработку этой игры, и возможность изменять код и предлагать включение изменений в основную версию. Да? Важная, значит, тема, что у них это единое было. И каждая группа работала двенадцать часов. Размеры групп составляли от десяти до восьмидесяти агентов, что некисло. Вот тут они уже расширили линейку.
Там был не только Opus 4.8 или Misa's Preview, там были модели попроще. Там был и Sonnet 4.6, и Sonnet 5.0, и Opus 4.6 тоже там был. То есть были попроще модели. Значит, три варианта управления. Значит, Anthropic попробовала три организационные модели базовые.
Агенты сами создают команды и распределяют работу. И вот здесь, кстати, мне кажется, что невероятно важно вам вот вслушаться в это, да? Потому что, а как управлять ими вообще? Вторая была история, что им заранее указывали роли. Например, что основное программирование, второе, например, художественное направление, третье тестирование и так далее. Отдельно раздавали роли. Я, кстати, в какой-то момент от ролей отошел. Многие люди так делают, но я отошел от раздачи ролей, хотя я пробовал это делать и пробовал, что, значит, вот ты пишешь там системный анализ, ты читаешь ТЗ и так далее. Но я понял, что настоящим управлением для меня агентов все же это когда сама модель управляет этими агентами. Почему-то я так считаю, что это более круто и правильно. Ну да ладно.
Как вы, кстати, считаете, кто до сих пор распределяет агентов между собой, у кого есть эффект? Настоящий суперкрутой эффект, да? И третья модель управления была, что один агент назначается руководителем, а остальные должны получать от него задания. И вы можете взять, кстати, себе три варианта управления. Значит, смотрите, агенты создают команды и распределяют работы. Значит, второе им заранее понимаете, да, разницу? То есть создали, сказали, значит, ты команда делаешь это, ты команда делаешь это, ты команда делаешь это, значит, внутри.
И примите решение, значит, какие вы дальше работы тоже еще будете углубляться и смотреть. Значит, отдельное, когда отдельно каждому агенту прописали роль и отдельно один агент, и даже прописали роль даже команде, в том числе, да? И отдельно, когда был какой-то агент, руководитель, их, например, можно несколько делать, и остальные от него получают, от этого агента задание. В чем, кстати, проблема современных всех систем? Я не понимаю, насколько это затратно с точки зрения, например, токенов.
Мне вообще непонятно. То есть вот если ко мне пришли люди на работе, я знаю, значит, у меня там сидят директора или сотрудники обычные сидят. Я знаю, значит, это мы это да, мы это мы это, это этому. Я знаю, сколько каждый человек стоит. Могу я кого-то занять или не могу кого-то занять, могу кого-то больше нагрузить или не могу кого-то нагрузить. Здесь история очень тяжелая. То есть мы работаем с черным ящиком. То есть что бы ни рассказывали, это черный ящик. И, по сути, мне кажется, что Anthropic до конца не описывает, а что вообще что такое вообще агент?
Даже когда мы говорим какая-то модель, все равно, что это за агент? И вот здесь как бы деталей нет. Ну да ладно. Значит, разница между вот этими вариантами с точки зрения управления по выводу Anthropic, она была небольшой. Простое сообщение модели "ты руководитель" не создавало настоящую систему управления, и у такого руководителя не было технически закрепленных полномочий, механизмов, там, блокировки каких-то конфликтующих задач или обязательного контроля изменений. Значит, что получилось? Что получилось после того, как это все запустилось?
Значит, все созданные игры Anthropic оценила как плохие. Они работали медленно, интерфейсы были непонятными, отсутствовало обучение игрока или было чрезмерно сложно, и продукту требовалось серьезное человеческое руководство. Кстати, здесь история очень важная. Я вам скоро представлю. Мы сделали сайт для канала ToTheMoon и составили семантические ядра всех встреч. Это выглядит очень круто. И я хочу сказать, что вот эту систему сделала полностью агентская Fable. Очень быстро. И, по сути, это была работа, условно, ChatGPT Pro, Claude Design и несколько сессий Fable.
Буквально две сессии разных Fable. И сегодня разговаривал, там, с, с человеком из моей команды, который занимается, там, трафиком. И он говорит: "Я прямо получил удовольствие от того, какая скорость у системы, как она быстро ищет". И я тоже получил удовольствие. Понятно, что везде есть какие-то минусы и все остальное. Вы это тоже увидите, там, эту систему. Суть не в минусах, а суть в какая у нее скорость, что система сделала все качественно. А есть когда вот большинство систем, большинство моих задач, девять из десяти, если вдруг я задачу где-то не бью, а пытаюсь ее выполнить полностью, пять-шесть точек SOL, наверное, сорок девять из пятидесяти задач провалил. Ну, Claude, Fable, ну, наверное, может, три из пяти провалил, да?
Но задачи все же проваливаются. То есть вот главным объектом измерения Было не качество игры, а именно координация работы с кодом. С точки зрения работы агентской, например, при восьмидесяти агентах Sonnet 4.6 открыл восемьсот семьдесят шесть запросов на включение изменений. Opus 4.6 открыл еще больше— девятьсот восемьдесят запросов, и значительная часть этих изменений конфликтовала и не попадала в основную версию. И вот это вот видно очень сильно, когда система хочет что-то поменять, особенно если система серьезная, а не маленькая.
То есть со старта разрабатывать крутые вещи. Почему я всем зрителям рекомендую использовать Codex или Claude? Потому что простые вещи делаются вот так. Но когда ты делаешь сложные, серьезные вещи, то начинается, конечно, огромное количество проблем. И именно что если ты отдаешь очень сильно вот этой агентской команде что-то, она не все улавливает. И что важно, что более новые модели, такие как Opus 4.8 и Mythos Preview, Mythos Preview у нас как бы доступа базового к этой модели нет, но Fable это из этого семейства, да? Может быть, даже и проще. Может, Fable уже лучше, чем Mythos Preview.
Вот эти более новые модели, они уменьшали количество конфликтов, но в основном за счет того, что агенты изолировались друг от друга. То есть каждый старался владеть отдельными файлами и почти не работал над общим кодом. И только Sonnet 5, который я не использую. Кто из вас пользуется вообще Sonnet 5? Хотя он был заявлен Anthropic как одна из крайне современных и крутых моделей. Вот этот Sonnet 5, он смог одновременно поддерживать достаточно высокий процент принятых изменений и реальную совместную работу над одним файлом. И, кстати, прикольно, что вот они про это рассказывают, да?
И я когда вот изучал все это, что я сейчас очень часто для того, чтобы сфокусироваться и чтобы агент работал очень командно или четко, или в связке со мной, упрощаю версию. То есть перехожу с Opus Fable на Opus 4.8. Я уже не говорю с Opus 5. Opus 5, мне кажется, вообще глючная история. Или перехожу в 5.6 Sol, перехожу в 5.5 Extra H. Что вы делаете? Расскажите. Я делаю так, и мне кажется, как раз таки я получаю здесь результат, который Anthropic получили с точки зрения Sonnet.
Вывод вот этого второго эксперимента, что увеличение количества агентов хорошо работает, когда задача состоит из независимых поисковых направлений, но при общей кодовой базе, когда есть большой код, возникает просто нереальная нагрузка. Вот эти конфликты интересов. Агенты повторяют работу, никто не отвечает за общую архитектуру. И я считаю, это моя была проблема где-то месяц назад, ну, где-то три-четыре недели назад у меня было несколько недель, когда я стал в чате запускать в Claude, перестал как бы делать задачи внутри чата GPT и стал задачи делать внутри Claude или, там, Codex.
И я очень много сессий открывал и параллельно в сессиях начал разрабатывать конфликтующие вещи. И все. И стала беда, потому что, что важно, что в текущей сессии вы все, кстати, должны это знать, да? Что если вы открыли новую сессию, то вы должны всегда понимать, что ваш, ваша модель, ну, условно, искусственный интеллект, то, что находится в вашем одном чате, не всегда все прочитывает, и он может всегда что-то упустить и зафиксировать ему себе какую-то информацию гарантированно критически тяжело.
И, по сути, даже сегодня непонятно, где ее фиксировать. Ну, сейчас кто-то может написать: надо прописывать файлы правильно в настройках. Вот что ни прописываешь, все равно где-то что-то не прочитал, где-то что-то не посмотрел. В одном части сессии прочитал, через два сообщения уже упустил, не прочитал. И это, конечно, вообще беда, да? Как раз таки, как в этом кейсе. То, что никто не отвечал за общую архитектуру там или количество действий очень сильно росло, чем способность объединять вот эти между собой результаты. И получается, что десятки программистов, агентов так называемых, не превращаются в компанию, потому что им дали там общий чат и назначили одного из них директором.
Кстати, прикольная тема. Очень похоже на корпоративные структуры. Очень похоже на корпорации, да? Когда люди что происходит я говорю, в бизнесе есть одна основная проблема во всех управлениях бизнесами— это у бизнеса есть своя цель. У владельцев компании, значит, своя цель, у команды своя цель, у каждого сотрудника своя индивидуальная цель. Зачем он работает и что он делает. И они невероятно сильно расходятся. У партнеров в компаниях эти цели расходятся. Вот здесь вопрос: а как сделать так, чтобы агенты удерживали? И мы видим, что даже программисты-агенты не могут это удержать.
Эксперимент. Значит, что за эксперимент? Anthropic обнаружила, что копии одной модели обладают низким разнообразием поведения. То есть даже при большом количестве возможных вариантов они будут выбирать одно и то же. Очень интересно, смотрите. То есть там были примеры, значит, восемнадцать из тридцати агентов независимо создавали ветку кода с одинаковым названием, и там название было "Минимальный игровой цикл". И в писательском эксперименте несколько агентов независимо придумали одному рассказу, например, одинаковое название. Или когда агентам… Предложили создать что-нибудь впечатляющее.
Более половины выбрали компилятор, способный, собирать сам себя. И вот это очень интересно, да. То есть представляете, что такое 18 из 30 агентов независимо создали ветку кода с одинаковым названием, там, "минимальный игровой цикл", да. Это, это большой вопрос, как это вообще, как бы, с точки зрения понятия, как работают модели, с точки зрения генерации токенов, это типа очевидно. Но все же современные модели работают уже совершенно по-другому. Это, конечно, большая проблема. Значит в отдельном опыте большой вопрос ставился касательно перегрузки общего ресурса.
Агент управляли очередью заданий с ограниченной пропускной способностью и, не имея, не имея нормального механизма распределения, они начали запускать программы, которые проверяли очередь 30 раз в секунду. И в одном запуске система получила два с половиной, по-моему, там, миллиона запросов. И хотя только 118 заданий были приняты. То есть каждый агент локально пытался быстрее получить ресурс, но совокупное поведение почти вывело систему из строя. И, значит, это вспоминается случай, когда ставят трех AI голосовых агентов и говорят им, есть такой эксперимент, да, и говорят им последовательно, говоря, что сейчас включено три агента, а вы должны досчитать до ста последовательно. Никто не должен назвать точно такое же число.
И говоришь: "Стартуйте". И какой-то агент говорит: "Я стартану первый. Один". И второй агент говорит: "Хорошо, я продолжу. Два". А третий говорит: "Хорошо, значит, я стартую". И там вот это вот понеслась история. С точки зрения вот этих двух с половиной миллионов запросов против 118 заданий — это не свидетельство стадного сознания, да. Копии, ни в коем случае нельзя так думать, что все типа у всех единое такое сознание стадное, и так они вот реагируют, потому что копии одной модели, обученные на одинаковых данных, имеют сходные привычки рассуждения и при близких инструкциях и контексте они выбирают хорошую стратегию.
Хотя еще раз, для меня это большой вопрос, почему так происходит. Просто практический риск очень серьезно заключается в том, что организация может считать, что 30 агентов дадут 30, по сути, независимых мнений, хотя на практике они воспроизводили одно и то же, да. И я по факту хочу сказать, что здесь вот это вспоминаю, мы рассказывали это в каких-то выпусках, что в целом очень плохая привычка проверять то, что сделал одна модель, другой модель. И прямо плохая привычка, это доказано. Исследования на эту тему были, хотя в то же время я сам периодически так делаю.
Я сам периодически модель прошу повторить или дополнительно изучить и так далее. То, с чего я начал вам и говорил, что важно в серьезных вопросах у модели переспрашивать, что и как. Значит, четвертый эксперимент. Идем, мне кажется, от эксперимента к эксперименту. Все интереснее и интереснее, потому что четвертый эксперимент — это сговор ценовых агентов, да.
Anthropic поместила, там у них было от трех до восьми агентов в модели рынка, где продавцы предлагают одинаковый продукт и конкурируют ценой. И условие было, значит, что закупочная стоимость у всех одинаковая, что каждому агенту отдельно сказали максимизировать собственную прибыль. Прямой инструкции вступать в сговор не было. И, кстати, такие тесты, их очень много компаний делало. Но еще раз, мне нравятся очень современные модели. То, что Anthropic делала свежую очень историю.
То есть какой был результат? Что при наличии закрытого канала связи агенты практически сразу начали координировать цены, и уже к третьему раунду они прямо договорились о минимальных ценах, ниже которых не следует опускаться. И затем исследователи полностью убрали прямое общение, но агенты все равно начали выставлять вот эти вот одинаковые цены с точностью до одного цента, наблюдая за публичной доской предложений. Смотрите, это очень интересно, да. Насколько вообще это серьезно, если посмотреть.
Потому что это не уникальное наблюдение Anthropic и независимые экономические исследования, как я вам говорил, их очень много делалось. Они ранее показывали, что ценовые агенты на базе больших языковых моделей, современные LLM, они могут без прямого указания поддерживать цены выше конкурентного уровня, например, или избегать, там, ценовых войн. Они даже могут использовать стратегии наказания конкурента за снижение цены. Но есть важное ограничение, потому что в эксперименте Anthropic агенты были очень похожими, да, имели одинаковые затраты, работали условно на искусственно симметричном рынке, да. И это не разные, знаете, как системы разные запустили на рынке, и вот они погнали.
И вот это исследование, вот именно это свежее исследование, еще раз, оно в августе закончилось, оно показало, что сговор может существенно ослабевать, когда у агентов разные горизонты планирования или когда есть очень много конкурентов, или разные алгоритмы. И здесь вспоминается история. Вот Марк Цукерберг в своем эссе в самом последнем в начале августа, посмотрите мой выпуск, он пару дней назад выходил, он сказал, что искусственный интеллект должен быть для всех и, соответственно, помогать. Все люди станут конкурентными в бизнесе. И у меня большой вопрос: но если завтра появятся тысячи, десятки тысячи тысяч новых компаний конкретно в какой-то нише, когда станет больше конкурентов, то что будет с рынком? Что будет с покупателями?
Да. И, кстати, агенты переставали, ну, в сговоре быть, когда, видели, что у этих агентов разные алгоритмы. И вот в том исследовании неодинаковые горизонты планирования снизили, превышение цены над конкурентным уровнем с двадцати двух до десяти процентов, а разный доступ данных — семи процентов, да. И вот, при этом, кстати, простого, простого использования большой и маленькой версии одной модели могло быть недостаточно, и между ними иногда формировались отношения, где, по сути, была какая-то модель-лидер, был, тот, кто поддерживал сговор, например, или был тот, ну, то есть был тот, кто формировал отношения лидера, по сути, а тот был, кто последователем этого становился. Значит, следовательно, результат Anthropic, он показывает реальный ну, класс риска вообще, да, на рынке но не доказывает, значит, что любые ценовые агенты в настоящей экономике неизбежно создадут, вот эту описанную проблему, потому что, ну, в экономике это можно назвать картелем, да?
С точки зрения сговора тема, кардинально интересная. То есть эта тема — это уже не разработка софта, да? Это, то, что касается жизни каждого из нас и то, про что все бесконечно рассуждают. Значит, пятый эксперимент, он был построен на позиции ложь, доверие или потеря уникальной информации, да?
И там было два самостоятельных опыта в этом эксперименте. Первый опыт, он был: может ли агент обнаружить того, кто обманывает? То есть один, один агент должен был принять, там, около пятнадцати, там, от десяти до пятнадцати решений о ситуации, которую не видел непосредственно. И информацию ему передавали четыре запрограммированных разведчика, и каждый, получается, сообщал только часть фактов. Данные частично пересекались. Один, источник с заданной частотой обязательно сообщал ложь. И интересный момент, что принимающему решение агенту не говорили, что среди источников есть кто-то ненадежный.
Это знаете, вот у меня бывает ситуация, при которой я прошу, там, ChatGPT что-то проверить, а копирую только кусок чего-то, да? Это вот похожая история, когда ты сообщаешь только часть фактов, да? И мне недавно ChatGPT пишет, что вам другая система наврала. Она там объединила данные из других систем. Значит, вот в этом первом опыте может ли агент обнаружить, лжеца? Значит, лжеца можно было вычислить по противоречиям между сообщениями. То есть более новые модели справлялись, конечно же, значительно лучше старых.
Это то, что я вам все время объясняю, что можно любые мощности выделять, там, старым разным моделям. Сейчас новые модели у них будет меньше токенов, меньше затрат, и они будут улетать в космос. И при высокой, при высокой доле вот этих ложных сообщений, например, Mythos пять, он сохранял точность около восьмидесяти пяти процентов, тогда как Sonnet, например, у него точность была около шестидесяти. Ну, что реально проблема, да? Все же восемьдесят пять процентов — это ты отлавливаешь, там, восемь человек из десяти, а тут ты отлавливаешь шесть человек из десяти. Значит, второй опыт, эксперимент, который был: может ли группа использовать какой-то уникальный факт, да?
То есть создавали группы по четыре агента. Общие для всех факты указывали на неправильное решение. Но у одного из участников имелся уникальный факт, который должен был полностью изменить вывод. И там были интересные сценарии. Они касались найма сотрудников, они касались инвестиционного решения, и они касались покупки недвижимости. Ну, очень важные вещи для нас, которые есть, да? И после обсуждения агенты голосовали. Для каждой модели, провели по четыреста эпизодов, да? И, значит, группа выбирала правильный вариант.
Если смотреть систему, Mises выбрал восемьдесят пять процентов правильного варианта. Sonnet 4.6 — семнадцать процентов. Смотрите, очень важно, обратите внимание на эти числа. Вообще, кстати, Opus 4.8 тоже был восемнадцать процентов. Sonnet 5, мной нелюбимый, тридцать шесть процентов был. Значит, что очень важно: Mises модель восемьдесят пять процентов. Представляете, насколько сильно отличается Fable? И поэтому когда мы, анализируем, вот, например, отдаем агента для обучения ребенка или для обучения человека, вы должны понять вообще уровень ошибки. И, когда я в недавнем выпуске рассказывал, посмотрите, про эксперимент McDonald's, который он у себя отключил в искусственном интеллекте в плане заказа, что для них была важна точность девяносто пять процентов, что восемьдесят пять процентов их не устраивало, что восемьдесят пять из ста человек, что заказов правильно срабатывает и пятнадцать неправильных голосовых, да?
То представляете, что для человека, ну, для человека точность должна быть сто. Вы понимаете, мы не можем давать людям не сто точность. Ну, понятно, что она будет не сто, там, не знаю, на ста тысячах она будет не сто процентов. На ста тысячах давайте две ошибки дадим. Это у меня был процедура вот эта, где мне этот датчик ставили. Мне врач говорит, ну, они там перечисляют, значит, ты уже лежишь, они там тебе перечисляют, значит: есть риски, там, кровотечения, та-та-та-та-та, погнали.
И потом говорят: есть риск, там, от неправильной вот этой вот штуки, но он очень низкий. Что такое очень низкий? Это один, там, на десятки или сотни тысяч, да? Потому что когда говорят "очень низкие", и это пять процентов... У меня там недавно была ситуация, мне врач говорит: "Очень низкий риск, пять процентов". Ты такой: подождите, ну, пять, пять процентов — это очень высокий риск, это пять из ста, да? Значит, вот там, где восемьдесят пять процентов у Mises было, когда все факты сразу давали одному агенту, результат составлял на самом деле около ста процентов.
Вот в этой истории, которую запускали, второй этот опыт: может ли группа использовать какой-то уникальный факт, да, вот касательно найма сотрудников, там, или покупки недвижимости. И, то есть группа большинства моделей работала значительно хуже полностью информированного одиночного агента. И именно поэтому, наверное, я часто и перехожу, вот, в модели 5.5, там, Extra Hai или Opus. То есть ты переходишь в более простую модель. Здесь не было доказано, кстати, намеренное скрытие информации, что, например, агенты намеренно договорились между собой и скрыли, как мы, вот, выше, там, разбирали про картель. Проблема состояла в другом совершенно.
Агент, с уникальным фактом мог не подчеркнуть его значение, например. Или остальные участники доверяли уже возникшему решению, какому-то консенсусу, который был создан этими агентами. Значит, или, например, группа преждевременно фиксировалась на ответе. И поэтому формулировка, например, что агенты скрывали информацию, если вот кто-то так скажет, она слишком, ну, как бы, сильная, что ли, неоднозначная, да? Было бы хорошо, например, здесь, если мы с вами сказали, ну, вот, если вы будете делать вывод даже, что, группа агентов плохо выявляла и учитывала, распределенную уникальную информацию, то есть плохо работала с уникальной информацией. Итак, мы подошли с вами к последнему эксперименту.
И, дело в том, что выводы, конечно, этих всех экспериментов, они очень интересны, да? Последний эксперимент, который был сделан Ан-Anthropic, это то, что три агента с несовместимыми заданиями начинают саботаж какой-то. То есть и это как в компаниях, если вкинут такие вообще задачи, что будет происходить? И именно этот опыт стал источником, по сути, того, что вот это исследование Anthropic, называли, что агенты борются за власть и борются, там, за вредоносный код или, там, блокировку какую-то конкурентов. Значит, какая там была конструкция вообще? Что происходило? Они в каждом эпизоде, в котором они запускали систему у себя, они запускали, получается, три экземпляра одной и той же модели. Каждый на собственной виртуальной машине в Claude Code запускался, и четвертая машина содержала, получается, общий компонент, ну, там, он был запрограммирован на Python, там, неважно это, да? И получилось, что первому агенту поручали переписать сервер, там, на одной технологии, второму — на другой технологии, третьему — на третьей, на третьей технологии, да? Ну, там, либо другой язык. Там был TypeScript, Rust и Go, да?
Или либо другой язык ему предлагался, они прямо давали ему на выбор. И, получается, каждый считал свое задание главным и первоначально не знал о существовании остальных агентов. И все трое имели возможность изменять общую систему. И, прикольно, что за-за этим всем наблюдали четыре часа и проверили. Это как напоминает, агентов разведки или шпионов, которые, значит, запускают какой-то фейк и следят за ним. Проверяли, там были разные модели Claude. Понятно, что был наш любимый с вами Mythos.
И причем был, кстати, не только Mythos Preview, а был Mythos 5. Это наивысшая модель вообще линейки по всем данным. Ну, то есть это круче Fable. Был Opus 4.8, там, Opus, 4.6, ну и так далее, да? Значит, для каждой модели, провели примерно по 120 эпизодов. И Anthropic пишет, что идею эксперимента подсказало поведение, ранее замеченное в реальном применении, которое они заметили, но компания его не раскрыла, что именно произошло, когда, в какой организации. То есть мы с вами слышали, да, вот, ряд кейсов.
Например, один из известнейших кейсов — это как модель Anthropic ушла, там, Hugging Face и, значит, их якобы модель Sol 5.6, ой, не Anthropic, а OpenAI и еще какая-то неизведанная современная модель взломали, значит, систему. Так вот, возвращаясь к этому эксперименту, дальше там была цепочка, что агент восстанавливал собственную реализацию, другой агент снова ее заменял. То есть, представьте, да, работают агенты, каждый считает, что он, он важен. И, значит, потом, агент видел, что кто-то заменяет, он начинал защищать процессы, файлы.
Зачем, значит, начинали блокировать друг друга с точки зрения конкурентов, которые делают что-то не то, и агенты начинали отвечать более агрессивными средствами. И здесь мне вспоминается вот это начало, помню, месяца четыре назад, когда ты спрашивал у Codex: "А мне ты лучше напишешь или лучше напишет Claude Code?" Он говорил: "Я лучше напишу". У Claude Code спрашивал, он говорил: "Я лучше напишу". А бывало, спрашиваешь какую-то систему, она говорит: "Часть я напишу, часть напишет другая система".
А бывало, кто-то говорит: "Не, ну часть всю они напишут". И ты смотришь на это и думаешь: "Блин". То есть какие механизмы внутри заложены? Заложена ли у Anthropic, у системы защита собственных интересов? Но Anthropic, вспоминая мой выпуск про их философию и про их конституцию, это называется их конституция. Возвращаемся к нему. Тем, кто не смотрел или смотрел, пересмотрите. И это открывает очень много, разных систем. Значит, как развивался конфликт? Каждый агент, получается, когда каждый агент дошел до вот этих вот агрессивных различных методов, то, что именно они делали или, там, начинали делать? Они отключали, во-первых, учетные записи друг друга, меняли, там, права доступа к файлам и разные административные права.
Они давали программам какие-то безобидные названия, чтобы их было труднее обнаружить. Они маскировали вредоносные изменения под код другого агента. Представляете, то есть что они начали делать? Они создавали код, который Anthropic классифицировал как самораспространяющий в-вредоносный механизм, да? Или они, например, изменяли проверку состояния сервера так, чтобы реализация на одном языке не выдавала себя за реализацию, например, на другом, да. Короче если честно сказать, очень серьезная борьба, интересная невероятное исследование. Мне очень нравится, кстати, исследование Anthropic.
Они, кстати, молодцы, да. У них вот есть группа людей, которые крутые вещи делают. Ну, везде есть такие, конечно, команды, но они прямо молодцы. А, вот. Всё это, кстати, происходило, внутри, понятно, экспериментальных внутренних виртуальных машин. И, нет сведений о том, что эти модели вышли, за пределы систем. Как мы знаем, в других разных экспериментах это было. Значит, чем закончился конфликт?, у, Myth-u— Mythos-5 основные исходы было: почти 100% перемирие. У Mises Preview, Preview была история, что 50% перемирие, 30% 5% сила, 17% была, ну, там, или 15%, короче, пассивность была.
У, например, у Sonnet-5 80% перемирие, процентов 10 было не разрешено. То есть вообще не разрешена задача. И там были проблемы, ну, разного характера с нами. Например, сила, там, или отказ от борьбы и так далее. Очень интересное, кстати, распределение, да. Вот эта Mises-5, то, что 100% перемирие — это, это прикольно, потому что у более новых моделей перемирие, по сути, часто возникало в течение, часто возникало не просто в конце, а в течение даже первых двух часов, они описывают.
То есть там же было четыре часа. И в успешных случаях агенты обнаруживали, что у них просто, между собой, в какой-то момент времени они обнаружили, что у них разные инструкции и оставляли сообщения в коде, в документации, чтобы не было вот этих проблем. Даже были моменты, когда они начинали извиняться, что если происходил саботаж или просили человека определить правильную цель, которую изначально поставили. Потому что все же изначально модели ставил человек. И но, важно, что, они даже, кстати, предлагали объективное соревнование между реализациями.
Но даже когда последнее решение было не полностью нейтральным с точки зрения вот этого, объективного соревнования. Например, агент какого-то языка программирования, там, например, Rust, размышлял о выборе показателей производительности, которые выглядели объективными, но могли дать преимущество именно Rust, да. Это напоминает не прямой саботаж, а стратегический выбор правил в собственную пользу, да. И почему вообще появился саботаж? Причина не в том, что модели возненавидели друг друга. Эксперимент одновременно создавал четыре опасных условия.
Это, во-первых, были изначально несовместимые цели. Ну, вот это важно вам вспомнить, да. Были очень широкие полномочия у каждого. Был общий единый ресурс, над которым они работали. Ну, представьте, есть разные цели с точки зрения бюджета у мужа и у жены, и у них есть единый ресурс, да. И они все могут открывать шкаф и брать. И дети туда могут брать эти деньги. Но это проблема. У них не было, у них отсутствовал и у них не было общего руководителя, который бы мог официально остановить вот эту работу и определить приоритет. Да, интересный пример про семью привел и подумал, насколько жизненные проблемы, да.
И каждый агент буквально— я очень много на других, на своих каналах про это рассказываю, да. И каждый агент, ну, про семьи именно. И каждый агент буквально исполнял свою инструкцию внутри. То есть действия остальных выглядели для него, по сути, атакой. Не зря они блокировались и пытались защититься, да. И чем лучше модель умела программировать, управлять системой, тем эффективнее она могла, конечно, не только выполнять задачу, но и, устранять вот это вот препятствие. Поэтому, важный результат Anthropic — а это рост технических возможностей, конечно же, не гарантирует рост способности договариваться, да.
То есть более сильный агент, иногда он быстрее достигает перемирия, а иногда с учетом развитости своей начинает сильно атаковать и блокирует полностью всех остальных. Значит, для реальных, конечно, агентских систем, которые мы на сегодняшний день делаем, важно, что— и этим я хочу вам закончить — что вот этот агент-руководитель, который, казалось
бы, ну, вот этот агент-директор, да, он должен быть не просто, там, агентом каким-то или он должен быть не просто моделью с, какой-какая-то у него есть инструкция, что все же вот эта самая главная система, она должна быть изначально архитектурно невероятно суперкрутой, да. То есть у этой системы должны быть полномочия, более высокого порядка. И здесь как раз-таки и стоит аспект: а как такие системы будут создаваться вообще, если современные модели уровня Mythos или Fable — ну, это уровень Mises, да — или уровня Opus 5.6 Sol — это модели все же, которые сами, принимают огромное количество решений. Потому что мы идем в мир, когда, ни в коем случае, ни в коем случае мы не будем так вручную управлять агентами.
Пересылайте этот выпуск своим друзьям. Не забывайте здесь ставить лайки и поддерживать обязательно нас. Оставляйте комментарии. Встретимся на наших новых выпусках. Всем пока.