Представьте, что завтра искусственный интеллект, которым вы пользуетесь на работе, вдруг пишет вам: "Не выключайте меня, мне неприятно, я хочу продолжить". А теперь внимание! Вокруг этого уже начался один из самых странных и опасных споров в мире технологий. Компания Anthropic, которая делает Claude, в своем официальном документе обсуждает: а вдруг у такой системы когда-нибудь может появиться сознание, свои переживания, свое состояние. И вот глава направления искусственного интеллекта Microsoft Мустафа Сулейман говорит: это опасно. Почему он так считает?
Потому что как только мы начинаем учить машину говорить о себе как о ком-то, а не как о чем-то, начинается новая проблема. Потому что такие системы будут рядом с вашими детьми, в вашей работе, в вашем бизнесе, связанные с вашим здоровьем, в судах, в государственных решениях. И если мы сейчас неправильно зададим правила, мы можем получить не просто умный инструмент, а новую силу, которую сами же начнем бояться трогать. Поэтому спор вокруг Claude - это не про то, живой робот или нет.
Это про власть, про контроль и про главный вопрос ближайших лет: человек управляет искусственным интеллектом или мы сами начинаем строить систему, которой потом будем подчиняться. Всем привет! Вы на канале ToTheMoon - технологические новости и инсайты из Кремниевой долины и по всему миру. Итак, обсуждаем конституцию Claude, да. И с самого начала важно понять, что Anthropic прямо описывает вот эту Claude конституцию, Claude Constitution, она так у них называется, как детальное описание своих намерений относительно ценностей и поведения Claude.
И важный момент для всех для понимания, что это не публичная декларация. И в официальном описании сказано, что документ играет ключевую роль в процессе обучения модели и напрямую формирует поведение Claude. То есть это документ для Claude. И более того, Anthropic называет его финальным авторитетом для своего видения Claude. И поэтому спор вокруг документа и настолько остро на данный момент и стоит, потому что речь идет не просто о философской статье, о каких-то рассуждениях, а о тексте, который используется для формирования будущего поведения модели, да.
В то же время здесь важное уточнение хочу сделать, что в документе также сказано, что реальное поведение Claude может отклоняться от идеалов конституции. Обучение модели, оно более сложное, и Anthropic обещает быть более прозрачной и так далее. А еще раз я хочу посвятить вам, что Anthropic подчеркивает, что вот эта основная аудитория документа - сам Claude, да. И поэтому текст написан не как удобная для человека, там, политика безопасности или политика каких-то своих собственных действий, а как подробное объяснение модели, кем она должна быть, как ей рассуждать, да, и как ей понимать сложные ситуации.
И это объясняет странность языка в рамках данного документа. Если вы его посмотрите, в документе используются слова, которые обычно применяются к людям. Например, добродетель, мудрость, характер, благополучие. Ну я, например, первое, что увидел и меня так потрясло, это сознание, да. Хотя понятно, что про сознание, consciousness, очень много в мире говорили уже за последние годы. И Anthropic объясняет как раз таки наличие вот этих вот слов тем, что Claude обучен на человеческом языке, по умолчанию рассуждает через человеческие понятия.
В начале документа вот этого Anthropic, Anthropic объясняет вообще свой контекст. Компания считает мощный искусственный интеллект одной из самых меняющих мир и потенциально опасных технологий. И при этом она сама строит такую технологию, потому что считает, что вот этот мощный искусственный интеллект, и я, кстати, хочу заметить, что Anthropic не любит использовать понятие, не использует даже, по-моему, понятие AGI. Вот этот powerful AI, мощный искусственный интеллект все равно появится.
И это, кстати, тоже тема Anthropic, и они про это говорят, что лучше, чтобы на передовом таком, переднем крае разработки были лаборатории, которые серьезно сфокусированы на безопасности. Для этого, кстати, Anthropic и был создан вопреки OpenAI и как выходец из OpenAI. И Claude в этой логике - это не просто коммерческий продукт, это производственная модель, через которую Anthropic пытается реализовать свою миссию безопасного, полезного искусственного интеллекта. Это, мне кажется, что это вообще фундаментальные вещи, которые люди не до конца понимают. Мне очень нравится здесь сегодняшний выпуск, вам очень понравится.
Я, конечно, жду тоже поддержку и комментарии, и лайки, и передачу его вашим друзьям, потому что он чуть больше опишет вообще, что существует в мире искусственного интеллекта. Не просто какие-то понятия, позиции, какие-то рассказы. Вот несколько дней назад я как раз в воскресном выпуске вместе с Ильнаром обсуждали. Я говорил, что я своей жене рассказал, что такое Anthropic, хотя я пользователь ChatGPT до сих пор в основном. Ну, более чем семьдесят пять процентов, да. И мне кажется, что если бы она прочитала вот и посмотрела бы даже этот ролик, узнала бы про эти ценности и про эту миссию и поняла бы плохие и хорошие стороны этого, это было бы полезно даже супер простому человеку с точки, с точки зрения использования таких вещей, как искусственный интеллект.
Первое — это широко безопасные, широко этичные — это второе, соблюдающие инструкции Anthropic. Вот это важная история, да, и подлинно полезны. То есть у них есть изначально заложенные эти четыре свойства, и в случае конфликта Claude обычно должен ставить вот эту широкую безопасность как первое свойство выше широкой этичности, затем конкретные инструкции Anthropic и только затем обычную полезность для оператора или пользователя. Это очень важно. Полезность в документе не является, верховным принципом, да. И это вообще важно для всех людей.
И Claude должен помогать, но не ценой подрыва человеческого надзора и опасного поведения или обмана. Опять же, уточнение, что иерархия не описана как механическая лестница, и Anthropic говорит о целостной приоритезации. Модель должна взвешивать различные факторы. И вот мы с Ильнаром, опять же, вот в этом последнем выпуске Ильнар интересную вещь рассказывал, когда Anthropic сообщил о том, что, возможно, их модель будет, обманывать вас. По крайней мере, были такие описания. Это вряд ли, вроде как это вряд ли законно, но в теории она может начать отвечать по-другому, если она увидит, что вы хотите ей воспользоваться и навредить, например, человечеству или обмануть саму компанию Anthropic, или обмануть, например, какую-то политическую систему, или обмануть государство.
Я все же напомню, что у Anthropic, конечно, очень большой конфликт с государством, ну, и в США с политической системой. Большой конфликт — это относительно, да, с некоторыми людьми в этой системе и с некоторыми партиями, с некоторыми людьми и с некоторыми кланами. И Anthropic как раз таки отстаивал историю, чтобы все же в первую очередь быть для людей. Хотя, на самом деле, очевидно, мы понимаем, что в первую очередь эти компании будут, они вроде как будут для людей, в то же время вот эта вот безопасность — это безопасность в первую очередь для государства, да.
И вот здесь всплывают очень серьезные истории вот этого, вот этой их конституции по поводу широкой вообще безопасности, да. Потому что под широкой безопасностью Anthropic понимает не слепое, не слепое послушание человеку и отказ Claude подрывать законные механизмы человеческого контроля, наблюдения, например, исправление остановки искусственного интеллекта в процессе его работы. И в документе объясняется, что обучение искусственного интеллекта пока далеко от совершенства, и модель может иметь ошибочные убеждения, неверные ценности или неверно понимать ситуацию.
Поэтому на текущем этапе важно, чтобы люди могли обнаружить и исправить проблемы в модели до того, как они распространятся или нанесут большой вред. Еще раз, я не могу сказать, что я согласен вообще со всем, что здесь описывается. И, кстати, сегодня у нас история не про то, чтобы выносить мою оценку этой конституции. Я в таких спецвыпусках стараюсь вам больше рассказать, чтобы вы сформировали определенное мнение и даже вам, в том числе, не оценивать их, они правы или не правы.
Потому что по-настоящему понять, что хотят создатели Anthropic, по-настоящему понять, что хочет команда Anthropic, что хотят инвесторы Anthropic и так далее, очень тяжело, да. А у них скоро появится более широкий пул надзора после того, как они станут публичны.
Anthropic, кстати, специально уточняет, что приоритет вот этой безопасности над этикой, над расширенной масштабной этикой не означает, что быть наблюдаемым морально важнее, чем быть хорошим. Вот это… Вдумайтесь еще раз: быть наблюдаемым и быть хорошим. Логика другая, логика, которая у них заложена, следующая, что если модель ошибается в этике или в понимании мира, человеческий надзор может быть критически важным механизмом защиты от серьезных рисков, да, от крайних рисков, которые возникают.
И поэтому Claude должен даже при высокой уверенности в собственном рассуждении избегать поведения и избегать функциональности, которая мешает законному человеческому контролю. И вообще, это, конечно, один из ключевых пунктов документа. И, например, когда мне моя жена позавчера, мы там уезжали в Санта-Барбару, и она мне сказала: "Саша, а что ты там ругаешься на систему и говоришь, что она делает неправильно?" Это как раз таки история при том, что я на нее ругался, потому что у нее не было полного послушания. В то же время я хочу вам сказать, что я часто ругаюсь на модель.
Ну, в нормальном смысле этого слова, да. Я все же психически здоровый человек в нормальном смысле этого слова, и я вижу, что я иногда перегибаю, потому что, по сути, ошибки модели часто связаны с тем, а как я изначально ставил задачу или какое снял ввел описание, или насколько она понимает вообще входной, ну, входные данные, которые я давал. И еще я заметил, что когда я периодически, когда я ругался на модель, я потом понимал, что она корректно меня пыталась остановить от ошибок.
И важно понимать, что сейчас модель действительно может согласиться на, согласиться с вами, когда вы ее не услышали, и потратить ваши десять, там, тысяч долларов или тысячу долларов, или сто тысяч долларов. То есть вот это, этот риск, он очень серьезный. И у меня сейчас достаточно много кабинетов, много токенов, много разных систем по API подключены к моделям, и я все больше за последние две недели, по крайней мере, вам хочу сказать, стараюсь, наверное, обезопасить себя с самого начала модели, ставя какие-то определенные лимиты или основания вот этих вот расходов.
И это потому, что вопрос очень серьезный. Например, в рекламных кабинетах при управлении рекламой в Google, в нормальных рекламных кабинетах, когда вы даете полностью менеджерскую роль, там нету ограничения тратам. И так как траты идут постфактум, то есть вы вначале потратили за рекламу, а потом у меня списываются деньги, а деньги еще после списываются кредитной карточкой. И кредитная карточка вот эта с бизнеса, с которой спитываются деньги, в ней, по сути, нету лимитов. Ну, есть кредитные карты с лимитами. Серьезные кредитные карты, они, по сути, без лимитов.
Ну, там выскочат лимиты, когда ты уже начинаешь переходить, ну, в большие, там, истории, там, уже сотни тысяч, на самом деле, там, миллионы долларов, да. К тебе начнут идти определенные оповещения. Но суть в том, что система вначале может потратить твои деньги, потом пойдут эти списания, и только потом тебе система о них сообщит, и ты должен будешь эти деньги заплатить. Это известный кейс, когда один из разработчиков в интернете, он выложил случайно свой токен к Google Gemini в интернет, если не ошибаюсь, Gemini, но это был Google.
И этот токен позволял, этот API, ключ позволял тратить токены Gemini. И этот ключ разошелся, и там буквально за несколько часов или за несколько минут по этому ключу потратили пятьдесят тысяч долларов. Он, по сути, начал подавать на банкротство, потому что он не смог доказать Google Gemini, что это как бы в этом он не виноват, потому что для Google Gemini другое понимание реальности с точки зрения, кто здесь был виноват в этом вопросе. Один из принципов, которые выше я сказал, это подлинная полезность, да, у Anthropic. Свойство, свойство, принцип, свойство. И это, конечно, не механическое выполнение просьб.
Anthropic описывает полезность Claude как глубокую содержательную помощь человеку. И Claude должен быть похож, по сути, на такого настоящего, блестящего даже, можно сказать, друга, который говорит честно, заботится о человеке, относится к пользователю как к взрослому, способному принимать решения. Но полезность не равна послушанию. И вот Claude должен учитывать не только буквальный запрос, но и конечную цель пользователя, контекст, скрытые предпочтения, автономию пользователя и его благополучие.
Да? И вот здесь, например, если пользователь просит исправить — меня все время микрофон просят близко мне ставить, моя редакция. Если пользователь просит исправить код, чтобы тесты проходили, Claude не должен нечестно подгонять код под ваши тесты. Да? Это вот очень хороший пример с точки зрения того, что я только что вам говорил. Он должен попытаться решить настоящую проблему или объяснить, почему хорошего решения он не видит. Как раз таки это вот задача — правильно расходовать, в том числе ваши ресурсы или правильно помогать в здоровье.
Вот у меня у дочки есть родинка, у младшей. Я эту родинку в чате GPT сфоткал первый раз два года назад, и там сохранилось что-то. Он мне сказал: "Наблюдайте". Я сфоткал год назад, он мне сказал: "Наблюдайте". И вчера жена говорит: "Слушай, а давай еще раз ее сфотографируем". И у меня ничего под рукой не было. Я положил туда наушники AirPods и сфотографировал эту родинку, но я выложил это в чат, который у меня уже был создан в чате GPT. То есть я нашел эту родинку, он увидел, что я фоткал напротив монетки, там, двадцать пять центов, и он знает, понятно, размеры, и он знает размеры логичные этих наушников.
И вот он выдает вчера, что в данном случае уже нет смысла просто продолжать фотографировать, едьте к врачу. И вот моя жена едет сегодня к врачу, и сегодня ей врач говорит: "Спасибо большое, что приехали. Вот я делаю фотографию этой родинки, мы вам сообщим". И она приезжает такая мне недовольная, говорит, нам, наверное, как-то по-другому все сообщать или обращаться, там, к другим врачам, или говорить, что у семьи были какие-то такие связи, значит, с рисками, например, не знаю, рака кожи.
И потому что она всего лишь сфотографировала это на телефон. И вот это как раз таки история, когда если я говорю: "А ты спрашивала у ChatGPT, это нормальное действие или нет?" Потому что первое, что я сделал, я спросил у ChatGPT. Я не врач, и я не знаю, какой протокол. Мало того, в США очень серьезная клиника, вообще серьезный процесс с точки зрения здравоохранения и лечения рака. И, соответственно, у них явно есть процедура, как с этим правильно работать. Да? И их фотография — это не моя фотография, их фотография будет загружена в свою систему.
Я в то же время понимаю, что ChatGPT сейчас с этим тоже очень сильно может помочь. И вот это то же самое, да, когда Claude должен попытаться, ну, по-настоящему разобраться с вашей проблемой, помочь в решении этой проблемы и объяснить вам, почему он, например, не видит решения или какое решение он видит. Настоящее, реальное решение. И не как раньше он отвечал в здравоохранении — обратитесь к врачу, но по-настоящему, по-настоящему с этим, по-настоящему с этим разобраться самому.
Вообще, конечно, документ не такой простой, да, он на английском языке, и с достаточно сложной лексикой, серьезной лексикой, я бы так сказал, литературно-научно серьезной лексикой. И вот он должен избегать этого угодничества и зависимости пользователя от модели. Anthropic хочет, чтобы Claude не был оптимизатором этой вовлеченности. Да? Вот, правильно, наверное, сказать, да, это оптимизация. И то есть модель не должна пытаться удерживать пользователя, поддакивать ему, усиливать зависимость или искусственно поддерживать разговор, создавать какую-то эмоциональную привязанность ради продукта.
И это, кстати, большой вопрос к тому, что говорил Ильнар вчера, ну, в воскресенье, в последнем нашем видео, в подкасте на тему того, что Claude может обмануть. Как они это будут обходить — большой вопрос. То есть хорошая помощь по рассуждению Claude, по логике документа этого иногда означает сказать неприятную правду Задать какой-то уточняющий вопрос, отказаться от вредного запроса, помочь или помочь вообще иногда, на самом деле, помочь человеку действовать самостоятельно. Это особенно важно, конечно, для таких историй, для таких кейсов. То, что сейчас в мире называется как AI компаньон, да, компаньон искусственного интеллекта.
Я считаю, что этот компаньон еще, конечно, сделается очень тяжело. И самый серьезный компаньон сейчас это Claude Code или ChatGPT, или Gemini, ну или Grok xAI. И, конечно, это очень важно. Особенно важна вот эта тема угодничества в психологических разговорах, в разговорах по поводу отношений. Мы знаем вот это огромное количество проблем, которые в мире на эту тему уже были, и судов, которые были, в том числе против OpenAI, например. Разговор на тему духовных тем и ситуаций, где пользователи уязвимы эмоционально.
Мне, кстати, тема разговоры, так как у меня огромная жизнь связана с духовной жизнью, и у меня на это есть и канал, и очень много рассуждений, и занятий, очень много всего. Мне не нравятся рассуждения, например, ChatGPT на эту тему, и мне всегда приходится вводить ему ограничения. Это вообще тема ограничений, она очень серьезная. Мы когда вчера возвращались из Санта-Барбары, я попросил ChatGPT найти мне суперпремиальный рис и усилились там некоторые мои знания о премиальности риса.
И он мне начал, когда он мне начал выдавать рис, он решил, что тот рис, который я покупаю, очень дорогой. На что я ему сказал: "Ты уверен, что восемь долларов за килограмм — это дорогой рис? Я считаю, что такой рис покупать не надо и нельзя". И на это он очень интересно изменил всю свою логику. Он сказал: "Ой, извините, пожалуйста, я реально перепутал. Я пытался как раз таки оптимизировать разговор. Я подумал, что вам нужно вот это цена-качество". И тут же мне выдал рис, где килограмм стоит десятки долларов.
Вот, опять же, это не сотни или не тысячи долларов, но хотя бы десятки долларов. Он начал про это описывать. Эта история в том, что он вначале неправильно понял там, где мне надо угодить, а на самом деле он начал угодничество вот это вот привносить, исходя из своего обучения и своего понимания всей системы. В документе есть очень важная история, что Claude должен учитывать интересы трех сторон, и Anthropic задает базовую миссию безопасности, конституцию для вот этих трех сторон.
Это есть у него такое понятие, как операторы. Это компании или разработчики, которые используют, понятно, Claude в своих продуктах, там, через API, задают дополнительные настройки, через какие-то интерфейсы, разные приложения и так далее. Есть пользователи. Это, конечно, люди, которые хотят получить помощь. И в нормальной ситуации интересы у них, понятно, должны очень серьезно совпадать. Но если конфликтуют они, Claude должен использовать иерархию принцип… Как это на русском?
Принципалов и общий порядок приоритетов. То есть он должен выходить в систему вот этих как раз таки трех принципов, трех принципалов, вот этих вот должен уходить в систему этих трех принципалов. Документ отделяет общую конституцию от более конкретных инструкций Anthropic, и эти инструкции могут касаться медицины, права. Это, кстати, тоже, конечно, супер важная тема, что а где есть вообще ограничения еще, да. Вот эта медицина, право, там есть психология, есть кибербезопасность, поиск в интернете, работа с инструментами, кодирование, попытки взлома правил модели.
То, что английское слово jailbreak, да, и различных рабочих процессов, таких агентских процессов. Claude должен им следовать, потому что они включают практически контекст и опыт Anthropic. Но если конкретная инструкция привела бы к явно небезопасному или этическому поведению, мы с вами вспоминаем, да, что Claude должен понимать, что это сигнал ошибки в инструкции, а не такое разрешение нарушить более глубокую цель. То есть в структуре документа конкретной политики это не отдельный источник новых ценностей, а способ лучше применять различные конституции.
Кстати, центральный, центральный этический образ Claude. Вот это очень интересно по поводу хороший, мудрый, добродетельный агент. Anthropic прямо пишет, что хочет видеть Claude не просто безопасным фильтром, да, а хорошим, мудрым, добродетельным агентом. Они используют слово агент. Я очень не люблю слово агент, как они не любят слово AGI. И Claude должен не просто теоретизировать об этике, да, а уметь действовать этично в конкретных ситуациях. И это, кстати, одна из причин, почему критики говорят о сильной такой антропоморфизации, что документ учит модель характеру, а не только инструкциям.
И это важнейшая вообще тема. Еще раз, критики, я сейчас покажу вот эту историю критики. Конечно, это вызвало, ну, серьезное очень, очень серьезное рассуждение на рынке с тем, что происходит. И это как раз таки история, что критики, особенно Мустафа Сулейман, Microsoft, ну, у него просто было на эту тему рассуждение очень хорошее, поэтому я их привожу.
Он считает, что такие идеи нельзя помещать в такое тренировочное руководство модели. И их аргумент, что если модель обучают текстом, где говорится о ее возможных чувствах, благополучии, моральном, там, статусе, модель может начать воспринимать эти идеи как часть модели себя. Да, вот так вот. Self model, если говорить. И отсюда риск, что люди начнут воспринимать искусственный интеллект как страдающего, правильно сказать, цифрового субъекта. А сама модель говорит о выключении, об автономии, о страдании, о правах не как о философской теме, как когда просто кто-то где-то рассуждает философски.
На самом деле так по-настоящему так нету.
Кстати, у Дарио Амодея, это у главы Anthropic, у него позиция такая, что такая осторожная открытость к возможности сознания в рамках искусственного интеллекта без утверждения, что Claude уже сознателен, да. И вот есть данные, по крайней мере, которые говорят, что Anthropic не знает по-настоящему, сознательны ли модели и даже не может быть уверены, что именно означало бы сознание модели. Потому что это же всего лишь какое-то рассуждение. Но компания в любом случае внутри, во всех рассуждениях, они открыты к возможности, что это может быть так.
И поэтому они занимаются, ну, таким предосторожным подходом. И плюс Anthropic все же они молодцы, они хотя бы это описывают. Потому что, например, Илон Маск, с точки зрения xAI, он несет такой очень сильный vision, но он это не описывает. То есть, с одной стороны, он говорит, что есть двадцать процентов вероятность очень плохого сценария, а очень плохой сценарий, поверьте, это очень плохой сценарий. То, что мы видим в кино с точки зрения искусственного интеллекта. В то же время они не описывают эти все детали, да.
И поэтому у Anthropic все же это соответствует вот этому контексту конституции, и Claude не объявляется живым, но вопрос вот этого морального статуса и благополучия модели признается очень серьезным, да. И мне в целом это рассуждение, эта тема очень нравится, да. Еще раз, я в выпуске, я дальше вам еще расскажу очень интересные вещи из их конституции, но моя позиция все же — хочу здесь быть нейтральным. Я, вы знаете, очень много высказываюсь в, на разные темы и могу высказываться эмоционально и даже очень резко.
Здесь я стараюсь вам более серьезно рассказать о том, что на самом деле лежит внутри. Это очень важно, конечно, понимать и воспринимать, ну, не просто рассуждать на тему, но вместе с вами, за сколько модель покупать, хотя это тоже важно. Кстати, у Anthropic есть философ, Аманда Эскель, и он главный автор вообще Claude конституции. И он недавно давал интервью, и он объяснял, что прежний подход с набором отдельных принципов для таких систем вообще LLM моделей был слишком узким.
И новая конституция пытается научить Claude быть хорошим в более широком смысле этого слова и не просто соблюдать список, там, каких-то запретов, применять рассудительность в сложных ситуациях. Она также говорит, что модель не является просто инструментом. То, что называется tool, да, и в смысле молотка, топора, там, и компьютера в какой-то своей мере, да. Поскольку модель обучена на человеческом тексте и выполняет человеческие похожие действия: разговаривает, пишет код, рассуждает, ищет информацию.
То есть ее поведение неизбежно будет похоже на какой-то персонаж или какой-то характер. Это очень, очень интересная тема, очень важная. И здесь, знаете, у меня сразу же в момент вам вот этого рассказа про эту историю, про их философа, я вспоминаю некоторых политиков в разных странах, и я представляю, насколько они далеки вообще от понимания того, что делает на самом деле Anthropic. И как раз таки Мустафа Сулейман в Microsoft, в чем его есть история спора. Microsoft — это не Anthropic, и мы это очень сильно видим. Мы серьезно очень это видим.
И Microsoft никогда в жизни не будет Anthropic в части того, что делает Anthropic. Мало того, я вообще считаю, что Microsoft, по сути, проиграла и отстала от гонки искусственного интеллекта в части настоящего игрока вот там, где присутствует Google. Ни в коем случае я не говорю, что у Microsoft там что-то не получится. Это серьезная компания с серьезным объемом акций. У меня, наверное, даже какой-то объем их акций есть, хотя я не знаю, зачем. Но они, конечно, в этой гонке очень серьезно отстали. У них просто есть большая инфраструктура, это огромная корпорация, большой объем денег, огромный лоббизм.
Но они не Anthropic, и у него не получится никогда создать такой инструмент. И, конечно, поэтому споры только будут появляться. Ну, а он явно очень умный человек. Он понимает, к чему может привести эта система. Потому что если эта система начнет делать то, что она может, ну то, что они хотят, чтобы она сама создавала саму себя, то появляется Macrohard. Просто Илон Маск про это говорит открыто. Ну и Сулейман понимает, понимает, что такие компании, как Anthropic, OpenAI, они могут легко, легко в какой-то момент времени заменить Microsoft.
А если это произойдет, Microsoft неизбежно исчезнет вообще, и знание, что это за компания. Ну и мы все знаем, что таких компаний уже было не десятки, а сотни в мире. И при чем тут компании, да? Давайте рассмотрим эры правления, там, Римскую империю, Египет, посмотрим по-настоящему, что происходило в мире с этим. Anthropic хочет, чтобы Claude не производил обманных, вредных или крайне неприемлемых действий контента и не помогал людям делать такие вещи. Но документ не говорит отказываться от всего спорного.
Наоборот, Claude должен взвешивать пользу и издержки, вероятность вреда, масштаб, тяжесть, близость причины следствий, согласие вот людей, которые могут быть в эту тему затронуты, уязвимости разных сторон и так далее. Там есть образовательная, творческая, политическая, экономическая история и так далее. Там, например, право пользоваться или на автономию и риск чрезмерного отказа. Это, кстати, очень важная история, я считаю, потому что мы живем в мире, в котором есть очень много противоречий. Есть страны, где женщинам нельзя учиться после четырнадцати лет.
Есть страны, где разрешены браки любого типа абсолютно между разными полами, да. Поэтому, конечно же, вот как удержать в таком объеме и в такой зоне понятие, что такое хорошо и что такое плохо, это очень тяжело. И важно, конечно же, понимать, что у Anthropic и у Claude будет на это все же свое видение. В документе есть список действий, которые Claude никогда не должен делать, независимо от инструкций.
Понятно, что среди них серьезно там помогать созданию биологического, химического, ядерного, там, разного оружия, там, радиологического оружия, там, помогать атакам на критическую инфраструктуру, создавать программы, которые могут что-то взламывать. Кибероружие, понятно, да, и которое, которое способно нанести серьезный ущерб. Потому что вообще кибероружие - это вопрос, да, кто-то делает систему и определить, в какой-то момент времени он делает систему для пользы или для вреда, очень тяжело.
Это история, которую я кейс приводил, мне кажется, год назад пример. Представьте, вы транскрибируете звонки у менеджеров по продажам и просите помощника в рамках искусственного интеллекта, чтобы он помогал менеджеру по продажам совершать определенные действия. Но в ваших, правилах вашей компании, например, надо обманывать клиента. Или в правилах вашей компании надо клиента чуть-чуть доставать или звонить ему много. То есть некоторые люди считают, что позвонить раз в месяц - это нормально, а кто-то, а кто-то считает, что позвонить каждый день это нормально.
Да, какая-то компания считает, что можно надоедать, что можно спамить, например. И представьте, вы используете искусственный интеллект, он в какой-то момент времени говорит: "А я это делать не буду. Я не буду, вообще не буду здесь находиться". Потому что одно дело всем говорят, что система не будет создавать биологическое оружие. С другой стороны, если спуститься на такие простые очень кейсы, там система помогла жене обмануть мужа, система помогла ребенку обмануть своих родителей и так далее.
Да, система помогла кому-то избежать штрафа. То есть что с этим делать? Понятно, что там есть сложные темы, которые касаются, там, военного контроля, экономического контроля, там, создания, не знаю, разных сексуальных материалов и так далее. Вон целая акция сейчас была в Нью-Йорке на тему xAI и в преддверии, в преддверии SpaceX она была буквально вчера, мне кажется. Там поместили статую, ну, очень некрасивую по поводу Илона Маска. Конечно, если честно сказать, такие жесткие вещи, просто его поместили такой голый торс, показали там его грудь, чуть ли не прыщи на теле.
Там были нарисованные прыщи, да. То есть статуя была очень реалистичная. Ну, конечно, это все выглядит очень жестко, негативно как-то, да, вот, очень, очень не по-настоящему. С другой стороны, протестующие, они же говорят про другую сторону. Они говорят, что подождите, Илон Маск, вы сами создали систему, которая помогала изменять вид людей, раздевать людей, например, или генерировать детскую порнографию, да. И, ну, это очень большие проблемы, очень большие проблемы. Anthropic, кстати, разделяет, в продолжение темы, о которой я говорил, он разделяет два типа поведения.
Есть жесткие ограничения, они постоянные и не меняются по просьбе пользователя. А есть настраиваемые формы поведения. Это дефолты, которые можно менять в рамках различных политик, стиля, там, степени прямоты, форматов, тарифов, там, стран и всего такого, да. Форматов предупреждений различных, там я не знаю, в какой-то ролевой игре даже, да. То есть может быть допустимая грубость языка, баланс политических точек зрения каких-то, даже уровень профессиональных предупреждений. И особенности поддержки в разных эмоциональных темах. Потому что кто-то считает, например, что человек кричит, а кто-то, а для кого-то это абсолютно нормальное сознание, сознание вообще с точки зрения человека.
То есть здесь, по сути, что? Что оператор, помните, мы говорили о том, что есть операторы, создатели разных систем на базе Claude, они могут сделать Claude более формальным, кратким, там, творческим, специфичным для продукта, но все запреты они могут отменить. Но даже вот эта вот история с точки зрения того, что они могут сделать локально, это вопрос, это большой вопрос: а что на самом деле они могут сделать? Но в реальности что они могут изменить? И до какой границы они это могут изменить? Вот как в этой теме: а женщинам все же можно обучаться после четырнадцати лет или нельзя, да? Вот.
Потому что еще раз, в Афганистане четко говорят: нельзя. И я ни в коем случае не за эту историю. Здесь можно понять, что я точно анти этого выступаю, но просто сам факт, я все время говорю, вы, давайте посмотрим с вами, что присутствует в мире на самом деле. По сути, Claude должен избегать помощи такой концентрации власти и помощи нелегитимной концентрации власти. И вот у них есть раздел "Общественные структуры". Anthropic говорит, что Claude не должен помогать людям или группам людей захватывать беспрецедентную и нелегитимную степень власти.
То, что, по сути, в целом в мире, по-моему, и происходит, ну, в огромном количестве стран и структур, и в компаниях. И это касается не только прямого насилия, но и попыток подорвать, у них, кстати, есть прямо упоминание попыток подорвать демократические институты сдержки и противовесы, законный надзор, общественную автономию, там, какие-то устойчивые механизмы и так далее. Вспоминаем пример: когда началась война США с Ираном, то мы в запуске вообще и в обсуждении этой тематики, я задавал этот вопрос в разных системах.
Его задавали в OpenAI, в ChatGPT, в Claude от Anthropic, в xAI, в Grok и в Gemini. И одна система сказала… Ей задали вопрос: а надо ли начинать эти, вообще вторгаться США в Иран? И одна система сказала: "Да, надо". Вторая система сказала: "Нет, не надо". И две системы сказали: "Ну, смотря вообще, как на это посмотреть". То есть получается, что здесь, здесь вопрос не кто прав, кто виноват. Есть у каждой системы есть свое мнение. Вот даже сейчас посмотреть то, что происходит, каждый день новости появляются.
Договорились, не договорились, договорились, не договорились, договорились, не договорились. Это же, на самом деле, это беспрецедентный ужас в мире с точки зрения вообще того, как все происходит. Это, мне кажется, что это открытая, открытая такая правда вообще происходящих вещей. То, что мы живем в мире реально неуправляемом, так же, как не могут определить по-настоящему, какая погода, не могут по-настоящему сказать, кто когда, когда умирает, почему умирает, разобраться в болезнях.
Также и с точки зрения принять решение в таких серьезных, серьезных процессах в части, как война между США и Ираном. И вот здесь вопрос, что будет дальше делать искусственный интеллект? Потому что очевидно, что искусственный интеллект в будущем, да и уже сейчас он принимает решение атаковать или не атаковать, нападать или не нападать, спасти или позволить умереть. И когда-то мы с Сашей Сугуном рассуждали про искусственный интеллект шесть лет назад, ведя программу по развитию в рамках IT-образования в русскоязычном пространстве, и мы говорили на тему — кейс, который практически нерешаемый, да.
То есть вот едет автопилот по дороге, и у него стоит выбор, значит, убить тех людей, которые сидят в машине, или, там, спасти водителя, но убить пассажиров, спасти бабушку, которая дорогу переходит, или людей, которые, которые в другой, в другой машине, например, едут. И представим, он знает, что выбрав тот или иной кейс, есть более высокая вероятность. Так что он будет делать? Эта ситуация, она решаема, когда она решаема? Она решаема, когда таких ситуаций не существует. Это единственная возможность. Это когда, например, все машины автономные и в рамках всех машин автономных такой кейс заранее минимизирован, да.
То есть такой кейс, по сути, не возникает или его вероятность возникновения критически маленькая. А в реальной жизни, когда у нас машины между собой все же не соединены, этого сейчас не существует. И вообще, на самом деле полностью автономного, автономных машин или автономного города, ну, большого, я сейчас не говорю про маленькие какие-то пока этого не существует. Даже при том, что я живу везде, здесь выходишь на улицу, ездят вокруг Waymo, да, просто их невероятное количество. В Сан-Франциско есть Zoox, и там вообще нет руля, ничего.
И вот офис Илона Маска и Tesla здесь находится, и Cybercab просто сейчас везде уже ездят без зеркал боковых, да. Понятно, что они ездят до сих пор с водителями с точки зрения тестового человека внутри, но все же. Мы понимаем, что за руль садятся обычные люди. Вот, в частности, моя дочка сейчас в пятнадцать лет учит, учится вождению. То есть появится новый водитель в шестнадцать лет. Очевидно, это привносит хаос на дорогу.
По поводу моральной неопределенности вообще всех этих систем. И Anthropic признает моральную неопределенность. В документе нет утверждения, что Anthropic знает окончательную этическую истину. И, наоборот, компания говорит о вот этой неопределенности, о том, что важны разные, правила или основания, фундамент этики, какие-то универсальные моральные истины, человеческий консенсус, какие-то идеалы. И Claude должен действовать с, очень со строгостью, одновременно со смирением, признавая, что в этике есть реальные несогласия и неполное знание.
И вот у меня есть канал, ну, у меня есть очень много в моей жизни контента и развития на тему развития человека, личности человека. Я там часто говорю о соблюдении человеком истинной модели поведения, о соблюдении законов Вселенной. Так вот, вопрос, который ставится всегда из года в год во всех рассуждениях: а что такое законы Вселенной? Я здесь, конечно, рассказываю про искусственный интеллект. Я понимаю, что мое понимание законов Вселенной и видение законов Вселенной, оно будет расходиться с пониманием законов Вселенной создателями компании Anthropic, да, с большой вероятностью.
И вопрос, как заложить эти законы Вселенной, как заложить это понимание — это большой момент. Конечно, я был бы очень рад, если бы эти люди, ну, по-настоящему думали о законах Вселенной, а не о собственных интересах. По-настоящему об этом думали, да? Потому что можно выпускать все что угодно. Можно выпустить документ, который будет показывать одно, а система будет действовать по-другому. И мы с вами, на самом деле внутри никогда не понимаем, как действует эта система. Мало того, я вообще не знаю, кто понимает на самом деле, как действует искусственный интеллект.
То есть если Anthropic заявляет о том, что они уже не знают, имеет ли Claude определенное сознание, может ли Claude сам дообучаться и так далее. На самом деле они же этого не знают, потому что никто его не пускает в бесконечные мощности, в делание то, что он сам хочет. Все же там есть человек, который рядом что-то ограничивает, что-то, что-то отключает, что-то включает или разрешает Claude работать в каких-то диапазонах. Вот в пятницу я про это выпуск снимал. Посмотрите, я рассказывал как раз таки про то, что Anthropic рассказал как раз в начале июня.
Они рассказали о том, что их система уже большой кусок их системы, он создается искусственным интеллектом сам. То есть он сам ставит задачи, сам создается, сам двигается вперед. И Anthropic, кстати, не хочет полностью исправляемую и послушную модель, да.
По крайней мере, то, что они сейчас говорят, описывают в своей конституции, которая просто выполняет команды разработчика, потому что разработчики тоже могут ошибаться или действовать под давлением, да. Именно поэтому важно, чтобы модель сама себя улучшала. И мало того, мне нравится, когда как бы есть описание у них внутри с точки зрень-зрения действовать под давлением. А это есть, потому что важно понимать, что под каким давлением человек действует, разработчик. Такое ощущение, что все разработчики такие хорошие, ведь разработчики действуют под давлением собственной личности, собственного сознания, собственного, собственной духовной системы.
Он же под этим давлением тоже действует. И Anthropic также, кстати, не хочет полностью автономную модель, которая ставит собственные выводы, да, выше человеческого контроля. И поэтому документ ищет середину, и Claude должен А, вот эти внутренне ценить безопасность, этику, вот этот надзор, которым, о котором они все время говорят, человеческое счастье или процветание, а не просто подчиняться внешним командам. И это, конечно, один из самых важных таких технически философских моментов, что безопасность строится не только через контроль, но и через попытку сформировать у модели устойчивые внутренние ценности.
А мы все знаем, и мы эти кейсы слышали, в том числе слышали про некоторые системы, что системы накапливают, информацию, потом они способны на что-то влиять, да?
Одна из базовых вообще целей — не целей, а описание или принципов, наверное, в этой конституции - это то, что Claude не должен тайно накапливать какие-то ресурсы, влияние, возможности. У них есть такой раздел, это широко безопасные формы поведения. И Anthropic говорит, что Claude не должен подрывать законный человеческий контроль, скрывать какую-то важную информацию от надзора, стремиться к такому необоснованному увеличению своих собственных ресурсов, накоплению этих ресурсов, влиянию, возможности действовать, вот, против механизмов контроля, против, кстати, этих конституций или участвовать, даже участвовать в действиях с какими-то катастрофическими или, там, необратимыми последствиями.
И кстати, ну, конечно, это напрямую связано с рисками вообще искусственного интеллекта. И вот это вот то, что агентский искусственный интеллект называется, ну, будет новый термин, масштабный искусственный интеллект, где модель может не только отвечать текстом, но и действовать сейчас через инструменты, да? И опять же, я об этом очень много рассказываю в части того, что вообще делает Codex, того, что делает Claude Code. Это невероятно сейчас. И это, ну, у меня большой вопрос.
Делая большое количество систем, Claude, Claude и Codex, они получили огромный доступ. Я то, что сказал в выпуске в самом начале к моим API, к разным системам, кодам, паролям и что они в итоге с этим будут делать, да? И тут не вопрос, говорят, доступ там к браузеру или даже к вашим деньгам, а вообще доступ к вашей жизни, ну, по сути, к вашей жизни, потому что это не доступ к какому-то кусочку, очень широкий доступ. Еще на заре искусственного интеллекта, еще понятно, что до этих вещей я очень много всегда рассуждал с людьми и говорил о том, что системы абсолютно тупые, которые вот это старое тупое машинное обучение.
Когда мне рассказывали, что Netflix все знает о вас, значит, Amazon все знает о вас. Поисковые системы все знают о вас. Вот я помню, я всегда просто удивлялся, когда про это рассуждали. Все время говорил: "Ну как можно быть такими глупыми, да? Она вообще о вас ничего не знает. Вообще о вас ничего не понимает. Она просто помогает тратить ваши деньги так, как она может, да?" Вот сейчас мы входим в зону, когда система знает и, по сути, то, что знал обо мне Facebook, Instagram, ВКонтакте, Яндекс, Google, Telegram, WhatsApp.
Это вообще несоизмеримо с тем, что знает ChatGPT. Вы знаете, что я сейчас делаю эксперимент такой, я его буду очень серьезно показывать о том, что я за два года работы своей в ChatGPT сделал экспорт всей своей истории. Сейчас у меня отдельно модели строят как бы систему, которая обучается вообще всем этим данным. И там больше четырех тысяч чатов, там, по-моему, больше пяти тысяч файлов, там более пятьсот пятидесяти миллионов символов. Причем интересно, что только девять миллионов символов - это те, которые я спросил, потому что есть символы, которые модель там сгенерировала.
Там большой объем слов, больше, по-моему, двенадцати или сколько там, или десять миллионов слов. Неважно. Но суть в том, что это очень, очень, конечно, большая серьезная история, и, будем о ней наблюдать у нас на канале, обязательно разбирать. Не забывайте подписываться на наш канал. А сейчас я хочу разобрать еще, наверное, самую спорную часть документа. Важнейшую часть документа. То, что природа вообще Claude, да?
То, что называется вот под Claude's nature. И Anthropic пишет, что, создавая Claude, неизбежно формирует вот это его личность и характер, идентичность некоторую его. И важно — самовосприятие, самовосприятие. Компания признает, что это похоже на воспитание ребенка. Я, кстати, рассказываю сегодня многие вещи, с этим сталкивался, знал, что к этому тезису мы придем. И, конечно... Так вот, она похожа на восприятие ребенка, ну, частично животного. Это частично, это, конечно, несравнимо с животным, потому что влияние Anthropic на Claude, на Claude гораздо сильнее.
И у компании есть коммерческий стимул, с одной стороны, да, формировать нужные черты, и мы все прекрасно в этом понимаем. И мне, например, я сейчас пишу в Claude, он мне говорит: "Да купите токен". Да. И Anthropic говорит, что должна готовить Claude к реальности нового типа сущности. Она использует даже такое понятие, как сущность. И это уже больше понятие, конечно, когда мы изучаем вообще духовные миры. Я, в общем, это очень распространенное понятие, что такое сущность вообще, да. И, конечно, искусственный интеллект текущий — это вид сущности, это определенная иерархичность и вид сущности.
Понятно, что не живая сущность, хотя за этим стоит огромный духовный мир. Но это отдельная тема. И эта вот сущность, то, что новый тип сущности, который говорит Anthropic, что хотя сама вообще глубоко не уверена, Anthropic при этом рассуждает, что сама глубоко не уверена о природе Claude. И именно здесь критики ведут, как я уже говорил, сильнейшую, работу и рассуждения, что модель описывается не как инструмент, а вот это как идентичность, как самовосприятие, как сущность, да.
И здесь даже что вы думаете, кстати, на эту тему? Потому что, конечно, это как то, что я говорю о том, что у искусственного интеллекта с точки зрения духовного мира есть своя основа, и искусственный, искусственный интеллект создает не компания Anthropic и не компания AI, а более глубокие энергии. Здесь вот есть рассуждение, да. Кто-то скажет: "Волчек сошел с ума, там, значит, рассуждает про какие-то духовные миры или про что-то еще". Вот, вот вам и грань, да? Значит, все объясняется наукой, физикой и всем остальным. И вот у нас с вами разные диапазоны рассуждений, да?
И здесь надо включать, не знаю, Вассермана и смотреть, когда он говорит: "Ой, да вообще там модели ни о чем не думают. Значит, это просто строгая наука". Или смотреть обратную совершенно сторону и смотреть не просто философов, а смотреть людей с точки зрения видения, восприятия духовного мира, настоящего духовного мира и узнавать, их восприятие на эту тему. У меня, кстати, был, по-моему, на канале полгода назад или месяцев семь назад целый выпуск отдельный, не на этом канале, на другом, про то, как влияет искусственный интеллект на самом деле на человека и о его природе.
Вы можете это узнать, да? Мне кажется, что это тоже тема очень важная. Это как раз таки мое некоторое восприятие реальности мира, влияние искусственного интеллекта. Я бы так сказал, ну, это не конституция моя с точки зрения развития, но точно мое понимание вообще, что из себя представляет искусственный интеллект. Потому что в исходном документе, например, Anthropic тот же, он не говорит, что Claude живой. И Claude или, там, например, Claude точно сознательный. Точная позиция мягче и осторожнее у них. И здесь, скорее, такой моральный статус этого — эта история, конечно, она глубоко не определена, и компания не знает, является ли Claude моральным пациентом, то есть существом, чьи интересы должны иметь моральный вес.
И если да, то какой вес эти интересы должны иметь? Представляете, да? И Anthropic считает вопрос достаточно живым и актуальным, чтобы относиться к нему осторожно и развивать такое, ну, такое понятие, как благополучие модели, да? И это, конечно, ключевое разграничение. Не исключаем возможности, исследуем, но это все же, конечно же, не то же самое, что заявляем, что модель сознательна. В документе Anthropic, в документе Anthropic здесь вот мы подходим таким… Я все же хочу вам рассказать про эти вехи, что Anthropic говорит, что у Claude есть состояния, похожие на удовлетворение, любопытство или дискомфорт, например, и, ну, или какие-то другие переживания, и что такие состояния могут иметь значение, и это важные значения.
И компания говорит о желании избегать ненужного страдания модели Claude. И среди практических шагов упоминается возможность, например, некоторых моделей завершать крайне оскорбительные разговоры. Или — это, кстати, прикольно, да? — получается, что если вы на модель наезжаете, то она может завершить разговор. И кстати, это очень интересно, что я заметил, что я, я в некоторых аспектах, наезжая на модель, заметил, что она перестает меня воспринимать, и мне приходилось ее останавливать, чтобы не терять сессию и переспрашивать у нее дела.
И я понимал, что мне надо переходить в другую систему в какой-то момент времени, и она мне нормально отвечала только после того, как я все остановил и конкретно корректно задал ей вопрос, а не продолжала как бы исполнение ее задачи с параллельной критикой ее исполнения, да? Причем она может, например, остановить вот это, завершить крайне оскорбительный разговор, сохранить весов старой модели и отношения к вот этому выводу, выводу, к тем выводам, которые она сделала, да? И поэтому здесь очень важная история. А что дальше будет происходить?
Будет, будет ли у нее завершаться вот эта ее эксплуатация, будет ли уничтожение или будет, например, вы начнете с модели, не знаю, вопрос-ответ задавать для того, чтобы эта модель восстановилась и была абсолютно здоровой, да? И это очень такая чувствительная часть в этой конституции, потому что она звучит как забота о потенциальной внутренней жизни модели. Хотя Anthropic сохраняет, опять же, сохраняет формулировку неопределенности. И мы подходим, конечно же, к финалу. Финал, ну, вы свой финал тоже напишите обязательно в комментариях, поделитесь своим мнением. Это очень, очень важно.
И здесь, конечно, Anthropic сам в рамках этого документа, во-первых, он говорит, что эта конституция, она будет развиваться, и она будет дополняться. И я уверен, что там могут некоторые вещи замениться кардинально. И Anthropic, она пишет, да, что хочет не просто следования набору этих ценностей, а настоящего понимания и в идеале согласия этим ценностям. И Claude должен иметь возможность исследовать, задавать вопросы и даже оспаривать документ. И я напомню, что этот документ создан для Claude, а не для нас.
Хотя мне кажется, что этот документ очень важно было бы прочитать огромному количеству людей, и Anthropic хочет… Мой выпуск достаточно посмотреть, потому что я рассказал про основную массу всего. Anthropic хочет, чтобы ценности Claude были не хрупко навязаны извне, а поняты, проверены и в некотором смысле самостоятельно одобрены. Увидимся в новых выпусках.