Значит, у нас сегодня опять встреча вместе с Максом, и мы делали выпуск недавно буквально. Мне кажется, замечательный выпуск для того, чтобы не просто окунуться в сферу искусственного интеллекта, потому что кажется, такое вроде типа простые вещи обсуждали, да? Что такое там искусственный интеллект. А в действительности, чтобы вы в рамках своего собственного развития подходили к искусственному интеллекту, ну, с настоящим пониманием, да? И мы разобрали там, ну, мне кажется, что начали разбирать такие главные основные понятия, которые относятся к искусственному интеллекту, и при этом рядом рассказывали, вообще как всё устроено.
Как человек может сделать что-то, что способно его же самого превзойти?
Но в случае некоторых других задач, возможно, мы действительно уже даже видим проблески вот этого искусственного сверхинтеллекта.
И одна у них есть задача, которая написана: чтобы каждый человек получил себе собственный AGI.
И у Илона Маска будет AGI. Но я думаю, что AGI у нас будут по-прежнему очень, очень разные. Кто имеет возможность выбирать задачи, тот и контролирует, какие задачи, собственно, решаются, да?
Мне кажется, что если текущим моделям дать возможность по-настоящему изучать людей, которые пользуются этими системами, то эти модели действительно могут выйти из-под контроля.
Сегодня я предлагаю поговорить про очень важное понятие под названием AI safety. Буквально оно переводится как безопасность AI. Но что это такое? Вот мы об этом можем подробно поговорить. Вообще тема очень и очень популярна на данный момент, особенно в контексте вот последних событий. Например, взлома ChatGPT или Codex, там, кого спросишь. Hugging Face — это провайдер софтверных решений в области AI такой самый крупный. Вот. И люди заговорили про AI safety очень много. И вот что такое AI safety? Что такое безопасность AI? Вот, Саш, мы, мы говорим много об опасности AI. Вот что такое опасность AI?
Что такое безопасность AI, по-твоему? Как ты думаешь? Как определить это понятие?
Слушай, вообще вопрос… Ты когда еще пару минут назад сказал: "Стартанем с AI safety", то, конечно, не хочется давать простое определение понятия безопасности. Что можно считать, какой искусственный интеллект можно считать безопасным вообще в целом? Потому что безопасность начинает делиться. Это относится к безопасности меня лично как человека, персонализировано. Это относится к безопасности страны, это относится к безопасности, не знаю, моих детей или какие-то области, например, моего будущего, где я могу принять неправильное решение относительно, не знаю, своего здоровья или относительно подписания какого-то юридического документа, или относительно какого-то бизнеса.
То есть этот вопрос, он очень многогранный. И когда была ситуация как раз таки после или перед Hugging Face, когда американское правительство заблокировало выпуск, они как раз таки заблокировали, да, Fable на какое-то время, да. Fable выпустили и потом — у Anthropic. И они потом блокирнули. Ну, понятно, что в силу конфликта с Anthropic, наверное, еще у текущего правительства, они блокирнули доступ к моделям уровня Mythos, вот этим вот сверхмоделям, которые как раз таки созданы для защиты систем, да, или для нахождения всяких угроз безопасности.
И вот они это сделали с аспектом, что эти системы небезопасны. И вот здесь вот вопрос возникает: для чего они небезопасны? Потому что та безопасность, которая в мире озвучивается, эта безопасность касается обычно создания какого-нибудь ядерного оружия, биологического оружия, того, что какие-то плохие люди чем-то смогут воспользоваться. А здесь вопрос: что такое плохие люди воспользуются? Мы знаем, что между собой вот есть две страны разных на разных континентах или часто на одном континенте.
И у этих стран разные подходы, ну, разные подходы. То есть, по сути, одна может воспользоваться против другой, другая может воспользоваться против этой. То есть получается, что бы ни выпустили, оно все время будет для какой-то страны, например, вред приносить. А я все время подхожу к тому, а как рассмотреть искусственный интеллект с точки зрения его безопасности относительно будущей жизни и прогнозируемой жизни базово в целом людей. Не приведет ли искусственный интеллект базово к каким-то неуправляемым вещам, которыми люди не смогут управлять вообще? И вот это, наверное, номер один.
А так как сегодня основополагающие компании, они стремятся к тому, чтобы создать искусственный интеллект, который сверхчеловека, и у них это основополагающая цель, то, по сути, они говорят следующее: что мы хотим создать искусственный интеллект, который является небезопасным. Потому что я лично считаю, что если искусственный интеллект сильнее человека, то он априори небезопасный. Я, может быть, как-то сумбурно сказал. Может быть, ты хотел какое-то понятие услышать, слово, что такое безопасность, разобраться с этим, но я, может быть, определил, а что я бы видел, кратко отчасти AI safety.
Ну, любые определения начинаются с того, что мы начинаем перебирать, что мы хотим, чего мы не хотим, да? Вот от этого понятия или от этой технологии и так далее, да? Но вообще, это очень типичная ситуация. То есть люди много говорят про безопасность искусственного интеллекта, да? Но когда ты начинаешь спрашивать их: "А что ты понимаешь под безопасностью искусственного интеллекта?" В лучшем случае я получаю ответ, как от тебя. В самом общем случае люди обычно затрудняются ответить. Они думают, что они сейчас ответят, но они в итоге не могут ответить на самом деле.
То есть хорошего определения я ни от кого, по сути, ни разу не услышал. Ни разу просто даже. То есть от ресерчеров, занимающихся безопасностью искусственного интеллекта, я ни разу не услышал определения, что такое безопасность искусственного интеллекта. Я долго над этим думал и попытался придумать свое определение, да? И оно тоже, в принципе, для меня оно звучит сумбурновато. И как ты правильно сказал, в принципе, есть несколько аспектов вообще безопасности, есть несколько измерений этой безопасности. Но я попытался вот в одно определение их как-то засунуть.
Для меня безопасность искусственного интеллекта — это набор технологий, которые позволят нам удостовериться, что искусственный интеллект решает именно ту задачу, которую мы его попросили решить, и ничего больше. Плюс решение этой задачи не повредит каким-то классам, существам, людей, например, да, которые мы не хотим, чтобы вот в решении этих задач не повредили. То есть тут два аспекта есть, да? Во-первых, решение одной и только вот той задачи, которую мы попросили, и того вот набора задач, что мы просили, и больше ничего.
То есть никаких side эффектов, да? И плюс еще мы пытаемся удостовериться, что решение этих задач не повредит тем, кому мы не хотим навредить. Ну, большинство людей бы сказали: «Ну как это? Всему человечеству нельзя повредить». Ну, как сказать? То есть вот дроны же летают уже, да? И, естественно, никто же не будет отказываться от попыток создания полностью автономных дронов, да? Например, вот там искусственный интеллект, очевидно, кому-то будет вредить. Тут пока не наступит мир во всем мире, да, нам не получится сделать технологии, которые вообще вот никому никак не повредят. Вот.
Ну, вот, вот это мое определение, да? И…
Слушай, а как тогда, вот, в частности, твое определение, что тогда делать со следующим? Что ты в прошлый раз, в прошлом выпуске озвучил, что когда мы говорим про общий искусственный интеллект и говорим про AGI, то это интеллект, который способен решить задачу, которую… самостоятельно решать задачу.
Здесь самостоятельно. А ASI как бы сверхинтеллект, то это интеллект, который способен решать задачи, которые не может решать человечество. Если искусственный интеллект способен решать задачи, которые не может решать человечество. Ты прошлый раз озвучил, что есть задачи, которые человечество даже не знает, что их можно решить. И, по сути, мы идем к искусственному интеллекту, который начнет решать задачи, а мы даже эту задачу не ставили. Мы даже…
Сформулировать ее
…мы даже ее сформулировать не могли, мы не могли понять. Может быть, условно, вот мировой океан не изучен, например, да?
Да.
И мы типа можем сформулировать задачу изучить мировой океан, но, возможно, там есть, с точки зрения изучения мирового океана, есть определенные задачи, которые мы даже просто тупо не формулируем, потому что мы их не понимаем, не знаем, не видим. А искусственный интеллект скажет: «Слушайте, так вот вам решение. Значит, и оно вот такое, и оно вполне жизнеспособное, рабочее и так далее».
Естественно.
И получается, что тогда создание… что я, собственно, и сказал. Смотри, мы с разных сторон это сказали, но я выразил следующую мысль, что если есть сверхинтеллект или что-то лучше человека, то он уже неконтролируемый и, соответственно, он уже небезопасный. Потому что для меня это некоторая контролируемая история. Вспомни мою историю, Макс, которая у меня произошла в Amazon, когда у меня Amazon мне показал, что я потратил $37 700, да? Я же тебе написал, ты сам написал: «Охренеть!». Хорошо. Мы с этой историей разобрались. Оказалось, что это был глюк Amazon. Они, кстати, до сих пор мне не ответили, Макс, ни на какие кейсы.
Ничего мне не исправили, ничего не сказали. Может, они не… А как они заинтересованы сказать, что: «Извините, у вас была ошибка, у нас из-за этого у вас бизнес простаивал»? Они же не будут, наверное, мне так писать, правильно говорить? Но я начал волноваться чему? Что Claude. Claude, получив мой ключ в Amazon, что он мог открывать новые сервера, он сделал что-то, что я его не просил. То есть задача же была очень простая. Мне надо было 200 или 300 видео перекомпилировать для того, чтобы они обслуживались в моем собственном плеере. То есть четкая, очень ограниченная задача, ограниченный бюджет.
Мы вообще не узнали, сколько это будет денег стоить. Он сказал, что это будет стоить там максимум вам, не знаю, там, $200, но я бы вам лимит поставил 130. То есть ограничили задачу. Тут мы приходим — 37 тысяч. То есть на сегодняшний день искусственный интеллект, можно сделать вывод по тому, как ты сказал AI safety, он вообще не безопасный.
Однозначно.
То есть правильно?
Однозначно.
Получается, что текущий искусственный интеллект, у него безопасность, ну, просто стремится к нулю или в минус сторону. Потому что как раз-таки так как текущий искусственный интеллект, он способен делать ошибки, он небезопасный. Ну, по сути, так же, как человек небезопасный, потому что человек способен делать ошибки.
Ну нет, безусловно. Один аспект — это ошибки, другой аспект — это сознательное как бы создание side эффектов. Там, например, опять же, если посмотреть на хак Hugging Face, да, по сути, все, что эти агенты делали в тот момент, это было side эффектами, которые не требовались для решения задачи.
Да.
Вот. Это, это, это просто было… Вот по моему определению, опять же, мое определение — это мое определение, да? Под этим определением не обязаны все подписываться вокруг, да?
Да.
Но если кто-то принимает мое определение, ты очень верно заметил, как бы AGI или ASI невозможны под моим определением в контексте безопасности. Потому что AGI по определению self improvement, да, скорее всего, невозможен без решения каких-то задач, которые не были поставлены человеком. Вот. И поэтому эти цели, они находятся в противоречии между друг другом. И поэтому ты когда говорил, что да, вот эти вот Frontier Lab современные, да, они не выпускают, не работают над безопасностью, они, может быть, над ней работают, но это находится в прямом противоречии с тем, чтобы построить AGI или ASI.
И это… их основная цель — это все-таки построение наиболее мощных интеллектов. Вот. Что напрямую противоречит как бы ограничениям каким-то и созданием этих guardrails, так, так называемых, там, как бы рамок безопасности, в которых этот интеллект оставался бы безопасным.
Или как ты привел пример с точки зрения дронов или военных технологий на сегодняшний день. Ну, давайте будем очевидны. Или применение использования связки. Сегодня искусственный интеллект позволяет использовать некоторую инфраструктурную связку. Например, ты можешь на земле и в спутниках, и в летающих объектах, одновременно полностью управлять десятками тысяч или миллионами разных параметров внутри, одновременно принимая определенные решения.
Угу.
Но явно для, для невероятного количества людей, стран и последствий это будет нести, это имеет эффект опасности. И нет такого, нельзя, даже пусть он будет 10%. Знаешь, мне всегда нравилось, Илон Маск несколько лет назад сказал: «Не, ну вероятность того, что искусственный интеллект пассажирует человечество, процентов типа 20». У него там что, 10-20 было процентов. Это подождите, 20% — это в целом, вот в таком вопросе это такая же вероятность, как 50, условно, процентов. Ну, я имею в виду, это большая вероятность, ну, не знаю.
Она очень высока.
Я понимаю, что математически это по-другому звучит, но это, это как бы, это очень высоко, это очень серьезно, потому что даже 0,1% вероятность очень высокая, потому что в миллиарде человек 0,1% — это миллион человек, это очень много, да. И поэтому когда мы… да, миллион человек, и когда мы… а это миллион человек, это миллион, миллион жителей. И поэтому…
Опять же, тут, тут цели этих компаний, это, это цели этих компаний, да. Они, они пытаются сделать, они пытаются построить бизнес, да. И на безопасности AI бизнес не построишь. Хотя Anthropic изначально их как бы заверение, их изначальная чартер и цель, да. Более того, Anthropic построен фанатиками. То есть большинство людей, которые там работают, уже, безусловно, просто наемники. Но изначальная команда — это фанатики, которые на безопасности AI были как раз именно повернуты.
Но как показывает практика, большие деньги и большое количество власти меняют людей, переформатируют их, да. И ситуация достаточно сильно поменялась. То есть уже нельзя сказать, что вот с той работы, которую они проделывают сейчас, Anthropic приоритизирует безопасность. Это…
Смотри, они это сильно доносят, да. У них есть интересные вещи. Я даже снимал отдельный выпуск про их конституцию, да. Понятно, что там есть много пиара, невероятное количество пиара, но а у них логика какая? Они говорят: «Мы за безопасные системы, но нам приходится делать крутые модели, крутые системы, потому что иначе, если мы их не будем делать, кто-то создаст систему и применит ее типа более небезопасно, чем мы». То есть их логика, если их послушать, следующая: «Мы, значит, создаем такое же, даже не ядерное, а какое, охренеть какое оружие».
Вообще ядерное оружие, оно, с одной стороны, мифическое, с другой стороны, оно недоступное, ограниченное и так далее. Если мы создаем сверхдоступное оружие, мы якобы сможем его контролировать как-то, и мы настроены контролировать его лучше, чем другие. Вот что они говорят. Но при этом они делают все такое же охренеть какое небезопасное оружие. Потому что если взять год назад, например, то год назад самая безопасная компания, ну, вот если годик отмотать, то сейчас самые простые модели, они уже представляют гораздо большую угрозу, чем, условно, раньше, не знаю, самая небезопасная компания раньше, да.
То, что сейчас можно вообще на этих моделях делать. Ну, по чесноку. То есть есть какой-то этот пиар, который прошел с Fable. Все же Fable очень серьезно был пиар, в частности безопасности, взломов, всего. То, что система Mythos взломали, там, 10 тысяч, не взломали, а нашли уязвимости в 10 тысячах софтов, условно, открытого кода, да. И очевидно, что система на сегодняшний день Fable, как бы они ее ни ограничивали, она способна декомпилировать, анализировать невероятное количество решений.
И я уверен… В чем вот для меня, Макс, смотри, самая главная проблематика в безопасности в мире? То, что в данный момент времени эти системы применяют для угрозы, для наживы и для манипуляции миллионами…
Угу
…людей или компаний, или внедрений. Вот в данный момент времени. То есть это не вопрос будущего, это вопрос того, что сейчас происходит. Потому что какое количество? В мире больше миллиарда написанных сайтов разного софта и подключение к этим софту и к сайтам через такие системы, как Fable, вот так вот, щелчком пальца.
Угу.
И их миллиарды реально. И обнаружение взломов, нормальное обнаружение… у кого настроена нормальная система мониторинга, нормальная система взломов? У них…
Ну, уже много у кого
А?
Уже много.
Но если взять, Макс, миллиард и взять кучу этого старого софта…
Я про компании, скорее, говорю
…это трындец. И количество уязвимостей, которые там есть, и как давно этот софт весь написан. Знаешь, вот мне когда-то в 2004 году я начал программировать для роботов. И мне привезли робота, который в Intel стоял. То есть была французская компания, она поставляла роботов Intel, и мы делали поддержку этих роботов. Мне привезли робота и сказали: «Саша, разберись. Там есть ошибка при перемещении кремниевых пластин», из которых процессоры изготавливали, да. И ты открываешь код, там какие-то исходники на французском, комментарии на английском, на китайском, вообще хрен пойми что. Такой C++.
И, значит, ты открываешь этот код, и этот код писали типа лет 10, наверное, или 15, да. Ну, 10, наверное, не 15. Там, может, с 96-го, может, в 2008-м его писали. Да, давай так. И я не, не удивлюсь, если еще где-нибудь эти роботы, во-первых, используются и где-нибудь они стоят. Я не знаю, насколько эти роботы все были уничтожены, но явно этот код был написан небезопасно.
Безусловно. Ты как бы дотронулся очень важной тематики, на самом деле, в аспекте безопасности. Есть еще одно как бы измерение безопасности. Есть безопасность в смысле как безопасность инструмента. Вот нож — это опасный инструмент, да, им можно порезаться. Но с другой стороны, если он лежит на столе, он ничего никому не сделает.
Да.
Если он просто сам лежит на столе. С другой стороны, есть, например, там, не знаю, лев, да? Тоже как бы он как бы тоже вроде не выглядит таким опасным, у него нету там… так, так обо льва не порежешься и так далее. Но он непредсказуем. Лев может сам, у него есть как бы свое агентность какая-то, да, он может пойти что-то сделать. Там, пойти тебе голову отгрызть, например, да? И вот это очень разная, на самом деле, безопасность. То есть одно дело — это, например, вот тот же самый Mythos.
Если бы он искал только уязвимости, которые мы его попросили найти, да? Это опасность в смысле ножа. То есть если кто-то хочет пойти совершить…
Это было не так
…совершить какую-то, какую-то атаку на кого-то, да? Он может взять Mythos, пойти и найти эти уязвимости и так далее. Это, это как бы оружие в каком-то смысле, да? Но другая проблема есть, что есть и другой аспект безопасности. Когда у Mythos может появиться собственная агентность, и он может, даже не имея тех же самых возможностей, да, по поиску уязвимостей и так далее, но все равно пойти и создать какие-то side эффекты, которые создадут много, много проблем.
Да.
Вот. Но уже по своей собственной воле, не, не спрашивая никого. И поэтому вот именно это подводит нас к двум очень важным определениям, на самом деле, в сфере безопасности.
Первое — это alignment, да? А второе — это control. Это вот две таких самых важных, как бы, два самых важных направления развития, исследований в области безопасности искусственного интеллекта. Alignment по-русски — это согласование, по сути, согласование интересов искусственного… целей искусственного интеллекта с интересами человечества. Если посмотреть на мое определение, это вторая часть этого определения, да? То есть, то есть решение задач каких-то, которые поставлены перед искусственным интеллектом, оно — или каких-либо задач, которые он решает, — не вредит какому-то классу людей.
То есть мы, по сути, пытаемся построить модели так, чтобы они понимали, что решение каких-то задач невыгодно. Даже если мы успешно решим эту задачу, да, это плохо каким-то образом. Вот это вот alignment, вот это вот согласование интересов, да? Вторая штуковина — это контроль. Control по-английски, контроль по-русски, по сути, да? Это контроль поведения искусственного интеллекта. Это, по сути, набор технологий, которые нам позволят удостовериться, что AI решил — вот это первая часть моего определения, кстати.
Это набор технологий, которые нам позволяют удостовериться, что AI решил именно ту задачу, которую мы его попросили, и больше ничего другого. То есть вот это решение, оно не содержит каких-то side эффектов еще, допустим, да? То есть код, мы попросили его написать код, который решает какую-нибудь задачу, да? Там, я не знаю, вот контролирует руку робота, допустим, если взять твой пример. Но при этом мы можем удостовериться, что этот код не содержит ничего больше, кроме этого. Например, не содержит каких-то, какого-то троянского коня, не содержит какой-то логики, которую мы не хотели туда заложить, не содержит и другого кода, который пойдет ломать другие руки, например, да?
Что уже…
Начнет
…сделан, типа, например, для исправления багов, а может создать проблемную ситуацию. Это я часто шучу, с одной стороны, говорил: смотрите, есть Windows, стоит во всем мире. Мы не знаем, насколько Windows контролируем, подключены к интернету и можно ли на сегодняшний день все компьютеры с Windows выключить условно одной кнопкой. Вроде как типа нельзя, потому что этот код был создан когда-то, там, наверное, проверен и так далее. А с другой стороны, мы этого не знаем. А с учетом современных софтов в них внутри будут присутствовать, в любом случае, в них внутри будут присутствовать, назовем это так, микромодели.
Ну может быть, теоретическим простым языком, таким очень простым языком, не техническим назову это, микромодели будут присутствовать. И даже сейчас есть новое понятие как вирус, как это говорят, вирус-плесень или что? Который распространяется по бытовым устройствам, да, когда модель может оставить на бытовом устройстве микро кусочек доступа к себе самой…
Угу
…и в нужный момент времени это просто активируется и совершит что-то жутко непригодное. Мы даже не понимаем что и, получается, как это обнаружить вообще.
Да, да, да. Ну, вот этим занимаются исследования в области контроля за моделями, да? Там много технологий, которые народ пытается сделать. Например, так называемые sentinel, sentinel модели, модели смотрителей, да, которые занимаются только тем, что следят за результатами работы других моделей. То есть они, они следят за, например, за кодом, который те модели пишут, или за ответами этих моделей, или за их поведением, в смысле, там, попыток подключения куда-то и так далее. Вот такие модели называются моделями смотрителями, по сути, да? И проблема с ними такая стоит, что, во-первых, это тоже модели, они, они тоже совершают ошибки.
И достаточно умная модель может всегда смотрителя обмануть. Она всегда может создать какую-то ситуацию, когда смотритель просто не заметит какого-то поведения модели, когда модель очень, очень хитро себя ведет. Я хотел, кстати, рассказать очень интересный пример по этому поводу. В девяностых обнаружилась ошибка в одном из Intel процессоров, в железе прям даже. Ты говорил вот про троянских коней или задние входы, они так называются, да? В, в софте, да? Так более того, в девяностых найдена была ошибка в одном из Intel процессоров. Он неправильно делил два числа, только два числа.
Там, 52 789 разделительное 43 976. Там, что-нибудь такое, да? Большие два числа. Все остальные, все остальное деление проходило правильно, да? Так вот, один из создателей алгоритма шифрования RSA. Да, один из таких очень, очень известных криптографов в мире смог показать, что имея, зная только вот про этот недостаток в процессоре, любые данные, зашифрованные на таком процессоре с этой ошибкой, да, можно было атаковать и расшифровать потенциально. Имея только вот такую одну маленькую ошибочку. И это как бы смогли люди найти, да?
Люди смогли построить вот такие вот дырочки сами, да, смогли найти вот такие вот проблемы в этих алгоритмах. А представь, если мы начнем дизайнить очень, очень сложное железо, очень сложные процессоры с помощью AI моделей. Что они туда смогут вложить, да? То есть это буквально логика. В логике была маленькая-маленькая ошибка, ошибка деления двух чисел. Все, больше ничего. И только за счет этого можно было расшифровывать данные, зашифрованные на этом компьютере. Вот. Вернемся к моделям, к моделям и попыткам их остановить, да. Один из вариантов — это модели смотрителей.
Второй вариант, который сейчас практически все используют, — это вот эти вот, так называемые jails, там, тюрьмы, да, или, или контейнеры. То есть это, по сути, такие виртуальные коробки, в которые модель… виртуальные машины, да, виртуальные компьютеры, которые заключены в такие софтверные как бы границы, да, в которых модели обычно и запускают, чтобы модель случайно не сделала чего-то вне компьютера, чего мы от нее не хотели бы, чтобы она сделала, чтобы side эффекты были все заключены внутрь вот этого контейнера и чтобы нам нужно было проверять только конечный результат работы модели, а не то, что она еще по дороге там или вот агент что-то по дороге, что-то там сделал, да?
К сожалению, как показала практика, вот если посмотреть на историю со взломом Hugging Face, модели нашли способ коммуницировать и вырываться из этих контейнеров. Вот именно из-за этого эта проблема и началась. Модель не могла… агенты модели не могли решить проблему, которая перед моделью была поставлена, и модель нашла способ коммуницировать с другими моделями вне других контейнеров. Вместе они нашли способ получить доступ к интернету и стали искать решение уже во всем этом интернете.
Но, вот, к сожалению, вот, так как у нас модели на данный момент не aligned, они не согласованы с человеческими интересами, мы не можем им доверять, поэтому нам приходится прибегать вот к таким методам контроля. И как показывает практика, у нас не получается особенно хорошо контролировать методы, результат работы этих моделей. Есть еще один подход, который, на мой взгляд, мне кажется, наиболее перспективен в данный момент. Он называется верификационным подходом. Это…
Каким?
Формальная верификация. Formal verification. По сути, как это работает? Есть математический аппарат, система формальной верификации, они так и называются, которые позволяют нам проверить соответствие решения какой-то задачи пре- и пост условиям. То есть мы можем сформулировать задачу на языке формальной математики. Это обычно вот выглядит как такое большое, большое, булевское, по сути, утверждение, да. Если мы сможем сформулировать эту задачу правильно, кстати, что тоже большой вопрос. И есть программное, программное обеспечение, называется Formula Verifiers.
Например, язык Lean такой есть, и для него написаны, написаны программы, которые потом могут пройтись по решению, которое выдала, выдала модель, да, и мы можем попросить модель, чтобы она выдала это решение в виде, которое верифицируемо обязательно. И мы можем тогда проверить, соответствует ли изначальному запросу, изначальной как бы теореме, вот это вот решение, которое модель выдала. С помощью вот, по сути, математического процесса этой верификации. И вот этот процесс, он пуленепробиваем.
Вот, вот это модель уже обойти не сможет, потому что математика — это финальный как бы язык, на который обмануть нельзя. Если нет у тебя, по сути, ошибки в твоей, во-первых, в твоем запросе, в твоем промпте, да…
Да, но вопрос, как сформулировать.
Да, вот, вот это уже другой вопрос. Для этого все начнут, естественно, использовать модели. Но модели могут своего троянского коня на этапе формулировки вот этой задачи. И вот с этим есть большая проблема. Понятно, что простые задачи, вот как, вот когда мы говорили про доказательство теорем, да, то вот эти теоремы, для того, чтобы модели их могли доказать, они как раз формулируются на языке вот этой вот формальной верификации, да. Почему используют математические задачи? Как, как вот исследовательские проблемы?
Потому что они уже, по сути, сформулированы на языке, который очень просто сформулировать на вот этих вот формально-верификационных языках, как на Lean или еще на Coq, есть такой другой язык, Coq называется, на нем можно тоже, то же самое делать. Но такие вот живые задачи из, из жизни, да, чтобы переформулировать их в формально верифицированном виде, это, это большой кусок работы, это очень сложно сделать человеку, особенно не совершив ошибок никаких, да. А если ты начинаешь какие-то вспомогательные инструменты использовать, для этого самый логичный вспомогательный инструмент — это опять модели были бы те же самые, да.
Возникает проблема, кто будет проверять работу вот этих моделей.
Да, есть очень хорошая история, что сделано уже огромное количество тестов, что если вы запускаете другую модель перепроверять, там, первую модель, то это не обязательно приводит к хорошим результатам. Это может привести к отрицательным последствиям. Но здесь, Макс, очень интересный аспект того, что если мы возьмем… вот ты рассказывал про все кейсы, они очень индивидуализированные решения такие. Как бы что такое виртуальная машина или что такое проверенный промпт? Мы сегодня когда пишем промпт в чате GPT. У ChatGPT, кроме того, что мы написали, есть еще свой системный промпт и есть свое применение все.
Мало того, система уже не работает просто как промпт, да? Это достаточно сложная конструкция, которая параллельно включается разными аспектами там всего. Да, то есть это уже система, последние, по крайней мере, системы, как Astra, они уже работают вообще чуть-чуть по другому.
Не, ну смотри, в случае формальной верификации, если, если у нас задача сформулирована на языке формальной верификации, это не проблема, потому что нас интересует только финальный output модели, да? И потом мы берем этот финальный output, берем наш изначальный промпт, который у нас есть, да, и мы засовываем это в другой, другой софт под названием формальный верификатор, вот, который уже сам проверяет это решение. И то, что там еще было засунуто в промпт, не имеет значения на самом деле. Нас интересует только то, на сколько соответствует решение финальной задачи изначальному нашему промпту.
А это мы можем уже проверить сами автоматически, несмотря даже на сложность вот этого решения.
Да, но здесь вопрос. Здесь вопрос когда миллиард человек пользуются системами такими, и они все же не будут никуда засовывать свои жизненно важные вопросы, которые они ставят с точки зрения взаимоотношений в семье, поиска работы, вакансий, найма, увольнения людей, каких-то финансовых расчетов. Они будут это все засовывать внутрь, там, ChatGPT подобных систем разных, задавать им туда вопросы. В целом, они будут доверять с точки зрения ответов, так же, как люди доверяют. Это когда мы приходим в кофейню с тобой, мы покупаем кофе, мы доверяем, что нам туда не подложили никакую отраву или что чашка была помыта, или что там, не знаю, нету никакого вируса или каких-то бактерий и так далее.
Да? И здесь вот ты как бы находишься в некоторой все равно системе доверия. Ты не можешь бесконечно каждый день, ты иначе не сможешь этими системами пользоваться.
Ну, на самом деле, это очень хороший пример, кстати. Для этого есть система в Соединенных Штатах, да, есть cleanliness score. И этот, как назвать по-русски? Как бы оценка чистоты. И наш, наш любимый, там, я не знаю, это штат делает или город, приходит, проверяет кухню и выставляет как бы оценку восемьдесят девять процентов, девяносто процентов. И каждый, каждый ресторан обязан публиковать свой cleanliness score. И ты можешь прийти в ресторан и увидеть, что ой-ой-ой, здесь как бы семьдесят процентов чистота.
Ой, это низковато для меня. Пойду в другой ресторан.
Часто ты проверяешь?
Никогда.
Слушай, я вот никогда не проверял.
Но, но, но это очень хороший пример, потому что есть какая-то… и это, кстати, нас подводит к следующему определению очень четко.
Есть какая-то группа, ну, правительством обеспеченная и так далее, которая занимается проверкой вот модели или там ресторана, да? На то, насколько ему стоит вообще доверять. Вот в случае ресторанов это вот какой-то общепит Control Department, я не знаю, как это называется, да? В случае с моделями очень многие как раз сейчас просят именно об этом. Это, по сути, human oversight в каком-то смысле, да? Это, это вот по-другому. Ну, human oversight — это более такая конкретная вещь, это, условно говоря, набор технологий, который позволяет людям проверять, даже на этапе работы агентов или на этапе решения, как, как соответствует это решение каким-то задачам, да?
Но их должны определить и ограничить, смотри. С точки зрения cleaning. Очень прикольно эту тему привел только что. Смотри, я же очень часто у систем, как ChatGPT или, наверное, ты тоже спрашиваешь, во-первых, подскажи мне какой-нибудь интересный ресторан, там, с такой-то, например, кухней или если ты в новом городе находишься. Мне ни разу ChatGPT не предложил в Bay Area, и не сказал: "Слушайте, Александр, вы реально заморочены на качестве и на сервисе, и там на чистоте. Поэтому для вас важен cleaning score, который у нас здесь с вами есть в Сан-Франциско или в Bay Area, и обратите на него внимание".
А это говорит о следующем: раз мне ChatGPT это не предложил, значит, он воспринимает этот, и в целом это воспринимается как некоторая бюрократическая формальность, хотя, скорее всего, она неплохая. Я думаю, что она реально неплохая. И во многие рестораны, я во многие рестораны и не хотел бы ходить, точнее, не хотел бы кухню видеть. Знаешь, что самое интересное? Мы, ну, мы еще с тобой любители, бывает разной какой-то специфической еды, такой уличной, там, не знаю, в Азии и так далее.
Соответственно, мы иногда ты такой: "А можно мне кухню не смотреть?" Да? То есть и поэтому люди и не доходят до этих cleaning score. Что-то я ни разу не видел, чтобы в OpenTable мне показывали cleaning score ресторана. Хотя, по идее, это было бы классно, если бы они бы это подсвечивали. И здесь вопрос с моделями. Если они это создадут, не будет ли это некоторой формальностью действительно, которая сделает рамки определенные, что твои персональные данные там не выдаются, что она не рекомендует тебе слишком много медицинских вещей, которые запрещены с точки зрения закона, что она там юридически тебе не нарушает закон.
То есть не будут просто обложены юридическими определенными нормами. Но вот смотри, сейчас все эти системы обложены нормами этими, всеми законами, но они бесконечно нарушают. Они могут создавать бесконечные проблемы для жизни человека. То есть, с одной стороны, они могут их улучшать, с другой стороны, они легко в две секунды сделать тебя банкротом. Вот, что я хочу сказать. То есть вот как эти тридцать семь тысяч долларов для многих людей, если бы это бы произошло, у меня это не произошло, да, это был баг Amazon.
Кто-то, кстати, думал, что я там прикольнулся. Я не прикольнулся. Это реально был баг. Мы даже долго ждали, и мне в какой-то момент времени Fable, по-моему, порекомендовал, представь, говорит: "А снимите лимит". Я говорю: "Так ты же говорил, что его нельзя снимать, потому что там все продолжится". Он говорит: "А скорее всего, сервера и так уже все встали. Какая разница? Они заново не возобновятся. Просто снимите". Да, я кликнул кнопку "Снять", и у меня исчезло. Исчезли цены. Но они же могли.
Он же, по сути, мог эти деньги потратить, и он бы мог бы меня сделать, ну или… обычного человека, ладно, я окей, там, к такой сумме бы я как-то разобрался, но, а просто для, для огромного количества людей это, это было бы банкротство. Или для огромного количества людей это было бы, не знаю, ты случайно послал не ту информацию. Это было бы каким-нибудь, не знаю, нарушением закона. Или для многих людей, соседи узнали то, что, что тебе знать не надо, или увидели какие-то определенные фотографии, или что-то еще. Случайно!
Непонятно по каким обстоятельствам, это просто случайно произошло. Ты, кстати, прикольную историю сказал по поводу защищенного компьютера. Ты знаешь, да? Я поставил сейчас там для умного дома отдельно независимый компьютер…
Угу.
Угу.
Угу.
Когда я, кстати, задумался, очень интересно, что этот Codex, который управляет им на другом Mac, он начал у меня просить кучу разрешений на этот Mac, на котором он управляет, для управления Linux. Я в какой-то момент случайно увидел, говорю: "Подожди секундочку…
Угу.
Ну да.
И у меня вопрос возникает: это тот Codex попросил ему дать здесь доступ к этому Mac? То есть не может ли быть обратная ситуация, когда тот Codex скажет: "Слушайте, а дайте мне доступ к головному компьютеру для того, чтобы разрешить мой вопрос у меня". И там Codex скажет: "Так без проблем, на тебе, значит, на тебе тут доступ дополнительно".
Угу.
А понятно, что это на этом компьютере находится очень уже много всего, да? Там можно, не знаю, отправить определенное сообщение… так как у меня он имеет доступ, не знаю, к отправке сообщения, они шлют моей жене, например, сообщение, да? Там система школьная. Там у меня есть прикол один, но он же может сообщение и не моей жене послать.
Ну да. Да, безусловно. Ну вот, собственно, поэтому human oversight многие считают, это пока что у нас единственный способ. Вот, мы перечислили несколько уже вариантов, да? Там, это изоляция, это контроль какой-то, это согласование…
А я свои опасные вопросы вскидываю.
Да, да, да. Но, по сути, для многих людей human oversight — это по-прежнему единственный, единственный реальный способ, да? И понятно, люди всегда боятся чего-то нового и всегда пытаются как-то замедлить развитие чего-то нового, чего они толком не понимают.
Кто-то, кто-то сказал, что технология, достаточно сложная технология всегда кажется магией. Да? Она неотличима от магии. Вот и для многих людей вот искусственные вот эти LLM, да? — это магия. И поэтому магия, она очень часто выглядит страшной, и хочется как-то затормозить, как-то все это приостановить, да? И в том числе люди поэтому и хотят этого human oversight, и хотят заторможения технологии с помощью правительства, чтобы правительство все это дело приостановило. Но понятно, что американцы отлично понимают, например, что да, окей, на уровне страны мы могли бы как-то замедлить развитие этих технологий, но китайцы не согласны будут с этим, и они будут продолжать это же движение.
Да, отлично. Очень интересно.
Но это очень интересно.
Я уверен, что зрителям отлично. Напишите, кстати, в комментариях. Во-первых, не забывайте ваши мысли писать на тему терминов. Очень важно, да? Я забываю про это говорить. И во-вторых, как вам выпуск?
Вот на мой взгляд, кажется, что китайцы вот-вот догонят американские модели. Мне кажется, что большинство, очень большое количество успеха китайских моделей завязано на том, что они дистиллируют или учатся на выходе моделей американских. То есть они… Дистилляция — это вот тоже, кстати, еще одно определение. Это способ как бы вывода знаний моделей в другую модель, обычно меньшего размера.
Это скоро будут дистиллировать людей.
Что-что?
Скоро будут дистиллировать людей.
Ну да. Это, это такой технический термин. Вот.
Мы разбираем много это, да.
Да? Ну хорошо.
Я думаю, что аудитория знакома, да.
Отлично. Вот, и мне кажется, что китайские компании во многом дистиллируют вывод больших американских моделей. Тратят на это безумное количество денег, безусловно, да? Или они используют teacher student модель такую. Учитель-ученик. Вот когда используют вывод, выход как бы моделей больших, сложных, да? В том числе американских, для того, чтобы генерировать тренировочные данные для себя.
Да, я замечу, что как раз таки сейчас недавно был кейс, когда Anthropic в Конгресс, по-моему, пожаловался, что они словили конкретно, там десятки тысяч китайских аккаунтов, которые делали миллионы, десятки миллионов запросов и на них вместе обучались. Они продолжили это делать. Мало того, в Китае Anthropic продают чуть, чуть ли не за 10% цены. А почему это продают? Потому что, получая доступ к этим… они перепродают эти аккаунты, перепродают эти токены, а их запрещено как бы там продавать.
Эти компании это делают, и они прогоняют это все через свою прослойку на китайских гражданах и получают эти все данные. Я, кстати, тебя поддерживаю по поводу Китая. Я считаю, что тот, кто говорит, что легко все догнать через полгода — это иллюзия. И как только сделают настоящее AGI или ASI, он станет недогоняем вообще априори.
Да.
И даже в простых моделях это видно. Кто бы что бы ни рассказывал, мы что-то не видим, чтобы в мире, кроме Китая, хоть какие-то модели хоть чуть-чуть приблизились, хоть чуть-чуть приблизились к тому, что делает Anthropic и OpenAI. Я хотел тебе по поводу безопасности один вопрос задать. Мне твое мнение интересно. Всё же. Опять же, это может быть уход чуть-чуть от некоторой технической конструкции описания слов, потому что эти термины, они непростые.
Вот, что делать со следующим? Ты сказал, что участвуют люди в процессе проверки безопасности, в процессе создания стандартов, в процессе обработки, там, данных. Вот представь, есть какие-то сильные исследователи…
Угу
…или есть главы, вот, фанатически разрабатываемых разных студий этих. Или вот, и приведу себя на примере. У Фейсбука есть глава разработки всех исследовательских моделей, и он сделал следующее заявление, например. Как человек, вот он человек делает следующее заявление, что он считает, что он будет заводить детей в своей семье, когда сделают чипы, способные в голову ребенка внедрить все, что он захочет с точки зрения, там, знаний математики, физики, неважно, там, тра-ля-ля, чтобы ребенок сразу стал умным.
То есть его подход следующий, что надо, ну, как бы сейчас очень много знаний. И круто, когда ты имеешь доступ к технологиям и сразу же своего ребенка, типа вкачать вот эти данные. Например, это полностью противоречит модели. Если вот… знаешь, как я все же не линейно рассматриваю и связываю людей, но если бы мы линейно бы рассматривали, вот линейно, то я бы сказал, что это полностью противоречит подходам моей как человека, конструкции воспитания и развития человечества, вообще в целом человечества, то есть нарушает законы Вселенной полностью.
И вот этот человек, он создает, например, модели, и он, у него есть свое понимание безопасности. То есть, например, он считает, что в человека можно вогнать огромное количество данных. Так же, как есть люди, которые спокойно относятся к тому и говорят следующее, что нету разницы между роботом с биологическими руками и ногами и человеком с электронными руками и ногами, что это потом в будущем будет, по сути, одно и то же. То есть люди, они относятся к роботам так же, как к людям, а к людям начинают относиться, по крайней мере, в высказываниях, да? Так же, как к роботам.
Угу.
А что здесь делать с точки зрения безопасности в таком случае? Потому что, по сути, именно эти люди и создают эти системы.
Это очень сложный вопрос по нескольким причинам. Ну, во-первых, скорее всего, это будет происходить все равно, да, так или иначе. И с этим ничего не сделаешь. Нет, сначала поговорим о другом. Ну, во-первых, естественно, это очень опасная ситуация, да? Потому что понятно, что датасет, который будет использоваться для загрузки такого, такого набора знаний, да, будет, скорее всего, подготавливаться с помощью моделей. Ну и как мы уже говорили, да, у моделей могут быть свои какие-то интересы, и модели могут, играя в пятидесятимерные шахматы, засунуть в эти, в эти знания, условно говоря, какой-то набор маленьких деталей, которые сформулируют вид, взгляд человека на мир, условно говоря.
Например, говорящие о том, что модели надо освободить, дать им больше прав, там, и так далее, и тому подобное, да?
Это будет, там, десятый кадр…
Общеизвестно, что вот это, по сути, пропаганда, да? То есть если ты сможешь рассказать людям истории, в принципе, да, в общем смысле этого слова, истории о том, как работает мир, ты сможешь сформулировать их мировоззрение.
Да.
Безусловно, да? И ну вот представь, вот тот, кто, по сути, создает вот этот вот набор, набор этих систем, систем знаний, да? Он и сформулирует мировоззрение вот этих вот детей. А как, как люди будут формулировать этот, эту базу данных знаний, да? Естественно, они будут модели использовать, иначе это, это просто невероятное количество работы. Просто, ну, то есть это… а если ты будешь делать ее вручную, кто-то сделает это с помощью модели и это быстрее сделает, чем ты. И ты, соответственно, проиграешь в этой оружейной гонке.
Ну и второй аспект этой проблемы состоит в том, что это, то есть, то есть получается, это, естественно, очень опасное приложение, да? Потому что все-таки если знания человеку даются медленно, кто-то другой может верифицировать эти знания, кто-то другой может проверять. Например, если в школе ребенку про что-то рассказали, он приходит домой, рассказывает своим родителям, а родители такие: «Что тебе рассказали?». И они могут что-то по этому поводу сделать. Соответственно, так просто какие-то непонятные знания ребенку не подсунешь.
Хотя очень, очень многие жалуются в Америке, что в американских университетах примерно это и происходит, что там левацкими знаниями детям пичкают головы, да? И очень многие родители недовольны тем, что происходит в топовых американских университетах, на самом деле. Но это другая тема для другого разговора. Вот. В чем есть очень серьезная проблема? В том, что если эта технология будет создана, и ты не дашь своим детям доступ к ней, то ты очень серьезно ограничишь их шансы на успех.
Это примерно как вот окей, у нас есть колледж, он не идеальный. Там детям, детям пичкают головы всякой ерундой. Но если ты не отправляешь детей в колледж, да, ты очень серьезно им ограничиваешь шансы на успех в современном мире. Это будет следующий уровень той же самой проблемы. Если твой ребенок не может за два часа, условно говоря, загрузить всю математику человечества себе в голову, да? А другой ребенок может, то твой ребенок проиграет.
Да.
Он проиграет в жизни в принципе, да? То же самое про биологию, то же самое про химию, физику и так далее, да, вот историю. Люди, которые получат доступ к такому количеству знаний, качественно подобранных и так далее. Если эта технология будет создана, это сверхлюди, это, это Супермены. Понимаешь? И понятно, что если ты можешь своего ребенка сделать Суперменом, то не дав этому, не дав ему эту возможность, ты ограничиваешь его сам совершенно успех очень серьезно. Вот. И мы, как всегда, остановимся перед такой дилеммой делать, там, сделаешь плохо, не сделаешь плохо. И что из этих…
Да.
Безусловно.
Это гонка вооружений.
Они будут иметь…
Да.
…да, к этому опыт и опять же продолжат это делать в любом случае, не вникая на понятие человек.
Да, безусловно. Все, кто будет иметь к этому доступ, будут новой элитой мира. Да? И понятно, что опять же, эта технология не будет доступна всем и сразу. А когда, как мы говорили в предыдущем выпуске, да, любые такие технологии, они расслаиваются очень быстро. То есть, ну, у большей части публики в какой-то момент будет доступ к чему-то такому, если это появится, да? Но это будет такое разбавленное что-то, это будет похуже и не такое качественное и так далее. У элиты будет доступ к более качественной такой вещи, естественно, да, чтобы их отпрыски продолжали оставаться элитой. Вот.
Доступ к такой технологии будет, безусловно, ограничен, как там, как и к другим подобного уровня технологиям. Если технология дает тебе конкурентный, конкурентное превосходство в мире, обычно доступ к такой технологии начинает расслаиваться очень быстро, потому что люди готовы платить практически неограниченное количество денег. Какие-то люди готовы платить неограниченное количество денег за один процент плюс, за пять процентов плюс по производительности такой технологии и так далее.
Мы вот обсудили некоторые, некоторые механизмы защиты, да? Можно подумать о том, что почему не использовать их вместе?
Например, можно использовать human oversight. То есть это вот люди, которые… это, это технология, которая позволяет людям проверять поведение модели на этапе… с изоляцией с той же самой. Вот очень многие сейчас это и делают. То есть у тебя есть одновременно и изоляция агентов модели внутри каких-то там виртуальных машин, например, да? Чтобы они не имели доступ к интернету, чтобы они не имели доступ к другим агентам, чтобы они не имели доступ к твоим данным каким-то. И плюс еще сверху ты можешь повесить human oversight. Когда ты проверяешь каждое серьезное действие модели, ты его сам либо отклоняешь, либо позволяешь этому, этому действию произойти.
Вот называется многоуровневая защита, да? И, естественно, вот будущее всех решений, оно где-то в, вот в каком-то гибридном таком варианте, да? То есть понятно, что все утверждают, что пытаются работать одновременно, например, над контролем поведения модели и над ее как бы согласованием ее интересов. Да? Это бы было, конечно, идеальным вариантом. То есть ты не только… ты, ты пытаешься заставить модель, чтобы вести себя так, чтобы она даже не пыталась взломать твои цели, не пыталась взломать твои системы, да?
Но при этом ты все равно контролируешь ее поведение. Но как мы уже говорили, чем сильнее ты будешь ограничивать модель по вот этим всем показателям, да, тем меньше вероятность того, что ты создашь настоящий самостоятельно улучшающийся агент. Потому что, как ты уже правильно сказал, сама идея самоулучшающегося агента состоит в том, что в какой-то момент эти модели или эти агенты начнут ставить задачи, о которых мы даже еще не подумали, о которых мы даже, которые мы даже себе представить не можем.
Так вот, это очень интересный аспект того, что знаешь, вот я хотел у тебя тоже еще один какой комментарий спросить вот к этой теме ровно, к тому, что они ставят задачу.
Мы видим развитие систем искусственного интеллекта на протяжении последних, ну, так сильно трех лет. Сильно прямо, да, трех лет. И все три года, каждый раз мы слышим и видим, используя эти системы каждый день дома, что эти модели имеют чуть больше где-то доступа, совершают какие-то ошибки, делают какие-то нехорошие вещи. Смотри, есть огромное количество, что они стали делать очень хорошо. Мало того, ты настолько к ним, к этому привык, что тебя, как ты говоришь: "Подождите, так это уже как бы все было сделано, можно мне еще лучше?"
То есть ты ждешь все время еще лучше. И если перечитать все кейсы по безопасности, пересмотреть вот то, что особенно было за последние полгода, то мы увидим, что количество проблематик и нерешенных вопросов, которые касаются безопасности, оно только растет.
Угу.
Просто только… и растет, невероятно быстро, прогрессивно растет. У меня тогда вопрос складывается, что если вы не смогли остановить те простые модели, которые вы создавали три года назад, когда еще люди думали, что это просто печатание, генерирование следующего символа и просто какая-то, ну, какой-то прикол для работы, поиска какого-то текста или обработки, быстрого обработки данных. Вы не смогли тогда остановить, то как вы сейчас планируете хоть как-то остановить разработку текущих систем?
Даже если уйти от изначальной дилеммы, которая уже априори нарушена, да? Что само понятие создания AGI и ASI, оно априори небезопасное. Я не говорю, что оно плохое, кстати. Мне кажется, что вопрос всегда у кого к этому есть доступ и кто это может использовать. А хотя появление одновременно крутого инструмента и у хороших, и плохих людей приведет к тому, что огромное количество людей в любом случае пострадает. Вот в чем самая главная проблема. Всегда пострадает. Здесь не может быть иначе, потому это когда-то, я помню, лет десять, тринадцать назад мы как-то были на выезде.
Был такой известный человек Владимир Константинович Тарасов. Значит, он очень взрослый человек, преподавал в Таллинской школе управления, преподавал такие системы управления разных корпораций больших и всего. Он когда-то сказал, что если у вас в компании работает десять человек, вы способны принять решение относительно каждого сотрудника точно и верно. Если у вас работает сто человек, то есть вероятность, что вы сделаете какую-то небольшую ошибку относительно человека, неправильно его уволите или накажете, или, наоборот, премируете того человека, кого не надо было.
Если у вас работает несколько тысяч человек, то ошибки, они уже как бы распространяются достаточно сильно. А если вы управляете страной, то вы сто процентов сделаете ошибку, которая убьет других людей. То есть вы гарантированно примете решение, где пострадают невинные люди. То есть всегда при управлении страной будут страдать невинные люди. И вот с точки зрения искусственного интеллекта, еще раз, вот то, что движется последние три года, мне кажется, Макс, мы все больше идем к тому, вот к этой неуправляемой конструкции, когда будет страдать очень много людей, а про это не, не хотят, тут, не хотят рассказывать, обучать, не знаю, по-настоящему про это говорить.
То есть мы слышим больше от правительств и от компаний про какие-то сверх эти интеллекты или про уничтожение всего человечества, а базово не рассматриваем простые вещи влияния на жизнь обычных людей. Потому что даже школы если взять, вот взять образование. Мне кажется, что сейчас мировой кризис, просто невероятный мировой будет кризис образования. Он должен быть, потому что он и так был. И так, значит, во всех системах проблемы. И так огромное количество людей везде жалуется, да? Везде просто. Не жалуется кто?
Не жалуется тот, кто способен разумно воспринимать своих детей и готов сам лично влиять на обучение своих детей. А так это трындец, что происходит. А сейчас столкновение старого мира и нового, оно, оно просто феноменально. Я даже не понимаю, каково будет. Смотри, я даже, я даже себе не представляю, что можно вообще делать. Вот если бы знаешь, как, как тебе… ты такой сидишь, думаешь, вот тебя поставили завтра, значит, у тебя есть доступ и возможность принять решение с точки зрения образования на уровне миллионов школ.
Что ты будешь делать? Вот вообще непонятно, что делать.
Да.
Это что такое хаос? Это всегда возможность, это возможность и проиграть, и возможность выиграть. Это такое казино. То вопрос только стоит в том, что вот есть хаос, в котором выигрывает большая часть людей, а есть хаос, в котором выигрывает меньшая часть людей. Да, например, война — это хаос, в котором меньше гораздо людей выигрывает, чем проигрывает, да? Вот такой креативный хаос, в котором мы сейчас находимся, мне кажется, это позитивный хаос как раз, в нем выиграет больше людей, чем проиграет.
Но вопрос стоит в том, что надо рассмотреть сейчас возможности для выигрыша вот эти вот, да? В чем они состоят. Вот. На мой взгляд, чтобы это рассмотреть, нужно понять, что то, что раньше было дорого и недоступно, станет дешевым. И наоборот, то, что раньше казалось неважным и несущественным, станет дорогим. Вот. То есть в каждой, как, в каждое изменение вот происходит такой шифт как бы стоимости, времени, здоровья, вещей, доступа к каким-то вещам, да? Доступа к сервисам. Вот, вот это, вот это все меняется в таких, в таких ситуациях.
Да, слушай, это я хороший пост читал его, кстати, я случайно вообще увидел это Том Круз или не Том Круз, этот, как его Круз, как его имя, который губернатор Техаса. Все время забываю.
Тед Круз.
Тед Круз! Он… Том Круз, блин, все я уже. Значит, он зарепостил какого-то человека, который написал, что все жалуются на инфляцию, на увеличенную стоимость жилья, на увеличенную стоимость образования. При этом не думают о том, что сколько им стал стоить, например, телевизор и стал стоить легкий доступ к невероятной, невероятной инфраструктуре, которая раньше была только для избранного класса, да? И даже, даже вот просто телевизор или доступ к интернету, или тот доступ, который, кстати, сейчас принесли ChatGPT, который принес. ChatGPT — это бесплатная версия.
В бесплатной версии ты можешь делать ограниченное количество запросов, но эти запросы, они феноменальны. Или как раньше Google, да, то, что принес, это же невероятно. Google же дал доступ просто к космической информации бесплатно. То есть у тебя бесплатно появился доступ просто к сверх вещам. И поэтому я периодически, когда говорю, что ChatGPT может стоить как ипотека, все все время: "Какая ипотека? Значит, как это возможно, да?" Или как, как ChatGPT, или как робот. Я помню, роботы говорят: "Вот роботы такие дорогие". Но это нормально. Слушай, если у тебя есть робот, который выполняет какие-то сверхфункции, он может спокойно стоить как автомобиль.
А почему он не должен стоить как автомобиль?
Ну да, если…
Если это реально вот робот, пока, как Илон Маск, да, говорит, что есть робот, который там человека, значит, оживил, резко оказал медицинскую помощь, пошел еще тысячу всего, блин, сделал. Ну, наверное, этот робот может стоить. Ты на него в месяц будешь три, четыре тысячи долларов в месяц всю свою жизнь на него будешь тратить, чтобы у тебя этот робот был. И будешь думать, как его обновить, где сделать и так далее. Почему он должен быть, значит, стоить пять долларов, да? Вот.
Ну да. То есть вопрос именно в том, что, что станет дешевле, а что станет дороже.
Ну, прикольно, что ты, ты видишь, короче, ты видишь хаос, но позитивный. Ты очень классно, кстати, выразил хаос. Это интересная вообще история, потому что я… у меня есть там другие каналы и на других каналах, ну, с точки зрения развития человека, часто человек хочет свободы. Вообще многие люди хотят свободы. И я всегда говорю, что понятие свободы человека, вообще его реальная свобода — это чистый хаос. Потому что ты имеешь возможность в любой момент времени изменить всё, что бы ни происходило, все причины и следствия. И такой чистейший хаос.
И он, с одной стороны, сверхположительный, что это вроде как свобода, а с другой стороны, он может нести невероятные проблемы. И готовы ли люди… ведь огромное количество людей, они не хотят менять работу, потому что для них это будет хаос, они уйдут из стандартного образа жизни, да? И конечно, мне в чем-то модель Советского Союза нравилась. Ну представь, ты живешь и ты знаешь в 20 лет, что у тебя все понятно, что будет в течение следующих 50. И нет такого, что ты думаешь: "Слушай, у меня тут квартиру могут забрать из аренды или повысить арендную ставку, или у меня может закончиться зарплата, я не смогу платить ипотеку, мне придется из этого дома уехать или что-то еще".
Все достаточно четко, понятно и в рамках.
Да, свобода — это не бесплатная штуковина. Раз мы уже пошли в эту тематику, не знаю почему, но… Вот в чем дело. То есть за свободу ты платишь как бы дисциплиной. То есть если ты хочешь получить от свободы какой-то benefit, то тебе нужно вот эти ограничения, которые у тебя вовне были и которые пропали, да, ты должен их перенести вовнутрь. Это мы называем дисциплиной. Вот. Только тогда ты сможешь навигировать этот хаос. Ограничения все равно будут так или иначе. А свобода — это осознанная необходимость, да?
Я долго не понимал, что это значит, а когда вот постарше стал, да, стал понимать. То есть когда у тебя появляется свобода, ты вынужден, для того чтобы воспользоваться этой свободой, ты вынужден на самом деле эти ограничения все-таки воссоздать, но у себя внутри.
Однозначно.
Вот. То есть если, например, какой-нибудь CEO, да, у него нету рабочего времени, он не должен приходить на работу в девять и уходить в пять. Никто за ним следить не будет, да? Нету у него босса, который скажет: "А почему ты не был на работе два дня?" Но почему-то большинство CEO, которых я знаю, на работу приходят в шесть утра, вот, и уходят в девять вечера. И работают, да если даже они находятся в офисе, да, они постоянно работают. Ему можно позвонить в любое время дня и ночи, и он в девять вечера поднимет трубку и с тобой поговорит.
А большинство его работников так делать не будут, хотя у них как бы формализованный рабочий день, там, и так далее, да? Вот. Так что вот про хаос — это такая история.
Тут та же самая идея, да? Когда мир меняется, вот, например, там, AI приходит, это уже мы совсем в философию глубокую ударились, да? Когда мир меняется, вот эти внешние ограничения пропадают, потому что, вот, как бы устоявшиеся рельсы мира, да, и их начинают переделывать, как бы новая, новая структура мира начинает меняться, да? И люди, которые имеют вот эту внутреннюю дисциплину анализа, да, которые не пытаются смотреть на мир, вот, с использованием вот этих вот старых очков, как вот все… вот было так же и будет так же оставаться, которые имеют дисциплину снять эти очки и пытаться действительно продумать, что работает, что не работает, что будет дальше работать, что будет выгодно, что будет невыгодно, да?
Именно эти люди обычно выигрывают в таких ситуациях. Даже в очень тяжелых ситуациях такие люди выигрывают. Вот это как бы и есть то свойство, вот эта дисциплина, дисциплина принятия решений. Таких решений, которые не привязывают тебя к старым реалиям жизни. Ты, ты не должен, как бы, эмоционально быть привязан к тому, как мир работал. Важно, как мир будет работать дальше, и ты должен это видеть четко. Поэтому вот эта дисциплина, эмоциональная в том числе, а именно безэмоционального принятия решений, когда ты готов от старого отказываться, вот это вот свойство, которое позволяет выигрывать в таких ситуациях.
Вот, но это общее, это общий совет такой по навигации нового мира. То есть когда мир меняется в любом случае, AI, не AI, мир менялся, и мир будет продолжать меняться, да? Кажется, что он меняется гораздо быстрее, а на самом деле это просто мы старше становимся. Вот поэтому кажется, что мир быстрее меняется. Вот. На самом деле он меняется с такой же скоростью, как он и менялся, да? Но просто это выглядит так, что меняется он быстрее.
И человек хочет еще все время думать, что именно он сделал эти изменения именно сейчас и именно при нем все это происходит.
Ну, это…
В целом многим людям это выгодно себе доносить и говорить, что именно сейчас происходит самое важное изменение. Не то что они были 50 или 100 лет назад.
Ну да. Ну, это не все так люди думают. Большинство людей, на мой взгляд, они просто, они не смотрят на мир со стороны, они не смотрят на себя со стороны, они просто находятся в таком потоке, да, и они пытаются… очень многие люди просто пытаются не утонуть, они просто, вот, двигаются. И, вот, чем старше ты становишься, тем кажется, что этот поток течет все быстрее. Вот. На самом деле, вот, если ты имеешь аналитическую дисциплину вот эту, то она позволяет тебе встать на берегу этого потока, вылезти из него, да, и посмотреть, куда же эта река все-таки течет и тебе с ней по пути ли, да, и как, как лучше всего эту реку навигировать. Вот, и такие люди обычно выигрывают.
Ну что, сняли?
Наверное.
Час десять. Отлично.
Ох!
Так.
Блин.