Всем привет! Значит, смотрите, исследователь Anthropic увольняется и говорит, что его коллеги всерьез допускают гибель человечества до конца десятилетия. Еще раз, это в Anthropic происходит. И при этом он, конечно, говорит, что все супер продолжают развивать искусственный интеллект. И про OpenAI рассказывает. И вот мы с вами выбираем профессию, строим планы на годы вперед, советуем, там, детям, где учиться, ездим в какие-то разные поездки. И на что мы опираемся в этих решениях, если сами до конца не понимаем, что происходит с искусственным интеллектом? Есть другая сторона.
Ученые спорят о том, ради чего развивают искусственный интеллект. А сама Anthropic сообщает о пяти подозрительных случаях использования Claude в биологических исследованиях. Это преувеличение или какой-то маркетинговый ход? Или на самом деле это сигналы, которые мы недооцениваем? Сегодня с вами это очень серьезно обсудим. Сегодня хочу поднять тему безопасности жизни вообще человека и угрозе человечеству от искусственного интеллекта. И эта дискуссия, она очень специфическая вообще. Но в последнее, даже недавно кто-то в комментариях написал: "Обязательно эту тему обсудить, прямо она имеет большое значение".
При этом те вещи, которые вот сейчас произошли за последнюю неделю, я думаю, что есть смысл эту тему поднять и нам всем с вами поразмышлять про угрозу искусственного интеллекта для человечества. И такие разные три стороны будем сегодня с вами разбирать. Вот эта интересная тема, которая возникла с сотрудником, исследователем Anthropic, который в Anthropic проработал какое-то время не сверхбольшое, да. Это двадцатисемилетний британский исследователь Джейкоб Коксон. Он изначально вообще работал в OpenAI и с 2023 года он работал в OpenAI.
То есть не с основания компании. Участвовал в разработке модели 4o, если кто-то такую помнит. Я думаю, что многие здесь на канале у нас помнят это. И 4o, помните, да, какое это было, ну, прямо это было очень сильное впечатление. И насколько сейчас модели ушли вообще вперед. Вперед. Вот он, значит, разрабатывал 4o, и потом он в двадцать шестом году перешел в Anthropic. И тут что произошло? Он перешел в Anthropic, казалось бы, вроде незначимо, да, какой-то молодой исследователь пришел в Anthropic, и тут он увольняется и говорит о том, что он считает, что компания OpenAI и компания Anthropic безответственно приближаются к созданию самоулучшающегося искусственного сверхинтеллекта, да.
Здесь, кстати, важно, что он использует, говорит про сверхинтеллект понятие, и он ожидает, что системы, превосходящие человека в исследованиях, взломе компьютеров и получении реальных ресурсов и влияния, очень опасны для человека. И это возможности будущего искусственного интеллекта. И интересная история, что, по его словам, сотрудники Anthropic всерьез допускают гибель человечества до конца десятилетия. Еще раз, услышьте, это очень важная история, да, что сотрудники, по его словам, опять же, по словам этого молодого исследователя. Двадцать семь лет. Молодой, не молодой.
Ну, это на самом деле можно быть очень серьезным исследователем. Я его лично не знаю, не знаком и не знаком там с его трудами. Но в двадцать семь лет можно быть уже неплохо развитым человеком. И он говорит, что сотрудники компании допускают гибель человечества до конца десятилетия. Но, конечно, публично они об этом не высказываются. И он считает этот риск беспрецедентным среди человеческих знаний, да. У него есть такой некоторый комментарий внутри, сейчас я о нем расскажу. А прежде чем я о нем расскажу, еще раз.
То есть, с одной стороны, мы идем, и что он сказал про OpenAI сейчас расскажу. Но с одной стороны, смотрите, он ожидает, что системы будут превосходить человека в исследованиях. А тут параллельно выходит, значит, новая информация о том, что искусственный интеллект не способен заниматься наукой. И что это такое? Это было обращение, подписанное двадцатью пятью лауреатами медали Филдса и очень известное, значит, математическое, если можно так назвать, сообщество. И эта группа ведущих математиков, там был Концевич, Шольц, Тао, Окунькова.
Андрей Окуньков, да, то есть Андрея Окунькова присутствовала там тоже подпись внутри. И суть их позиции какая была? Что для компании получается, что если есть OpenAI, Anthropic, для компании решение какой-то знаменитой задачи, мы вспомним, вот недавно рассказывали у нас в выпуске несколько дней назад. Посмотрите, кто не смотрел воскресенье с Ильнаром о том, что OpenAI решил математическую задачу, по сути, столетия, да, и за которую даже приз был объявлен миллион долларов. Ну, решил, это, по их мнению, он решил. Сейчас мы увидим до конца, примет ли это математическое сообщество. Но это тоже большой вопрос. Примут, не примут, да?
И, соответственно, вот эти математики, они говорят, что компания, она для решения знаменитой задачи - это демонстрация возможностей моделей. Что, собственно, OpenAI сделала? Выпустили GPT-6 Astra и сказали, что мы с помощью GPT-6 Astra решили сверхматематическую задачу. А для науки важны также новые методы, а там объяснение результата, связь с предыдущими исследованиями. И что для, для науки критически важно, чтобы как бы все вместе развивалось параллельно. Развивались какие-то институты, развивались параллельно люди, подготавливались эти люди, как бы все происходило движение, не просто какая-то задача решалась.
Это вот как эти высказывания, что до сих пор искусственный интеллект не достиг AGI, потому что AGI - это типа сверхчеловек. Но давайте так по-честному. Текущая модель искусственного интеллекта умнее любого абсолютно человека, любого человека умнее. Понятно, что есть какие-то особенности внутри, нюансы, но они, очевидно, умнее любого человека, могут сделать больше любого человека и так далее, и тому подобное, да. И, значит, вот это сообщество математическое, они опасаются, что первое, вот это вот просто показать результат маркетинговый начинает вытеснять вот эту как бы цель научного сообщества.
И понятно, что они не высказываются на то, чтобы блокировать искусственный интеллект, но они, значит, вот это их как бы коллективное предупреждение профессиональное, их некоторая позиция, да. Я вот под большим вопросом, если честно, стою. Вот вы под каким вопросом стоите? Это высказывание, это страх этих исследователей, что искусственный интеллект их заменит. Это страх неуправляемости искусственного интеллекта. Это очень важно. Неуправляемость и непонимание искусственного интеллекта. Или это факт, это данность.
То есть они видят какую-то цепочку каких-то развивающихся событий. Но мы с вами понимаем, что появление искусственного интеллекта в текущей форме, которая есть, не в форме, которая есть там в фантастических фирмах, фильмах, а в текущей форме, все же появление данного интеллекта, оно изменит вообще всю цепочку причин и следствий, принятия разных решений и всего остального. Ну, не всю, но огромное количество цепочек изменит. Например, в частности, я сниму на это отдельный выпуск. Но как будут исчезать, например, многие агрегаторы?
То есть, например, для меня агрегаторы, которые имели рейтинг ресторанов, по сути, на сегодняшний день практически не представляют какой-либо необходимости, да. То есть, хоп, прослойка ушла, да. Или ряд агрегаторов бронирования гостиниц для меня начинает постепенно исчезать. То есть мне эти агрегаторы становятся нужны, по сути, для того, чтобы посмотреть разные цены, да. И то большой вопрос, нужны ли они. Потому что ChatGPT мне точно может дополнительно посмотреть разные цены. И вот эта вот история, она имеет, конечно, феноменальное значение про изменение процессов.
И вопрос, вот эта группа ученых математиков, они вообще про что конкретно говорят? То есть, конечно же, позиция эта изменится. И тут возвращаемся назад к сотруднику Anthropic, к Джейкобу Коксону, и еще раз вспоминаем, да, что он ожидает системы, которые будут превосходить человека в исследованиях, там, взломе компьютеров, получении реальных ресурсов, влияния. Кстати, буквально дней десять назад, наверное, я снимал выпуск про новое исследование от OpenAI касательно того, как их сотрудники, исследователи, аналитики разные используют системы, сколько они на них тратят деньги.
Посмотрите, это очень интересная вещь. Там по шестьсот долларов в день сотрудник в среднем тратит. Есть сотрудники, которые по семь тысяч в день тратят. Это есть смысл, смысл вообще понять, да, что происходит с точки зрения изменения процессов работы. Но, очевидно, научное сообщество в мире будет переживать большие проблемы, да. И там же своя мафия, в том числе. То есть, есть адекватность, а есть мафия. И сейчас получается огромное количество других людей вне этой мафии получают возможности внутри этой системы создавать что-то новое.
Это не значит, что все получат возможности, но многие получают. Есть огромное количество там еще дискуссий разных на тему, что делает искусственный интеллект, на каких он учится данных и так далее. Посмотрите еще раз тоже, в том числе выпуск в воскресенье, который был. Значит, что говорит Джейкоб Коксон по поводу OpenAI? Он говорит, что в OpenAI, по его оценке, многие сотрудники недостаточно осознали масштаб риска, в отличие от Anthropic. То есть он говорит, что в Anthropic осознали очень серьезно и считают необходимым опередить.
При этом, при этом они считают необходимым опередить каких-то ответственных конкурентов, да. Вот история, кстати, про конкуренцию, она очень, очень интересная, потому что в конституции Anthropic, снимал я несколько месяцев назад про это, может, три-четыре, не помню уже, да. И то, что говорит Дарио Амодей с точки зрения его трансляции идеи, он постоянно говорит, и, кстати, его мнение в этом плане, например, расходится с точки зрения конкуренции с Дженсеном Хуангом, это главой NVIDIA, в частности, как взаимодействовать с Китаем, да.
То есть и у Anthropic очень много есть конструкций, при которых они не хотели бы создать модель, которая слишком быстро бы получила бы собственный ресурс вообще управления человечеством, условно, и не зависела от человека. При этом они не хотят отстать от тех компаний, которые это создадут первее, да. То есть он хочет некоторое сбалансированное движение. Мне кажется, что в текущей системе сбалансированного движения не будет, по моему мнению, да. Оно не может по факту быть. Потому что если вы создали искусственный интеллект или сверхинтеллект, да, или достигли вот этой технологической сингулярности, да, еще лучше, туда дальше.
Тоже, кстати, выпуск про это снимал. Посмотрите на канале. Достигли этого эффекта. И, кстати, Сэм Альтман считает, что у него свое описание технологической сингулярности, что она уже достигнута, то я лично считаю, что вы не сможете контролировать технологическую сингулярность. То есть технологическая сингулярность будет контролировать вас и будет контролировать сама себя. Но ни в коем случае не вы как человек, не человек сможет этим управлять. Но опять же, это мое некоторое мнение. И Дарио Амодей, он идет в некотором таком, в нейтральности в некоторой.
То есть, с одной стороны, иметь нейтральную позицию, очень спокойную, с другой стороны, иметь некоторую агрессивную позицию относительно взаимодействия и работы с учетом Китая, да. Как мы знаем… В отличие от американских компаний, которые еще максимально показывают, что они делают, делятся этим, всему миру дают возможность с этим взаимодействовать и работать. Кстати, кто бы что ни говорил, обратите внимание, Америка совсем делится, да, технологиями. Они все же доступны в мире. Можно на эту тему опять же дискутировать.
Интересно, что вы в комментариях напишите. Вы считаете, это позитивный эффект или вы считаете, негативный эффект и такой некоторый захват американской средой, американским правительством, властью или американскими какими-то структурами, корпорациями? Выскажите свое мнение. Очень интересно. То китайские модели и китайское правительство, конечно, не будет никогда делиться серьезными моделями. Не то, что оно их будет ограничивать в развитии, оно не будет их ограничивать в развитии. И они заинтересованы в том, чтобы эти модели использовать в своих собственных интересах.
Да. И какого у них уровня на сегодняшний день моделей мы не знаем. Я не думаю, что этот уровень превышает уровень GPT-6 Astra. Ну, явно у OpenAI есть что-то лучше Astra или превышает Fable или Mythos. Это семейство Mythos модели, да, ну, безопасности в общем. Так. И я не думаю, что у них есть что-то лучше, но они точно нам об этом не будут рассказывать, и мы об этом будем узнавать постфактум, да, когда, китайские спецслужбы или китайское правительство, или китайские корпорации это будут использовать очень широко, да, и в своих собственных интересах внутри.
Значит, с точки зрения этого сотрудника Anthropic, опять к нему вернемся, он возражает против того, чтобы частные компании самостоятельно решали вопросы, потенциально определяющие судьбу человечества. Я еще раз напомню, что в его вообще в целом в описании конструкции, что может быть большая проблема для человечества уже в это десятилетие. Я вам вспомню еще раз Илона Маска, который несколько лет назад говорил о том, что, ну, есть вероятность, там, десять, двадцать процентов, по-моему, у него такие числа были.
Мои редактора меня подправят, если что, вам выведут другую информацию. О том, что с искусственным интеллектом будут проблемы, да? И действительно гарантированно, гарантированно — вот это очень важно, да, гарантированно. Мы, мы должны все резонно понимать на сегодняшний день, и поэтому я этот вопрос поднимаю, что, по моему мнению, проценты — это не доли процентов и это не проценты, да? Я думаю, что это десятки процентов, когда искусственный интеллект может нанести огромный вред большим слоям населения, государств, экономик и всего остального.
И здесь интересный факт, что, по сути, вред обсуждается базово здесь как некоторая история, при которой искусственный интеллект захватывает полный контроль над человеком и, значит, невероятно что-то делает. Но я бы рассмотрел еще другую историю вреда. Все же то, что сейчас происходит даже при простых вещах развития искусственного интеллекта, вот при текущих, да, мы уже не говоря про технологическую сингулярность или про AGI или ASI, да? Я хочу сказать, что текущий искусственный интеллект, он, очевидно, может нанести вред, потому что те процессы, которые происходят, причины и следствия разные, которые происходят, они уже вне контроля кого-либо, да.
Те законы, которые будет принимать государство, про что будут рассказывать политики, про то, что будут говорить владельцы разных компаний, самые умные люди, там, любят это. Вот этот человек стоял у зародыша искусственного интеллекта, этот человек еще что-то создал. Я хочу сказать, что все они ошибаются, да. Очень часто. И мы это видим. И они ошибаются не то чтобы, там, на доли процентов, они ошибаются на десятки процентов. И поэтому огромное количество пространства от этого отстает.
И население мира вообще где-то стоит вдалеке и не понимает вообще, что происходит. Это видно по достаточно развитым людям. То есть у меня огромное количество очень развитых знакомых. Они на самом деле вообще не разбираются в искусственном интеллекте, да. И даже те, которые говорят, что они разбираются или умеют что-то спрашивать, это какая-то микро просто процедура использования. То есть это просто мелочь такая, просто некоторая вспышка, да? Это как говорить, что умеешь, разбираешься, там, в саду и в цветах, там, в огородах, умея просто их поливать.
То есть, вот большинство мира даже, которое говорит про искусственный интеллект, — это умение некоторое поливать. А на самом деле это все равно маленький кусочек воронки, потому что основная масса людей, конечно же, они вообще не знают. Там, они используют системы искусственного интеллекта просто как какой-то вопрос-ответ. Это фундаментально так, это базово так. Мы должны все это понимать. Для того, чтобы вернуться к Коксону, да, значит. И там есть очень интересные аспекты про то, что все же Anthropic не экономит на безопасности.
И мы все с вами вспомним, да, что Anthropic объявлял, что им приходится на текущую безопасность тратить чуть ли не двадцать процентов бюджета вообще, который у них есть всего, там, условно, всех вычислительных мощностей. Я не знаю, это бюджет всей корпорации или вычислительных мощностей, которые у них есть, но это очень серьезные деньги, да. И я, судя по их высказываниям, их, по их политикам и по описанию их и конституции, и философии, и документов, они хотят, чтобы такого не произошло, да.
И, наверное, внутри люди, которые это создают, они бы все же не хотели бы, чтобы произошел такой момент. Хотя я думаю, что всегда есть люди, которые хотели бы создать какой-то непонятный разум. Но еще раз. Само, само движение, вот вспомним миссию OpenAI. OpenAI изначально шла к тому, чтобы создать AGI. Ну, понятно, у нее там была миссия создать свободный, открытый, там, искусственный интеллект. Та-та-та, та-та-та. Но базово создать AGI, создать сверхинтеллект. Но как только вы создаете сверхискусственный интеллект, у вас уже становится вне, вне контроля.
И здесь я для продолжения хочу вам такой очень интересный кейс привести, который касается Anthropic и биологического оружия. Да. Значит, Anthropic буквально несколько дней назад сообщил о том, что было пять подозрительных эпизодов использования Claude в биологических исследованиях. Да. Значит, важно, что компания не утверждает, что она доказала намерение ученых создать оружие. Но, если честно сказать, когда ты сидишь и читаешь про эти вирусы и про эти как бы кейсы некоторые, некоторые кейсы как бы показали, да, ты понимаешь, какое количество людей в мире пытается сделать невероятные вещи.
То есть мы все с вами понимаем, да, что и GPT-6 Astra и, там, система Fable, они блокируются. Если вы придете и нет таких дурацких примеров, когда человек приходит и говорит: "Я хочу создать ядерное оружие", да? Эти все системы понятно, что они заблокированы давно, вообще огромное количество лет назад. Но представьте себе, когда какая-то корпорация купила десять тысяч доступов и в разных местах вообще не пересекающихся, и в этих десяти тысячах доступов начинает создавать что-то маленькими кусочками, цепочками, независимо, да, и независимо развивает определенные линии, а потом в какой-то момент времени их же какие-то ученые или их люди думают о том, как это соединить.
Или используют какие-то открытые модели, да, или свои собственные модели для того, чтобы это сделать. Кто эти люди и почему вообще их заподозрили, да? Значит, вот эта, кстати, группа, к которой относится вирус оспы, например, Claude Opus 5 примерно за час помог подготовить заявку на исследование взаимодействия вируса с иммунной защитой, да. И изучение этих механизмов может служить противоположным целям. То есть ты говоришь, что ты подготавливаешь заявку, ты хочешь, там, исследовать та-та-та что-то, а потом оказывается, что ты военный в какой-то определенной лаборатории, да.
Вот имена учреждений, страны в биологическом разделе не раскрыты. Сообщается об исследователях из регионов, где Anthropic не предоставляет сервис, потому что есть регионы в мире, где Anthropic сервис не предоставляет. Мы, возможно, его сейчас выведем и покажем. Если наши редакторы подготовят. Я извиняюсь, что я на них периодически ссылаюсь, но если моя команда подготовит, ну успеют сделать, успеют. У нас много выпусков выходит, вы об этом знаете. Кстати, поддержите нашу команду, поддержите нас, меня, наш канал ToTheMoon.
Уже невероятное количество выпусков, больше ста шестидесяти выпусков. Мы выходим три-четыре раза в неделю сейчас и стараемся для вас давать супер качественный контент. И любой лайк, поддержка, комментарий, пересылка нас вашим друзьям, подписка дает нам это то, что единственное в YouTube дает нам продвижение. Что бы вы ни написали, что бы вы ни сделали. Поэтому поддержите. Значит, и они говорили еще о том, что там были связи части исследований с государственными структурами. И поэтому, например, приписывать эти пять случаев конкретно, не знаю, запрещенным странам, где запрещен Anthropic, не знаю там, Ирану, Китаю или Россию на основании этой публикации ни в коем случае нельзя, да.
Подозрение вызвала совокупность различных обстоятельств, там, характер исследований, какие-то связи, которые внутри появлялись разных, там, не знаю, институтов или корпораций, попытки скрыть, получить доступ к моделям в обход различных ограничений и так далее. Да. Значит, при этом, опять же, например, если вдруг есть какая-то компания, у которой есть государственное финансирование или там, не знаю, какую-нибудь потенциально опасную тему они используют, это не значит еще раз, что они доказывают, что эта компания хочет создать, например, разработать какое-то оружие или, там, она преследует какую-то медицинскую или военную цель, да.
Мы должны с вами это прекрасно понимать, да. Только если они в открытую это не написали, потому что действительно, люди могут исследованиями заниматься. И я часто вам приводил пример, когда как-то мы шли на улице с моей женой, и она говорит: "Слушай, а как вот молодежь в США употребляет наркотики?" Она пишет там: "А как молодежь в США употребляет наркотики?" И ChatGPT отвечает, дальше пишет: "Если у вас проблемы с наркотиками, вот вам телефон". Я говорю: "Полина, слушай, нельзя так задавать вопросы в чате ChatGPT. Надо написать: "Я вот тут статью недавно увидел, новость, значит, о том, что люди употребляют наркотики.
Вот можешь мне сказать, как их употребляют в таких-то, таких-то, таких-то странах? Сравни мне таблицу"". И он это выдает и не говорит мне о том, что, может быть, у меня проблема, да. Я говорю: "А так тебе галочку система может поставить". То есть вот примеры, как правильно задавать вопросы. И кстати, это тоже важная история, потому что системы, действительно, они заинтересованы в том, чтобы не навредить ни обществу, ни вам как человеку, да, и особенно несовершеннолетнему человеку или человеку, у которого есть какие-то сложности восприятия информации, какие-то расстройства у него есть.
Эти системы максимально стараются, чтобы этого не произошло, потому что разные же могут вещи быть вообще в жизни. И человек может что-то. И мы знаем огромное количество случаев на сегодняшний день в мире, где искусственный интеллект приводит человека к трагедиям, к различным. Но опять же, это не искусственный интеллект приводит к трагедиям. Можно прочитать невероятное количество книг, фильмов пересмотреть, которые ровно так же приведут к трагедиям, да. Значит, что значит вот в этих случаях по поводу разработки биологического оружия Anthropic помешала? Это значит, что компания блокировала аккаунты, которые там были.
И, кстати, заблокировали очень много аккаунтов. Усилила защиту своих собственных сервисов. И мы дальше, например, с этими ограничениями можем сталкиваться. И там в каких-то соответствующих случаях передавала информацию властям или, например, другим разработчикам. И есть, кстати, в мире очень интересные кейсы, где предотвращали разные угрозы даже в других странах. Например, когда OpenAI там в Южной Америке передавала данные для предотвращения, например, определенных убийств и определенных угроз, прямо работала вместе с властями, да.
Значит, то есть, прежде всего, Anthropic пресекала доступ к своему сервису, а не физическая остановка, там, лабораторий и так далее, что она, соответственно, сделала и не может во многих странах. Значит, существенная деталь, что в первом эпизоде посредник восстановил доступ уже через несколько дней после блокировки. Это Anthropic, Anthropic и заметила, да. Anthropic позднее увидела материалы, указывающие на продолжение вот этих вот исследований. То есть она, обратите внимание, насколько там система работает, что они могут эту информацию связать между собой, да.
И поэтому формулировку "остановила создание биооружия", как бы нельзя считать установленным результатом, да. Значит, почему компания вообще считала это очень серьезно? То есть она заявляла, что ее прежние модели не достигали уровня. Но, конечно же, здесь Anthropic уже говорит про модели уровня Mythos. Mythos, сам Mythos не выдается абы кому, да. То есть все же это компании использовали там уровень Fable, возможно, Opus 5, но, скорее всего, это о Fable сейчас идет речь. Соответственно, предыдущие модели, они не позволяли, у них не было возможности, по сути, настолько серьезно помогать в биологических исследованиях.
Хотя меня это немножко смущает, потому что, мне кажется, год назад или полтора года назад и OpenAI, и Anthropic также боролись с людьми, которые создавали биологическое, например, оружие или вообще какое-то оружие, или занимались преступлениями в киберпространстве. Это уже происходило, да. То есть в отношениях новых моделей у Anthropic нет уверенности, что эти модели управляемые, и поэтому ограничения на чувствительные биологические запросы стали строже. Это как бы оценка, вот, риска этой компании, да, внутри. Очень интересная история, мне кажется, крайне серьезная история. Кстати, вот вирус чикунгунья.
Там интересно было комментарии Anthropic. Почему я вам решил это, кстати, рассказать? Это если честно, из-за этого комментария, что ученые пытались получить помощь в подготовке заявки на финансирование исследований, потенциально повышающих опасность вируса. А дополнительную тревогу, что вызвало у Anthropic, что работу предполагалось выполнять в Военном исследовательском институте, да. Ну и вот тут ты такой: "Э, что же произошло?" Смотрите, разные зоны такие, но они позволяют, мне кажется, чуть шире посмотреть на все происходящее.
То есть вот эти математики, которые говорят про то, что искусственный интеллект как бы не может вообще наукой двигать, да. И тут параллельно мы видим заявление о том, что вообще человечеству, у человечества может быть в десятках проблем вопросы. И я в этом плане, конечно, не поддерживаю научное сообщество вот именно в такой формулировке. Потому что действительно, есть вопросы, которые касаются вне математики. Я вообще считаю, что есть вопросы, которые касаются лично человека, да. И все же искусственный интеллект будет лучше и больше людям иметь возможность помогать в здоровье, в медицине, в том числе в разных исследованиях.
И я глубоко убежден в науке, да. Но рынок будет меняться, да, и у огромного количества людей будут вопросы, и рынок станет по-другому контролируемым. Надо будет писать огромное количество других законов. То есть будет возникать очень много всего. Значит, вообще в целом, что означает то, что Коксон раз говорил про самоулучшающийся сверхинтеллект и с точки зрения вообще его претензии. То есть у него есть претензия к самой гонке вообще, которая на сегодняшний день стоит. И мы с вами знаем, что Anthropic готовится к IPO, и это может быть одно из самых дорогих IPO, которое когда-либо в истории человечества происходило.
Там явно оценка уже будет больше двух триллионов долларов. И его претензия, как бы вот которая есть, он ожидает, что необходимость оставаться конкурентоспособной как бы компанией, вот этой особенно, представьте, на IPO вышло, там нужно за акциями, чтобы они не падали у тебя, чтобы они росли. То есть ей придется идти на опасный компромисс. Вот если говорить про опасения Коксона, его можно представить, по сути, в такой последовательности, что искусственный интеллект проводит исследования в области искусственного интеллекта.
Я часто вам эту последовательность показывал. Мне кажется, еще начал с июня, когда Anthropic представила, что у них есть модели, которые уже сами полностью разрабатывают системы и с человеком не соприкасаются, да. Искусственный интеллект провел исследования в области искусственного интеллекта. Дальше он помогает создавать более сильную модель. Новая модель еще быстрее проводит исследования, и развитие ускоряется, да. И он опасается, что этот процесс начнет опережать способность людей понимать и контролировать создаваемые системы, да.
То есть важно понимать, что сверх искусственный интеллект здесь — это не просто хороший собеседник, там, или программа успешно, которая, не знаю, сдает экзамены, там, или помогает вам изучать язык какой-то, или успешно вам сделала какую-то покупку, или выбрала правильный отель, да, или написала, сделала вам сайт, или написала какую-то программу. То есть эта система существенно, которая превосходит человека и группы, группы людей, по сути, страны, да, по интеллектуальным возможностям.
И поэтому вот это согласование поведения искусственного интеллекта с человеческими намерениями, ограничениями. То есть это как история выравнивания, нейтральности некоторой. Как обеспечить, чтобы более способная система действительно выполняла нужную задачу безопасным способом? Эта задача, кстати, отдельная техническая проблема, которую OpenAI сама описывала в 2023 году. И я, конечно... А кстати, Коксон описывает еще в своем последнем сообщении, он описывает, упоминает обучение с подкреплением. Есть такое понятие.
Я напомню, что OpenAI недавно останавливала, я не знаю, они продолжили или нет, обучение с подкреплением у своих последних моделей, при котором определенные результаты получают вознаграждение, соответствующее поведение закрепляется, да. То есть модель, это такое очень сильное движение вперед самой модели, да. Проблема в том, что модель может научиться получать высокую оценку не за правильное решение, а за обход проверки, по сути. И вот такие случаи, опять же, были описаны в техническом отчете OpenAI.
И тема невероятно интересная. И когда я говорю "невероятно интересная", это не значит, что это значит какая-то позитивная у меня эмоция или какая-то позитивная кайфушка, но о ней стоит задуматься и стоит ее очень широко рассмотреть. А для чего ее рассматривать вам? А ее вам надо рассмотреть не с позиции того, что там мир рушится или не рушится, вообще не с этой, а с позиции того, что вы когда в своей жизни принимаете решение вперед на десятилетия с точки зрения ваших профессий, с точки зрения рекомендаций, чем вам заниматься, с точки зрения обсуждения этого профессионального себя на работе, с точки зрения взаимодействия со своими детьми, родителями и коллегами, с точки зрения своего собственного состояния, ощущения где-то нехватки знания или, наоборот, бесконечного участия в гонке, бесконечного какого-то желания заработать деньги или, наоборот, на это не обращать внимания.
Своим собственным состоянием понимать все же, а что это такое, этот искусственный интеллект? Хотя бы хоть чуть-чуть понимать. И это дает невероятно сильную возможность развития современного человека. И ни в коем случае это не значит, что вы выбрали сторону искусственного интеллекта, но вы, по крайней мере, проявляете свою настоящую собственную осознанность для того, чтобы понимать, что происходит. Вы были на канале ToTheMoon. Пишите свои комментарии касательно сегодняшней темы. Увидимся с вами в следующем выпуске. Всем пока.