Всем привет! Значит, смотрите, исследователь Anthropic увольняется и говорит, что его коллеги всерьёз допускают гибель человечества до конца десятилетия. Ещё раз, это в Anthropic происходит. И при этом он, конечно, говорит, что все супер продолжают развивать искусственный интеллект. И про OpenAI рассказывает. И вот мы с вами выбираем профессию, строим планы на годы вперёд, советуем детям, где учиться, ездим в какие-то разные поездки. И на что мы опираемся в этих решениях, если сами до конца не понимаем, что происходит с искусственным интеллектом?
Есть другая сторона. Учёные спорят о том, ради чего развивает искусственный интеллект. А сама Anthropic сообщает о пяти подозрительных случаях использования Claude в биологических исследованиях. Это преувеличение? Или какой-то маркетинговый ход? Или на самом деле это сигналы, которые мы недооцениваем? Сегодня с вами это очень серьёзно обсудим. Сегодня я хочу поднять тему безопасности жизни вообще человека и угрозе человечеству от искусственного интеллекта. И эта дискуссия, она очень специфическая вообще.
Но в последней, даже недавно кто-то в комментариях написал обязательно эту тему обсудить. Прямо она имеет большое значение. При этом те вещи, которые сейчас произошли за последнюю неделю, я думаю, что есть смысл эту тему поднять и нам всем с вами поразмышлять про угрозу искусственного интеллекта для человечества. И такие разные три стороны будем сегодня с вами разбирать. Вот эта интересная тема, которая возникла с сотрудником-исследователем Anthropic, который в Anthropic проработал какое-то время, не сверхбольшое, да, это 27-летний британский исследователь Джейкоб Коксон.
Он изначально вообще работал в OpenAI и с 2023 года он работал в OpenAI, то есть не с основания компании, участвовал в разработке модели 4o. Если кто-то такую помнит, я думаю, что многие здесь на канале у нас помнят это. И 4o помните, да, какое-то было, ну прямо это было очень сильное впечатление и насколько сейчас модели ушли вообще вперед. Вот он, значит, разрабатывал 4o, и потом он в 2026 году перешел в Anthropic, и тут что произошло? Он перешел в Anthropic, казалось бы, вроде незначимый, какой-то молодой исследователь перешел в Anthropic.
И тут он увольняется и говорит о том, что он считает, что компания OpenAI и компания Anthropic безответственно приближаются к созданию самоулучшающегося искусственного сверхинтеллекта. Кстати, важно, что он использует, говорит про сверхинтеллект понятия. И он ожидает, что системы, превосходящие человека в исследовании, взломе компьютеров и получении реальных ресурсов и влияния, очень опасны для человека. И это возможности будущего искусственного интеллекта. И интересная история, что, по его словам, сотрудники Anthropic всерьез допускают гибель человечества до конца десятилетия.
Еще раз, услышьте, это очень важная история, что сотрудники, по его словам, опять же, по словам этого молодого исследователя, 27 лет, молодой, не молодой, ну, это на самом деле можно быть очень серьезным исследователем. Я его лично не знаю, не знаком, не знаком там с его трудами, но 27 лет можно быть уже неплохо развитым человеком. И он говорит, что сотрудники компании допускают гибель человечества до конца десятилетия. Но, конечно, публично они об этом не высказываются, и он считает этот риск беспрецедентным среди человеческих знаний.
У него есть такой некоторый комментарий внутри, а сейчас я о нем расскажу, а прежде чем я о нем расскажу, еще раз, то есть с одной стороны мы идем, и что он сказал про OpenAI, расскажу. Но с одной стороны, смотрите, он ожидает, что системы будут превосходить человека в исследованиях, а тут параллельно выходит, значит, новая информация о том, что искусственный интеллект не способен заниматься наукой. И что это такое? Это было обращение, подписанное 25 лауреатами медали Филдса, и очень известное, значит, математическое, если можно так называть, сообщество.
И это группа ведущих математиков, там был Концевич, Шольц, Тао, Окунькова, Андрея Окунькова, то есть Андрея Окунькова присутствовала там тоже подпись внутри. И суть их позиции какая была, что для компании, получается, что если есть OpenAI и Anthropic, для компании решение какой-то знаменитой задачи, мы вспомним, мы вот недавно рассказывали у нас в выпуске, несколько дней назад, посмотрите, кто не смотрел, «Воскресенье» с Ильнаром, о том, что OpenAI решил математическую задачу по сути столетия, да, и за которую даже приз был объявлен, миллион долларов.
Ну, решил, это по их мнению он решил, сейчас мы увидим до конца, примет ли это математическое сообщество, но это тоже большой вопрос, примут, не примут, да. И, соответственно, вот эти математики, они говорят, что компания, она для решения знаменитой задачи, это демонстрация возможностей моделей, что, собственно, OpenAI сделала. Выпустили GPT-6 Astra и сказали, что мы с помощью GPT-6 Astra решили сверхматематическую задачу. А для науки важны также новые методы, а там объяснение результата, связь с предыдущими исследованиями, и что для науки критически важно, чтобы как бы все вместе развивалось параллельно.
Развивались какие-то институты, развивались параллельно люди, подготавливались эти люди, как бы все происходило движение, не просто какая-то задача решалась. Это вот как эти высказывания, что до сих пор искусственный интеллект не достиг AGI, потому что AGI это типа сверхчеловек, но давайте так по-честному, текущая модель искусственного интеллекта умнее любого абсолютно человека, любого человека умнее. Понятно, что есть какие-то особенности внутри нюанса, но они очевидно умнее любого человека, могут сделать больше любого человека и так далее и тому подобное.
И значит, вот это сообщество математическое, они опасаются, что первое, вот это вот просто показать результат маркетинговый, начинает вытеснять вот эту как бы цель научного сообщества. И понятно, что они не высказываются на то, чтобы блокировать искусственный интеллект, но они, значит, вот это их как бы коллективное предупреждение, профессиональная их некоторая позиция. Я вот большим вопросом сейчас стою, вот вы по таким вопросам стоите. Это высказывание, это страх этих исследователей, что искусственный интеллект их заменит, это страх неуправляемости искусственного интеллекта, это очень важно, неуправляемость и непонимание искусственного интеллекта.
Или это факт, это данность, то есть они видят какую-то цепочку каких-то развивающихся событий. Но мы с вами понимаем, что появление искусственного интеллекта в текущей форме, которая есть, не форме, которая есть там в фантастических фильмах, а в текущей форме, все же появление данного интеллекта, оно изменит вообще всю цепочку причин и следствия принятия разных решений и всего остального. Ну, не всю, но огромное количество цепочек изменит. Например, в частности, я сниму на это отдельный выпуск, но как будут исчезать, например, многие агрегаторы.
То есть, например, для меня агрегаторы, которые имели рейтинг ресторанов, по сути, на сегодняшний день практически не представляют какой-либо необходимости. То есть, хоп, прослойка ушла. Или ряд агрегаторов бронирования гостиниц для меня начинает постепенно исчезать. То есть, мне эти агрегаторы становятся нужны, по сути, для того, чтобы посмотреть разные цены. И то большой вопрос, нужны ли они, потому что ChatGPT мне точно может дополнительно посмотреть разные цены. И вот эта вот история, она имеет, конечно, феноменальное значение про изменение процессов.
И вопрос вот этой группы ученых, математиков, они вообще про что конкретно говорят. То есть, конечно же, позиция этой изменится. И тут возвращаемся назад к сотруднику Anthropic, к Джейкобу Коксону. И еще раз вспоминаем, что он ожидает системы, которые будут превосходить человека в исследованиях, взломе компьютеров, получение реальных ресурсов, влияние. Кстати, буквально дней 10 назад, наверное, я снимал выпуск про новое исследование от OpenAI, касательно того, как их сотрудники-исследователи, аналитики разные используют системы, сколько они на них тратят деньги.
Посмотрите, это очень интересная вещь, там по 600 долларов в день сотрудник в среднем тратит, есть сотрудники, которые по 7 тысяч в день тратят. Это и есть смысл вообще понять, что происходит с точки зрения изменения процессов работы. Но, очевидно, научное сообщество в мире будет переживать большие проблемы. И там же своя мафия в том числе. То есть есть адекватности, а есть мафия. И сейчас получается огромное количество других людей вне этой мафии получают возможности внутри этой системы создавать что-то новое.
Это не значит, что все получат возможности, но многие получают. Есть огромное количество там еще дискуссий разных на тему, что делает искусственный интеллект, на каких он учится данных и так далее. Посмотрите еще раз тоже, в том числе выпуск «Воскресенье», который был. Значит, что говорит Джейкоб Коксон по поводу OpenAI? Он говорит, что в OpenAI, по его оценке, многие сотрудники недостаточно осознали масштаб риска, в отличие от Anthropic. То есть он говорит, что в Anthropic осознали очень серьезно и считают необходимым опередить, при этом они считают необходимым опередить каких-то ответственных конкурентов.
История, кстати, про конкуренцию она очень интересная, потому что в Конституции Anthropic снимал я несколько месяцев назад про это, может 3-4, не помню уже. И то, что говорит Дарио Амодей с точки зрения его трансляции, идеи, он постоянно говорит, и, кстати, его мнение в этом плане расходится с точки зрения конкуренции с Дженсеном Хуангом, это главой NVIDIA. В частности, как взаимодействовать с Китаем, да, то есть и у Anthropic очень много есть конструкций, при которых они не хотели бы создать модель, которая слишком быстро бы получила бы собственный ресурс вообще управления человечеством условно и не зависела от человека.
При этом они не хотят отстать от тех компаний, которые это создадут первее, да, то есть он хочет некоторое сбалансированное движение. Мне кажется, что в текущей системе сбалансированного движения не будет, по моему мнению, да. Оно не может по факту быть, потому что если вы создали искусственный интеллект или сверхинтеллект, да, или достигли вот этой технологической сингулярности, да, еще лучше туда дальше. Тоже, кстати, выпуск про это снимал, посмотрите на канале. Достигли этого эффекта, и, кстати, Сэм Альтман считает, что у него свое описание технологической сингулярности, что она уже достигнута, то я лично считаю, что вы не сможете контролировать технологическую сингулярность.
То есть технологическая сингулярность будет контролировать вас и будет контролировать сама себя, но ни в коем случае не вы как человек, не человек сможет этим управлять. Ну, опять же, это мое некоторое мнение. И Дарио Амодей, он идет в некотором таком, в нейтральности в некоторой. То есть, с одной стороны, имеется нейтральную позицию, очень спокойную, с другой стороны, имеется некоторую агрессивную позицию относительно взаимодействия и работы с учетом Китая, да. Как мы знаем, в отличие от американских компаний, которые еще максимально показывают, что они делают, делятся этим, всему миру дают возможность с этим взаимодействовать и работать.
Кстати, кто бы что ни говорил, обратите внимание, Америка совсем делится технологиями. Они все же доступны в мире. Можно на эту тему опять же дискутировать. Интересно, что вы в комментариях напишите, вы считаете это позитивный эффект или вы считаете негативный эффект и такой некоторый захват американской средой, американским правительством, власти или американскими какими-то структурами, корпорациями. Выскажите свое мнение, очень интересно. То китайские модели и китайское правительство, конечно, не будет никогда делиться серьезными моделями.
Оно будет, не то, что оно их будет ограничивать развитием, оно не будет их ограничивать развитие. И они заинтересованы в том, чтобы эти модели использовать в своих собственных интересах. И какого у них уровня на сегодняшний день моделей, мы не знаем. Я не думаю, что этот уровень превышает уровень GPT-6 Astra, но явно у PNA есть что-то лучше Astra или превышает Fable или Mythos. Это семейство Mythos моделей, да, кибербезопасности. Ну, безопасности вообще. И я не думаю, что у них есть что-то лучшее, но они точно нам об этом не будут рассказывать, и мы об этом будем узнавать постфактум, да, когда китайские спецслужбы или китайские правительства или китайские корпорации это будут использовать очень широко, да, и в своих собственных интересах внутри.
Значит, с точки зрения этого сотрудника Anthropic, опять к нему вернемся, он возражает против того, чтобы частные компании самостоятельно решали вопросы, потенциально определяющие судьбу человечества. Я еще раз напомню, что в его вообще в целом в описании конструкции, что может быть большая проблема для человечества уже в это десятилетие. Я вам вспомню еще раз Илона Маска, который несколько лет назад говорил о том, что, ну, есть вероятность, там, 10-20 процентов, по-моему, у него такие числа были, мои редактора меня подправят, что вам выведут другую информацию, о том, что с искусственным интеллектом будут проблемы, да, и действительно, гарантированно, гарантированно, вот это очень важно, да, гарантированно, мы должны все резонно понимать на сегодняшний день, И поэтому я этот вопрос поднимаю, что, по моему мнению, проценты, это не доли процентов, и это не проценты, да, я думаю, что это десятки процентов, когда искусственный интеллект может нанести огромный вред большим слоям населения, государств, экономик и всего остального.
И здесь интересный факт, что, по сути, вред обсуждается базово здесь, как некоторая история, при которой искусственный интеллект захватывает полный контроль над человеком, и, значит, невероятно, что-то делает. Но я бы рассмотрел еще другую историю вреда, все же то, что сейчас происходит, даже при простых речах развития искусственного интеллекта, вот при текущих, да, мы уже не говоря про технологическую сингулярность, или про AGI, или ASI, да. Я хочу сказать, что текущий искусственный интеллект, он, очевидно, может нанести вред, потому что те процессы, которые происходят, причины и следствия разные, которые происходят, они уже вне контроля кого-либо, да, те законы, которые будет принимать государство, про что будут рассказывать политики, про то, что будут говорить владельцы разных компаний, самые умные люди там любят это, вот этот человек стоял на заре искусственного интеллекта, этот человек еще что-то создал.
Я хочу сказать, что все они ошибаются, да, очень часто, и мы это видим, и они ошибаются не то, чтобы там на доле процентов, они ошибаются на десятки процентов, и поэтому огромное количество пространств от этого отстает, и население мира вообще где-то стоит вдалеке, и не понимает вообще, что происходит, это видно по достаточно развитым людям, то есть у меня огромное количество очень развитых знакомых, они на самом деле вообще не разбираются в искусственном интеллекте, да, и даже те, которые говорят, что они разбираются, или умеют что-то спрашивать, Это какая-то микро просто процедура использования, то есть это просто мелочь такая, просто некоторая вспышка.
Когда ты как говоришь, что умеешь разбираешься в саду и в цветах, в огородах, умею просто их поливать. Большинство мира даже, которое говорит про искусственный интеллект, это умение некоторое поливать, а на самом деле это все равно маленький кусочек воронки, потому что основная масса людей, конечно же, они вообще не знают, они используют систему искусственного интеллекта просто как какой-то вопрос-ответ. Это фундаментально так, это базово так, мы должны все это понимать. Вернувшись к, для того, что вернуться к Коксону, значит и там есть очень интересные аспекты про то, что все же Anthropic не экономит на безопасности и мы все с вами вспомним, что Anthropic объявлял, что им приходится на текущую безопасность тратить чуть ли не 20% бюджета вообще, который у них есть на вычислительных, всего там условно, всех вычислительных мощностей, я не знаю, это бюджеты всей корпорации или вычислительных мощностей, которые у них есть, но это очень серьезные деньги.
И я, судя по их высказываниям, их по их политикам и по описанию их и конституции, философии, документов, они хотят, чтобы такого не произошло. И, наверное, внутри люди, которые это создают, они бы все же не хотели бы, чтобы произошел такой момент, хотя я думаю, что всегда есть люди, которые хотели бы создать какой-то непонятный разум. Но еще раз, само движение, вот вспомним миссию OpenAI, OpenAI изначально шла к тому, чтобы создать AGI. Ну понятно, что у нее там была миссия создать свободный, открытый искусственный интеллект, но базово создать AGI, создать сверхинтеллект.
Но как только вы создаете сверхискусственный интеллект, у вас уже становится вне контроля. И здесь я для продолжения хочу вам такой очень интересный кейс привести, который касается Anthropic и биологического оружия. Значит, Anthropic буквально несколько дней назад сообщил о том, что было пять подозрительных эпизодов использования Claude в биологических исследованиях. Значит, важно, что компания не утверждает, что она доказала намерение в учетах создать оружие. Но если честно сказать, когда ты сидишь и читаешь про эти вирусы и про эти кейсы, некоторые кейсы как бы показали, ты понимаешь, какое количество людей в мире пытается сделать невероятные вещи.
То есть мы все с вами понимаем, что и GPT-6 Astra, и системы Fable, они блокируются, если вы придете. И нет таких дурацких примеров, когда человек приходит и говорит, я хочу создать ядерное оружие. Эти все системы, понятно, что они заблокированы давно, вообще огромное количество лет назад. Но представьте себе, когда какая-то корпорация купила 10 тысяч доступов и в разных местах вообще, не пересекающихся, и в этих 10 тысячах доступов начинает создавать что-то маленькими кусочками, цепочками независимо.
И независимо развивают определенные линии, а потом в какой-то момент времени их же какие-то ученые или их люди думают о том, как это соединить. Или используют какие-то открытые модели, или свои собственные модели для того, чтобы это сделать. Кто эти люди и почему вообще их заподозрили? Значит, вот эта, кстати, группа, к которой относится вирус оспы, например, Claude Opus 5, примерно за час помог подготовить заявку на исследование взаимодействия вируса с иммунной защитой. Изучение этих механизмов может служить противоположным целям.
То есть ты говоришь, что ты подготавливаешь заявку, ты хочешь исследовать что-то, а потом оказывается, что ты военный в какой-то определенной лаборатории. Вот имена учреждений и страны в биологическом разделе не раскрыты. Сообщается об исследователях из регионов, где Anthropic не предоставляет сервис, потому что есть регионы в мире, где Anthropic не предоставляет. Мы, возможно, его сейчас выведем и покажем. Если наши редакторы подготовят, я извиняюсь, что я на них периодически ссылаюсь, но если моя команда подготовит, успеет сделать, успеет.
У нас много выпусков уходит. Вы об этом знаете, кстати, поддержите нашу команду, поддержите нас, меня, наш канал ToTheMoon. Уже невероятное количество выпусков, больше 160 выпусков. Мы выходим 3-4 раза в неделю сейчас и стараемся для вас давать супер качественного контента. Любой лайк, поддержка, комментарий, пересылка нас, вашим друзьям, подписка дает нам. Это то, что единственное в YouTube дает нам продвижение, что бы вы ни написали, что бы вы ни сделали, поэтому подержите.
Значит, и они говорили еще о том, что там были связи, части исследований с государственными структурами. И поэтому, например, приписывать эти 5 случаев конкретно, не знаю, запрещенным странам, где запрещен Anthropic, не знаю, там Ирану, Китаю или Россию, на основании этой публикации ни в коем случае нельзя. Подозрение вызвало совокупность различных обстоятельств, там характер исследований, какие-то связи, которые внутри появлялись, разных, не знаю, институтов или корпораций, попытки скрыть, получить доступ к моделям в обход различных ограничений и так далее.
Значит, при этом, опять же, например, если вдруг есть какая-то компания, у которой есть государственное финансирование или там, не знаю, какая-нибудь потенциально опасную тему они используют, это не значит, еще раз, что не доказывают, что эта компания хочет создать, например, разработать какое-то оружие или там у них, она преследует какую-то медицинскую или военную цель, да, мы должны с вами это прекрасно понимать, да, только здесь они в открытую это не написали, потому что действительно люди могут исследованиями заниматься и я часто вам приводил пример, когда как-то мы шли на улице с моей женой и она говорит, слушай, а как вот молодежь в США употребляет наркотики?
Она пишет, а как молодежь в США употребляет наркотики? И ChatGPT отвечает, дальше пишет, если у вас проблемы с наркотиками, вот вам телефон, я говорю, Полина, слушай, нельзя так задавать вопрос в ChatGPT, надо написать. Я вот тут статью недавно увидел, новость, значит, о том, что люди употребляют наркотики, вот можешь мне сказать, как их употребляют в таких-то странах, сравни мне таблицу, и он это выдает и не говорит мне о том, что может быть у меня проблема, да, я говорю, а так тебе галочку систему может поставить, то есть вот примеры, как правильно задавать вопросы, и кстати, это тоже важная история, потому что системы действительно, они заинтересованы в том, чтобы не навредить ни обществу, ни вам как человеку, да, и особенно несовершеннолетнему человеку или человеку, у которого есть какие-то сложности восприятия информации, какие-то расстройства у него есть, эти системы максимально стараются, чтобы этого не произошло, потому что разных же могут вещи быть вообще в жизни, и человек может что-то, и мы знаем огромное количество случаев в сегодняшний день в мире, где искусственный интеллект приводит человек к трагедиям, к различным, но опять же, это не искусственный интеллект приводит к трагедиям, можно прочитать невероятное количество книг, фильмов, пересмотреть, которые ровно так же приведут к трагедиям, да.
Значит, что значит вот в этих случаях по поводу разработки биологического оружия Anthropic помешала. Это значит, что компания блокировала аккаунты, которые там были, и, кстати, заблокировали очень много аккаунтов, усиливала защиту своих собственных сервисов, и мы дальше, например, с этим ограничением можем сталкиваться, и там в каких-то соответствующих случаях передавала информацию властям или, например, другим разработчикам. И есть, кстати, в мире очень интересные кейсы, где предотвращали разные угрозы даже в других странах, например, когда OpenAI в Южной Америке передавала данные для предотвращения, например, определенных убийств и определенных угроз, прямо работала вместе с властями, да.
Значит, то есть прежде всего Anthropic пресекала доступ к своему сервису, а не физическая остановка там лаборатории и так далее, что она, соответственно, сделалась и не может во многих странах. Значит, существенная деталь, что в первом эпизоде посредник восстановил доступ уже через несколько дней после блокировки. Это Anthropic и заметила, да, Anthropic позднее увидела материалы, указывающие на продолжение вот этих вот исследований, то есть она, обратите внимание, насколько там система работает, что они могут эту информацию связать между собой, да, и поэтому формулировку остановила создание оружия, как бы нельзя считать установленным результатом, да.
Значит, почему компания вообще считала это очень серьезно, то есть она заявляла, что ее прежние модели не достигали уровня, ну, конечно же, здесь Anthropic уже говорит про модели уровня Mythos, сам Mythos не выдается, а бы кому, да, то есть все же компании использовали там уровень Fable, возможно, Opus 5, но, скорее всего, о Fable сейчас идет речь. Соответственно, предыдущие модели, они не позволяли, у них не было возможности, по сути, настолько серьезно помогать в биологических исследованиях, хотя меня это немножко смущает, потому что, мне кажется, год назад или полтора года назад и Open AI, и Anthropic также боролись с людьми, которые создавали биологическое, например, оружие, или вообще какое-то оружие, или занимались преступлениями в киберпространстве.
Это уже происходило, да, то есть в отношениях новых моделей у Anthropic нет уверенности, что эти модели управляемые, и поэтому ограничения на чувствительные биологические запросы стали строже, это как бы оценка вот риска этой компании, да, внутри. Очень интересная история, мне кажется, крайне серьезная история. Кстати, вот вирус Чикунгунья, там интересно было комментарий Anthropic, почему я вам решил это, кстати, рассказать, это сейчас сказать из-за этого комментария, что ученые пытались получить помощь в подготовке заявки на финансирование исследований, потенциально повышающих опасность вируса.
А дополнительную тревогу, что вызвало у Anthropic, что работу предполагалось выполнять в военном исследовательском институте, да. Ну и вот тут ты такой, что же произошло. Смотрите, разные зоны такие, но они позволяют, мне кажется, чуть шире посмотреть на все происходящее. То есть вот эти математики, которые говорят про то, что искусственный интеллект как бы не может вообще наукой двигать, да. И тут параллельно мы видим заявление о том, что вообще человечеству, у человечества может быть в десятках проблем вопроса.
И я в этом плане, конечно, не поддерживаю научное сообщество, вот именно в такой формулировке, потому что действительно есть вопросы, которые касаются вне математики. Я вообще считаю, что есть вопросы, которые касаются личного человека, да. И все же искусственный интеллект будет лучше и больше людям иметь сегодня возможность помогать в себе в здоровье, в медицине, в том числе в разных исследованиях. И я глубоко убежден в науке, да. Но рынок будет меняться, да. И у огромного количества людей будут вопросы.
И рынок станет по-другому контролируемым. Надо будет писать огромное количество других законов. То есть будет возникать очень много всего. Значит, вообще в целом, что означает то, что Коксон раз говорил про самоулучшающийся сверхинтеллект, интеллект, и с точки зрения вообще его претензий. То есть у него есть претензия к самой гонке вообще, которая на сегодняшний день стоит. И мы с вами знаем, что Anthropic готовится к IPO. И это может быть одно из самых дорогих IPO, которое когда-либо в истории человека происходило.
Там явно оценка уже будет больше двух триллионов долларов. И его претензия, которая есть, он ожидает, что необходимость оставаться конкурентоспособной компанию. Особенно представьте, что на IPO вышло, там уже надо акциями, чтобы они не падали, чтобы они росли. То есть ей придется идти на опасный компромисс. Вот если говорить про опасение Коксона, его можно представить по сути в такой последовательности, что искусственный интеллект проводит исследования в области искусственного интеллекта.
Я часто вам эту последовательность показывал, мне кажется. Я часто еще начал с июня, когда Anthropic представила, что у них есть модели, которые уже сами полностью разрабатывают системы и человеком не соприкасаются. Искусственный интеллект провел исследование в области искусственного интеллекта. Дальше он помогает создавать более сильную модель. Новая модель еще быстрее проводит исследования. И развитие ускоряется. И он опасается, что этот процесс начнет опережать способность людей понимать и контролировать создаваемые системы.
То есть важно понимать, что сверхискусственный интеллект здесь. Это не просто хороший собеседник или программа успешная, которая, не знаю, сдает экзамены, или помогает вам изучать язык какой-то, или успешно вам сделала какую-то покупку, или выбрала правильный отель, или написала, сделала вам сайт, или написала какую-то программу. То есть это система существенная, которая превосходит человека и группы людей, по сути страны, по интеллектуальным возможностям. И поэтому вот это согласование поведения искусственного интеллекта с человеческими намерениями и ограничениями, то есть это как история выравнивания нейтральности некоторой, как обеспечить, чтобы более способная система действительно выполняла нужную задачу безопасным способом.
Это задача, кстати, которая отдельная техническая проблема, которую OpenAI сама описывала в 2023 году. И я, конечно... Кстати, Коксон описывает еще в своем последнем сообщении, он описывает, упоминает обучение с подкреплением, есть такое понятие, я напомню, что OpenAI недавно останавливала, я не знаю, не продолжил ли или нет, обучение с подкреплением в своих последних моделях, при котором определенные результаты получают вознаграждение, соответствующее поведение закрепляется, да.
То есть модель... Это такое очень сильное движение вперед самой модели, да. Проблема в том, что модель может научиться получать высокую оценку не за правильное решение, за обход проверки, по сути. И вот такие случаи, опять же, были описаны в техническом отчете OpenAI. И тема невероятно интересная. Когда я говорю невероятно интересная, это не значит, что это значит какая-то позитивная у меня эмоция или какая-то позитивная кайфушка, но о ней стоит задуматься и стоит ее очень широко рассмотреть.
А для чего ее рассматривать вам? А ее надо рассмотреть не с позиции того, что там мир рушится или не рушится, вообще не с этой, а с позиции того, что вы, когда в своей жизни принимаете решение вперед на десятилетие с точки зрения ваших профессий, с точки зрения рекомендаций, чем вам заниматься, с точки зрения обсуждения этого профессионального себя на работе, с точки зрения взаимодействия со своими детьми, родителями и коллегами, с точки зрения своего собственного состояния, ощущения где-то нехватки знания или наоборот бесконечного участия в гонке, бесконечного желания заработать деньги или наоборот на это не обращать внимания, своим собственным состоянием, понимать все же, а что это такое этот искусственный интеллект, хотя бы хоть чуть-чуть понимать.
И это дает невероятно сильную возможность развития современного человека. И ни в коем случае это не значит, что выбрали сторону искусственного материала. Но вы, по крайней мере, проявляете свою настоящую собственную осознанность для того, чтобы понимать, что происходит. Вы были на канале ToTheMoon. Пишите свои комментарии касательно сегодняшней темы. Увидимся с вами в следующем выпуске. Всем пока.