Всем привет! Мы на канале To the Moon., раз в неделю технологические новости, из Кремниевой долины и из мира. Там десятки миллиардов долларов за то, чтобы, был у них промоушен. И, значит, тут Верховный суд сказал: так делать нельзя.
LLM-ки галлюцинируют всегда. Просто сейчас достаточно часто попадают в истину.
Я не вижу, ну, какой-то-- какого-то большого функционала в нём. Такие, очень банальные советы, что мне кажется, его сложно использовать.
Интересно, что Трамп на-- несколько дней назад на интервью с Маском сказал, что нам для ИИ в стране надо в два раза больше электричества.
Опять, значит, в OpenAI, кто-то ушёл, кто-то пришёл. На это надо, надо обращать внимание обычным людям или нет? Или ничего не изменится от того, что один человек, покинул компанию, которую один из основателей , иии, один человек взял длительный отпуск? Или это просто люди решили отдохнуть или заняться другим бизнесом?
Для меня это выглядит так, чтооо, OpenAI — это не такой теперь уже безусловный лидер, заработков, как в, в, в-в-- котором надо было бы держаться. Да, то есть если бы им оставалось там три-четыре шага до AGI или до каких-то прорывов, или ещё для чего-то, я думаю, что народ бы так массово всё-таки не уходил, да? Это в любом случае. Сначала там Суцкевер уходил. Сейчас вот, там главный продакт ушёл, ушёл кофаундер, один взял, sabbatical, да, кажется, это на английском языке у вас называется. Это когда до конца у-- года ушёл в, отпуск. Соответственно, просто говорит о том, что одна из компаний. Есть другие компании, в которых можно работать, можно развиваться и в научно-техническом направлении, и с точки зрения передовых продуктов. То есть для меня вот эти новости, они делают так, что OpenAI из, какого-то безусловного лидера превращается просто в одну из компаний.
По крайней мере, вот такие ощущения у меня при этом всём возникают.
На самом деле, с-с-сложно сказать, потому что, сложно понять, чем люди до конца рук-руководствуются, да? То есть, возможно, нету финанс-- то есть есть несколько причин., может быть, нету уже большого финансового апсайда, а может быть, на самом деле пошла вот такая вот, может быть, на самом деле уже плато с точки зрения технологий и уже не так и-интересно. Но меня больше всего удивило, что Джон Шульман — это один из кофаундеров и ведущий исследователь в области, reinforcement learning — что он ушёл в Anthropic. Вот это для меня очень удивительно. Я сейчас постараюсь объяснить., для тех, кто занимается reinforcement learning, в принципе, самый интересный вопрос состоит в том, что когда есть базовая модель, как создать такой, как бы environment, где эта модель может самоулучшаться, где у неё есть ре-- где у неё есть определённая награда за то, что она достигает задач. И исторически это очень сложно сделать. Ещё нету ни одной как бы-- э-это направление, оно ещё находится только в самом, в самом начале развития. И многие называют это направление автоматическим созданием данных, автоматической генерацией данных, потому что данные в интернете, которые есть уже сгенерированные, их все использовали ещё три года, два-три года назад, и это уже не даёт, это уже, и это уже так перевёрнутая страница, фактически., то, что Джон Шульман ушёл в Anthropic, наверное, говорит, ну, на мой взгляд, у Джона уже не существует мотивации денежной точно, ни в каком случае уже не существует денежная мотивация. Всё, он был, был кофаундером и то, что, то что он был кофаундером OpenAI с первых дней, и то, что он уходит в Anthropic сейчас, для меня это сигнал того, что Antr-Anthropic дальше всех продвинулся в reasoning. То есть Джон Шульман сравнил, наверное, все опции более-менее и понял, что у-- и, наверное, он-то как раз знает, что, что Anthropic дальше всех в reasoning продвинулся. Для меня это очень, очень си-сильный сигнал.
Да.
Но всё равно немножко странно, если говорить про OpenAI. Всё же это такой, да, серьёзный лидер. Явно у них есть, там в-внутри то, что мы не видим, достаточно сильные разработки. И в это время ещё раннее время для этой компании. Компания ещё находится, мне кажется, на очень ран-ранней стадии, да? Это такой чистый стартап ещё. Там при всех историях использования, при всём. Уходить из компании, если ты кофаундер и особенно сильный с-- , исследователь, инженер. Ну, такой... Может быть, просто поругался кто-то с кем-то, да, может быть, ещё что-то. Просто я не представляю, что, что это просто переход из-за интересных-
Чи-чисто говоря, вот насколько я понимаю это комьюнити, в комьюнити, как бы консенсус в том, что к 2030 году наступит AGI, и, наверное, они определяют AGI двумя способами.
Первое, что это система, которая сама себя улучшает. И вто-- и второе, что она в большинстве задач-- большинство задач делает лучше, чем почти все люди. Почти все задачи делает лучше, чем почти все люди. Иии у-- и у них, соответственно, остался только интерес в том, чтобы быть первыми, кто его создаст. Вот я, на самом деле, это слышал уже очень, очень часто. И потом возникает вопрос: если быть первым, кто его создаст, то быть То только бы определить, вот, всякие-- то, то определить всевозможные, механизмы для безопасности. То есть, у них, наверное, вот такой взгляд. Иии это слышу консистен-
Саша, откуда вот этот 2030 год? Откуда вот этот 2030 год?
А-а-м.
Ты говоришь: «Community 2030 год».
Да, да. Я предполагаю, что речь идёт про то, что нужно будет в 100 раз больше компьютера, чем в чат-- чем GPT-4 использовалось, потому что модели нужно будет как бы самой с собой много взаимодействовать. Потом будет сложнее, соответственно, отбирать качественные данные для тренировки иии потребуется модель в 100 раз-- потребуется в 100 раз больше компьютера. И это примерно два поколения, строительства дата-центров для этого.
Ты просто говоришь,
имею в виду, что в community обсуждают, что AGI делается.
Да.
Это всё же community обсуждает или это твоё, твоё сейчас предположение?
Нет, это точно community, это точно comm-- точно community.
Или community, или c-- или community стало обсуждать? А, community стало обсуждать уже новый срок — 2030 год.
До 2030 года точно. Да. То есть идея в том, что если GPT-4 было 25 тысяч H100, то построили сейчас на 100 тысяч H100 несколько кластеров, иии это примерно, ну, можно сказать, примерно, там, в шесть-восемь раз даёт больше компьютера., и это в шесть-восемь раз больше кластер, чем для тренировки GPT-4. Если им пользоваться, грубо говоря, не 100 дней, как тренировался GPT-4, а 300 дней, то есть почти год, тооо, можно получить примерно в 15-20 раз больше, ну, как бы мощностей, да? Вот на текущих кластерах. И на, на вот новом кластере, вот, например, который господин Маск строит в Т-Теннесси, ему нужно ещё следующее поколение для того, чтобы получить вот этот вот AGI. То есть 100 тысяч H100 будет недостаточно, скорее всего, нужно, там, 200 тысяч этих B-B200, вот которые выпускает NVIDIA. И вот это будет победой. И на самом деле, это не удиви-- и на самом деле, мне кажется, это не мои-- не то чтобы это даже мнение, узкого круга людей в Сан-Франциско, мне кажется, что CEO больших компаний согласны тоже. Они же все на earnings-- на недавних earnings call все заявили: иии Цукерберг, и Сатья Наделла, и Сундар Пичаи, что, они будут продолжать инвестировать, мы, наверное, говорим о многих миллиардах долларов в дата-центры., и они видят в-- и они видят это как самую большую возможность за десятилетия. И они всех-- они всем как бы дали понять, чтобы не ждали мгновенных результатов в течение года или двух лет. Они про это прямо все сказали, чтооо это делается не для сиюминутного возврата. То есть возврат на инвестиции в GPU, он будет, возможно, небыстрый.
Какой людям ожидать, э-э-э-- как вы думаете, какой людям ожидать, следующий прогресс?
, ну, такой сильный, но до AGI, до, вот, потому что всё же 2030 срок и AGI — это такая некоторая мифическая история. То есть она может как появиться раньше — не знаю, у меня есть ощущение — так она может вообще не появиться, по крайней мере, при нашей жизни., или люди на-- при ново-- новое какое-нибудь слово придумают, да? Потому что что такое AGI? Это же некоторая абстракция, всё равно. Ну, по крайней мере, звучит как некоторая абстракция. А что ожидать можно в ближайший, например, год? Вот за год видно, чтооо достаточно-
Видно, что достаточно сильно улучшили, улучшили системы, чат-ботов поиска, да? Прям очень сильно улучшили. Или мы будем в них, видеть, прямо сильное улучшение и изменения. Интересно, что Трамп на-- несколько дней назад на интервью с Маском сказал, что нам для ИИ в стране надо в два раза больше электричества, чем, сейчас есть, чем сейчас может производить вообще вся страна всего электричества. А, говорит, нам чисто для ИИ надо в два раза больше. Он Маску об этом сказал. Маск ему, кстати, никакого комментария на эту тему не сказал. Ну, сказал так, типа: «Ну да».
Вот. Иии он говорит: «Так как нам надо быть в борьбе вместе с Китаем, то электричества надо очень много». То есть совместно же с чипами то, что ты говоришь, надо это чипы уже произвести, надо, чтобы электричества этого было столько.
Да, электричество нужно, и нужно же, там используется специального типа каб-- ну, как бы специального с-с-си-- типа архитектуры дата-центров для того, чтобы эти видеокарты эффективно друг с другом соединялись. И для этого требуется большое количество физических работников., да, с этих всех, если смотреть с этой точки зрения, то мне кажется, Америка безнадежно отстает от Китая. А почему? Ууу-- потому что в Китае, наверное, сильно дешевле., мне кажется, Китай строит сильно больше ядерных энергостанций. Если я не ошибаюсь, то как раз до 2030 года у Китая будет больше ядерных энергостанций, чем у любой страны мира. Но это надо проверить.
Сейчас я спрошу ChatGPT, прав я или нет.
Если вот сейчас к тво-к твоему первому вопросу, который ты говорил, вот, а чего ждать в дальнейшем? Лично я, вот если про свои ожидания, то я в первую очередь я жду, что решился вопрос все-таки с галлюцинациями. Потому что, увеличение размера модели, да, оно не решает принципиально вопрос с тем, а как генерится ответ, да? Он тоже все равно проходит. Ну, даже есть такая, знаете, мысль, что, LLM-ки галлюцинируют всегда. Просто сейчас достаточно часто попадают в истину, но как бы, когда они галлюцинируют или когда они пишут правду, как мы это считаем, они работают по одному и тому же алгоритму, да? И вот принципиально этот вопрос если не решен, то все равно останется граница использования этих, технологий, да? И просто увеличение масштаба приведет к тому, что, ну, на-- для ответа на вопрос придется через большее количество вычислений больше потратить, ресурсов, там, электричества, еще чего-то, но, соответственно, результат все равно будет пока еще не стопроцентный, да? И хочется, чтобы вот этот вопрос решили. Если этот вопрос решится какой-то из компаний, то я думаю, что, конечно, это будет огромный прорыв даже без апскейлинга, да, без какого-то суперсущественного увеличения размеров моделей.
Ну, у нас интересно, там, в комментариях к этому видео люди писали, что из серии «LLM-ка галлюцинирует, а поиск выдает настоящие данные». И там один человек написал: «А кто вам сказал, что в поиске выдаются настоящие данные? Ведь поиск просто сделается по каким-то ресурсам, которые могут также выдавать абсолютный фейк». Ну, что, соответственно, часто и происходит.
Да, но здесь у меня есть point, чтооо поиск все равно берет данные с ресурсов. Понятно, что сейчас есть большое количество сайтов, где генерится контент с помощью LLM, и какие-то вот как бы галлюцинации просто проходят на один шаг больше. Но если мы говорим, что вот у нас поиск берет информацию с сайта, условно, там, производителя, с еще какого-то, то информация там — это все-таки информация, условно говоря, из первых уст, которая пришла. А когда мы говорим, что нам отвечает LLM-ка, то это что-то пропущенное через модель, через галлюцинации и так далее. И вот в этом смысле я чуть больше доверяю поиску, если все-таки он там из первоисточника берет информацию.
Получается, все зависит от, что к-- что конкретно за первоисточник. То есть если кто-то у себя на сайте сделал рейтинг, кино или рейтинг, не знаю, одежды или домов, то это так же,-
Каких-то моделей человека, да, да, да
...нежели чем реалистичн-- нежели, нежели чем просто взял и наобум. Мы тут вчера сидели, смотрели рейтинг университетов в США, иии я спрашивал через ChatGPT, и он выдает, и мне племянник мой говорит: «Слушай, это рейтинги разные есть». И я понимаю, что ChatGPT выдает что-то. Я говорю: «Опроси, возьми пять разных рейтингов и с них составь, там, какой-то список». Потому что получается, ты когда в поиске заходишь, но у тебя в поиске разные рейтинги в разное время разными агентствами сделаны, да, очень много разных деталей.
Ну что, Саш, ты посмотрел, пока мы тут рассуждаем про, то, как Китай захватит AI?
Да. То есть они значительно всех опережают и по количеству, и по мощности энергостанций. Я скинул в наш чат, информацию, чтобы можно было, чтобы можно было инфографику добавить.
Ну, это интересная вещь. То есть, по сути, мы видим, как мы с вами много обсуждали в выпусках, To the Moon про то, что у Китая появляются достаточно серьезные технологии с точки зрения, там, виз-видео-г-например, генерации, да? Ну, там, или работы с картинками. И, возможно, появится сейчас, в этом году или в следующем, не возможно, а гарантированно появятся новые модели. Вопрос: будут ли они доступны для-- как ChatGPT, тоже он же доступен не для всех стран, он же в некоторых странах себя ограничивает. Явно Китай что-то будет использовать исключительно внутри своей страны. Ну, и четко были новости и описания, что правительство вводит внутрь LLM-ок китайских, цензуру, да? И будет, внутри будет система, которая будет, цензурить все, что там, ну, по крайней мере, нести некоторую повестку. Да, то есть явно там LLM будет настроено. Хотя, по моему ощущению, зацензурено ChatGPT, все все равно зацензурено. Они же тоже цензурят. Они же говорят: «Мы, значит, ограничиваем данные, не выдаем, ну, какие-нибудь, не знаю... Как сделать бомбу. Ну, что правильно. Мне кажется, тоже правильно. А вот, одно и то же всё кажется кому-то. То есть кто-то создаёт некоторые, некоторые правила, что можно человеку предоставлять, что нет, в каком объёме можно предоставлять, ка-какой нет. И, по сути, каждый производитель это будет делать. Или страна будет выпускать свои какие-то законы иии, говорить: «А у нас можно вот так». Ну, соответственно, что сейчас происходит между Евросоюзом и, по-моему, по-моему, вообще чуть ли не всеми, да? И, у, XAI, и у OpenAI, и у Google, и у Apple, у всех с Евросоюзом вопросы. Особенно всё, что касается, использования, ну, особенно всё, что касается LLM, LLM.
Кстати, к-про Google. Значит, Google проиграл суд, достаточно огромный по поводу-- Верховный суд по поводу, монополии на поиск, да? И там интересная была цифра указана, что у них, там 90% рынка, да, если я не ошибаюсь. Не знаю, не знаю, кто из вас смотрел, не смотрел. 90% рынка. Ну, какая-то большая вообще цифра была указана. И, значительная. И о том, что, по сути, на этот рынок вообще никто не может войти, потому что они платят огромные деньги всем вокруг, даже Apple. Там десятки миллиардов долларов за то, чтобы, был у них промоушен. И, значит, тут Верховный суд сказал: «Так делать нельзя». И чуть ли не написано, что Google придется продать часть ак-- часть активов. Так а как они это будут делать вообще? , с учетом того, что они в AI очень сильно продвинулись. Когда? Вчера. Вчера, да, была конференция Google. По крайней мере, мы сейчас зап-- , на момент съемки этого выпуска вчера была конференция Google, и Google, опять сильно продвинулся. Он выпустил новый голос., он выпустил новый голос, причем достаточно прикольный, насколько, насколько, по крайней мере, я могу судить по описанию, хоть я там не сверхпользователь систем Google. Он выпустил новые, новую возможность работы с фотографиями.
Они прямо на презентации показали такой, на обычной камере VR. Не знаю, что это, что-то AR, VR, и изменение изображения, да? То есть они очень сильно двигаются., на что повлияет, вот-- И мы как раз с вами делали выпуск про то, что, ChatGPT сильно сейчас должен зайти в поиск. Ну, они, по крайней мере, это обещают. Мы никто не знаем, произойдет или нет. Но Google неплохие обновления делает, да? Про Chrome мы на прошлом-- прошлый раз говорили в прошлом выпуске. То, что они в Chrome сделали, сделали, по крайней мере, обновление или оно будет, вот. И сейчас они выпустили внутри на своих телефонах, и все вокруг говорят, что Pixel крутой телефон у Google.
Да, Pixel точно очень-- Pixel точно очень хороший телефон. Я впечатлен их работой в плане ге-- в плане и редактирования картинок, и видео. Это на самом деле очень интересно. Хотел про это поговорить немножко. То есть, вот почему-- вот я для себя объясняю, что TikTok, стал популярным потому что у них сошлись три фактора. Первое — активная работа селеб с креаторами, второе — монетизация для креаторов, третье — creative tools для креаторов. Они всё это сделали и creative tools для креаторов. Третий пункт — это именно то, что они сделали CapCut. CapCut становится всё более и более платным, всё больше и больше функционала переезжает под под-- под подписку. И для Google, на самом деле, это очень интересная возможность, как раз, релизить подобного рода, подобного рода фичи, да? То есть, на самом деле, вещь опять же про то, что generative AI и все эти AI-механизмы редактирования достаточно дорого, но есть компании, у которых огромная ком-
Есть компании, у которых огромное количество кэша и которые готовы инвестировать. Иии видно, чтооо Google это понимает и двигается активно. Что касается-- что касаемо и тренировки, что и касаемо как бы инференса, то есть внедрения конкретных решений для финального, для финального пользователя, для конечного пользователя. И это очень, здорово., мне кажется, что они итерируются быстрее, чем Apple. То есть я-- их сложно сравнивать с OpenAI, потому что у OpenAI другой релизный цикл. Когда захотели, тогда и показали, и так далее. То есть все-таки Google должен приходится делать свои собственные телефоны.
И, конечно, что видно, чтооо мы еще даже не понимаем, какие будут операторы и кто будет лидером, кто еще что будет делать. Мне кажется, этот год доказал. Вот если вспомнить год назад, как обсуждали, не было такого, там кто-то про Apple забыл, значит, еще что-то. Мы до конца не понимаем., видно, что, во-первых, все лидеры там присутствуют, все присутствуют. И в целом достаточно неплохо, по крайней мере, в том, что можно сделать, ну, то, что вот сейчас вот понятно, можно сделать. Понятно, что мы не обсуждаем AGI, вот. Иии появится ли новые какие-то операторы, я не знаю. Только если у какого-то суперкрупняка, и то вряд ли, там, сможет, не знаю, Amazon что-то свое сделает или нет. То есть у них по-- у них там что-то появилось. Я, кстати, так и не пользуюсь. Мы вот с Таней как раз обсуждали тогда, что в Amazon в США появилось, доступен, по крайней мере, их AI. Я его не использую. Таня, ты его используешь?
Я не вижу, ну, какой-то, какого-то большого функционала в нем. Такие очень банальные советы, что мне кажется, его сложно не использовать.
Ну, то есть все равно получается, продол-продолжаешь использовать, свою какую-то систему. Неважно, кто что использует отдельно. Там, не знаю, я использую ChatGPT, да. Я продолжаю его использовать для того, чтобы, в Amazon находить, ну, разбираться в каких-то продуктах или позициях, или какой-то поиск мне делать бывает уникальных вещей, когда ты не знаешь, что найти. Вот мне надо было недавно, у меня тут есть несколько баскетбольных колец, и мне надо было для одного баскетбольного кольца крючки определенные найти, да. Я их не мог просто найти этого производителя, а потом я ему там, я в ChatGPT уже все фотографии переслал, там, щита, столба, там, всего. И он мне говорит: "Так у вас, оказывается, собранная конструкция, там, такая-то, такая-то". И он мне нашел. Нашел. По крайней мере, я смог с помощью ChatGPT это определить, найти и понять, что мне надо менять, все кольцо, потому чтооо оно уже не производится. Вот. Ну, часть, да, не весь там, не всю конструкцию, ч-часть. Но не только с там, то, что у меня сетка обрывается. Вот. Это, пока инструментарии внутри, в Amazon, конечно, этого нет.
Ну да, для меня в Amazon пока что самое такое reliable — это отзывы и фотографии, поскольку я больше с визуалом работаю. То есть, не знаю, я смотрю на отзывы реальных людей. Единственное, что помогает, что когда в начале описания он делает такой как summary того, что как бы люди говорят, вот это вот хорошо, вот это плохо. Но это такое тоже сгенерировано AI. А так не могу сказать, что это супер.
Ну, может быть, они с помощью, да, может быть, они с помощью этого смогут более круто делать рейтинги.
Мне кажется, одна из ва-- из важнейших историй в маркетплейсах — это способность более качественно делать рейтинги. Иии потому что рейтинг, невероятно важн-важен и необходим. И в Amazon все же ре-рейтинг покааа очень специфи-- вообще, вот это вот число и звездочки — это очень тяжелая история в рейтингах. Я когда-то занимался достаточно сильно системой рейтингов и визуализации этих рейтингов. Иии изначально меня натолкнул, помню, у меня был партнер Андрей Рогачев, и он меня натолкнул посмотреть "Черное зеркало", по-моему, сезон три, первая серия. И там показывается вот рейтинг будущего.
Возможна опасность-
И вот этот рейтинг будущего, он-
Преследование-
Неплохую дает структуру и понимание вообще всего происходящего, да. Я помню, вот мы много изучали, как можно создать настоящий такой суперкрутой рейтинг. Мы, Ильнар, с тобой, мне кажется, тоже, да, эту тему много прорабатывали, да, по поводу рейтинга. Вот мне кажется, в Amazon, LLM, LLM системы, и такая функциональность, она может, конечно, очень сильно улучшить. Ну вот ты, Таня, хорошо сказала, да, рейтинг. Даже не просто описание дать, а как-то более четко человеку давать какое-то значение, число или, может быть, какой-то набор параметров, по ко-которым можно принимать решение. Это все же товар., адекватно лично тебе покупать, лично тебе адекватно покупать или нет. Потому что чт-- Да, потому что получается, чтооо очень сильно, зависит. Это как бывает, идешь в ресторан, у него крутой рейтинг, суперкрутой, ааа мне там не нравится. Я понимаю просто, что в этот ресторан ходит определенная к-когорта людей, к которой я просто не отнош-- ну, к которой я не нахожусь. И то, что мне понравится, этим людям тоже, ну, скорее всего, то, что мне обычно в еде нравится, большому количеству людей не понравится. Всем спасибо большое., у нас классный выпуск., кстати, в прошлом выпуске для зрителей мы, у нас была такая очень интересная дискуссия, особенно направленная на такую связь, что будет происходить с технологическим рынком с учетом изменений в структуре власти, особенно, ну, а на это очень сильно влияет в США президентские выборы., и вообще много очень сейчас законов разных происходит, меняется. Так что если вдруг не смотрели, обязательно посмотрите этот выпуск, и увидимся ровно через неделю на нашем канале в воскресенье. Ребят, спасибо большое. Нас всегда здесь четыре человека. Всем пока!