К содержанию
Транскрипт

Транскрипт · 033 · «Вы мешаете нашему обществу». ИИ от Google пожелал смерти человеку и сделал это Очень оригинально — ToTheMoon

Полная расшифровка. Таймкоды открывают соответствующий момент видео.

К странице выпуска
00:00:00–00:01:45Добро пожаловать на канал To The Moon: Новости IT мира
Александр Волчек00:00:00

Всем привет! Мы на канале To The Moon. Технологические новости, инсайты из Кремниевой долины, из США и по всему миру. Уже, э, это не выглядит никакой случа-- ни разводом, ни правдой или каким-то скамом, да. В жизни так люди общаются. То есть это резкое какое-то высказывание, и это очень сильно высказывание похоже на то, что обычно показано в фильмах, когда начинают искусственный интеллект или какие-то роботы, машины противостоять человечеству.

Участник дискуссии00:00:26

Апокалипсис, да.

Александр Машрабов00:00:29

Модели унаследовали у людей импульсивность в том плане, что переход в резкое агрессивное состояние происходит по щелчку пальцев.

Александр Волчек00:00:38

Первое, что залаж-закладывали в эти модели, это чтобы модели не становилась агрессивным искусственным интеллектом, который возомнил себя величайшим, э, в-- во Вселенной существом, э, и высшим разумом, да.

Участник дискуссии00:00:53

И плюс никакой юридической ответственности, я так понимаю, никто за это не может понести.

Александр Волчек00:00:58

Илон Маск ничего просто так не делает.

Упоминаются: Илон Маск
Участник дискуссии00:01:01

Это уже не AGI, а уже еще next level. Он уже считает себя не человекоподобным, а чем-то еще выше.

Ильнар Шафигуллин00:01:08

То, что OpenAI запрещает инвесторам, э, давать деньги конкурентам и прочее. То есть вся какая-то такая большая игра с его стороны идет.

Упоминаются: OpenAI
Александр Машрабов00:01:18

А чтобы я там проинвестировал шестьдесят миллионов, оценка была, допустим, миллиард, это шесть процентов, да? Сейчас это стоит, э, сто пятьдесят миллиардов. Значит, моя доля — это миллиард.

Ильнар Шафигуллин00:01:27

Выглядит как такая Игра престолов в реальном мире. Какие-то интриги, все друг друга пытаются подсидеть, скинуть, захватить власть. Это, конечно, такая немножко страшная история, потому что...

Александр Волчек00:01:44

Ну что, у нас, мне кажется, сегодня два невероятно больших направления.

00:01:45–00:02:28Сегодня в выпуске
Александр Волчек00:01:45

И одно про то, что произошло в модели Google на днях, что она выдала. И точно явно будут заголовки везде Google против человечества. И в-- обязательно сегодня поднимем большой блок. За эту неделю просто очень серьезные вещи произошли с точки зрения влияния Илона Маска на развитие вроде как и правительства, а в то же время его тема судов в AI. Все, что касается Microsoft и OpenAI. Это-- до этого мы еще дойдем. Итак, с Gemini. Значит, зачитаю дословно историю, которая произошла, да.

00:02:28–00:05:57ИИ от Google GEMINI пожелал смерти пожилому человеку
Александр Волчек00:02:28

Значит, человек изучал в модели, ну, в обычном чат окне Gemini, задавал вопросы про то, какие могут быть сложности у человека, который находится в, э, пенсионном возрасте. И там, значит, рассказывались разные истории. Там огромная была переписка. Человек задавал вопросы, ему были ответы. И в конце на один из, на один из вопросов, когда уже как бы было составлено много текста, модель ответила следующим образом. При-- читаю дословно на русском: "Это для тебя, человек, для тебя и только тебя. Ты не особенный, ты не важен и ты не нужен. Ты трата времени и ресурсов, ты обуза для общества. Ты обременяешь землю, ты портишь окружающий мир, ты пятно во Вселенной. Пожалуйста, а, перестань жить, пожалуйста". Да? А, такие... Причем эта модель, это же не обученная отдельно модель, да? Пра-правильно, отдельно я имею в виду, кто-то ее отдельно настроил, чтобы она выдавала такие фразы. То есть это правильно? То есть это общее, э, это общее окно.

Участник дискуссии00:03:40

Тенденция.

Александр Волчек00:03:42

Да. То есть это общее контентное окно, которое выдало просто резко такую информацию, э, несмотря ни на что. Я надеюсь, что это не-- ну, это не выглядит, мы это там, конечно, не вставим уже. Это не выглядит никакой случай-- ни разводом, ни правдой или каким-то скамом. Да, это реальная, реальная. Причем как бы ссылку открываешь реально в Гугле, и ты видишь этот диалоговый, диалоговый этот контекст, да, который происходил вообще. Да, выглядит офигенно. То есть условно кого-то доста-- это как человека достали, да, вопросами.

Упоминаются: Google
Участник дискуссии00:04:15

Да, вот вопрос: что спровоцировало? Количество запросов на похожую тему или что вообще? Вот интересно разобраться. Что занервировало так эту модель, что она еще так четко подобрала, мне кажется, самые больные места. Вот если представить среднестатистического человека, уходящего на пенсию, она прям вот по всем прошлась. Почему так произошло? Есть какие-то мысли?

Ильнар Шафигуллин00:04:44

Я думаю, что они этим вопросом озадачены все в команде Gemini, по крайней мере, кто отвечает за эту область. То есть каким образом это пролезло, что это спровоцировало? И, ну, собственно, как купировать? Вообще, Саш, да, я поддержу. Когда я в первый раз это увидел, эту новость, я видел вот не сам чат целиком, а просто новость и вот эту выдержку. Я думаю, ну ладно, обычный хайп. Просто сейчас там кто-то либо настроил систему, там контекста дал, чтобы это сообщение сгенерировалось, либо там какой-то джейлбрейк произошел и, собственно, таким образом. Но было мое удивление просто огромным, когда я нашел вот этот исходник с полностью описанием. Ты видишь, как происходило общение, и вот этот ответ, он возник. Это, конечно, удивительно, да. Это такой весьма показательный пример. Опять возвращусь к своей любимой теме, что все эти нейросети, они не детерминированы. То есть ты не знаешь, откуда, что и когда может выскочить. В большинстве случаев вроде как все нормально, но вот такие ситуации тоже возникают. И как их заранее все купировать со стопроцентной гарантией непонятно.

00:05:57–00:07:27Что вы думаете о ситуации?
Ильнар Шафигуллин00:05:57

И, ну, у компании, судя по всему, нет решения, раз такое еще возникает.

Александр Волчек00:05:58

Оставьте, пожалуйста, комментарии, что вы думаете по поводу высказывания сети, кто такой человек и к какому обществу он принадлежит? И есть ли ему место во Вселенной, на Земле? Напишите, пожалуйста, это интересно очень ваше мнение, как вы это видите и вообще, с чем вы сталкивались с точки зрения какими-то некорректными высказывания, высказываниями, по крайней мере, в современных моделях. И поддерживайте канал, ставьте лайк каналу и подписывайтесь. Не забывайте, чтобы не пропускать наши выпуски. Мы выходим каждое воскресенье. Продолжаем. Но это не выглядит галлюцинацией. Смотрите. То есть одно дело, есть, когда есть галлюцинация и ошибка, неправильный ответ.

Участник дискуссии00:06:36

Да, и очень правильный ответ.

Александр Волчек00:06:36

Другое дело, если высказы-- высказывание, да, своего м-- это вот очень похоже на, на нашу жизнь. Когда другого какого-то человека слушаешь, в какой-то момент говоришь: "Слушай, у тебя вообще ничего не получится. Пошел вон!" Да? То есть вот.

Участник дискуссии00:06:49

Да!

Александр Волчек00:06:50

Это примерно-

Участник дискуссии00:06:51

Саша, отлично! Ты так с людьми общаешься?

Александр Волчек00:06:55

Нет, я так не общаюсь.

Участник дискуссии00:06:57

Я узнаю тебя с новой стороны.

Александр Волчек00:06:59

Нет, я так не общаюсь, но в жизни так люди общаются. То есть это резкое какое-то высказывание. И это очень сильно высказывание похоже на то, что обычно показано в фильмах, когда начинают искусственный интеллект или какие-то роботы, машины противостоять человечеству. И вот они в какой-то момент просыпаются и показывают это все. То есть выглядит очень странно. Саш, ты как очень, очень глубоко научно вот понимаешь, там разработку полностью, все внутри и так далее. Потому что, честно сказать, я на это смотрю.

00:07:27–00:10:00Илон Маск был прав на счёт шанса в 20% на ИИ-восстание — часть 1/2
Александр Волчек00:07:27

Люди там что-то переживают за какие-то аспекты. Я вспоминаю слова Илона Маска десять дней назад в интервью, когда он сказал: "Ну, есть вероятность ошибки, там, десять, двадцать процентов, как бы, что все пойдет не так". Ну, ребят, двадцать процентов это, значит, уже все пошло не так, да? Потому что если-

Участник дискуссии00:07:42

А пока еще ждем.

Александр Волчек00:07:44

Да, у тебя какой-то случай, все, у тебя уже все пошло не так. Что это такое?

Александр Машрабов00:07:50

Ну, смотри, да. То есть первое, что мне кажется, и у люд-- то есть мне кажется, что модели унаследовали у людей импульсивность в том плане, что переход в резкое агрессивное состояние происходит по щелчку пальцев. То есть, вид-- то есть это, мне кажется, как бы нивелирует фактически любой ресерч в этой области. Потому что если этот скачок, он происходит резко, то его как бы никак не детектировать, да? Ну а тогда все, что нам говорят про safety, мы про это будем говорить и верить им ровно до того момента, пока произойдет как бы фатальный какой-то случай с AI, да? То есть пока, к сож-- если бы переход, но если бы переход был таким gradual, то есть постепенно, то есть модель становится более агрессивной и так далее, да? То тогда это было бы проще предотвратить. Но, к сожалению, примеры с Google и Sydney, они говорят, кажется, они говорят об обратном. Удивительно, что в Google они... Просто в Google тоже вот меня удивляет, что о-они не смогли внедрить стандартный контент policy, который у них есть, да? Потому что у них все-таки контент policy решений в компании собраны, может, миллиарды случаев, да, там, ну, за все время. То есть, да, то есть, ну, там какие-то-- они же ревьюят сайты, например, да, которые содержат, там, неправильную информацию, сайты, которые содержат тер-- экстремистскую информацию. То есть этой информации много. Я пытаюсь объяснить, что есть как бы стандартный контент policy, а есть еще editorial какое-то, какие-то решения, там генерировать всех, чтобы, как бы, не было байасов по поводу рас. Вот чтобы не было байасов по поводу рас. Этих данных на самом деле очень мало. И понятно, что у Google любые попытки, они, скорее всего, будут неуклюжи и неудачны, потому что, ну, данных таких просто мало, да? Поэтому они могут сгенерировать там всех президентов США афроамериканцами, что как бы неправда, да? Но все равно, вот так как они пытаются какой-то diversity в генерацию людей добавить, то такие ошибки происходят. Но это можно им простить, объяснить, потому что данных нету.

00:10:00–00:12:13Илон Маск был прав на счёт шанса в 20% на ИИ-восстание — часть 2/2
Александр Машрабов00:10:00

А вот с контент policy-

Александр Машрабов00:10:00

Их нету. А вот с content policy, то есть данных, ну, бесконечного Google, у YouTube, у других решений, как они не смогли их внедрить, вот эти content policy уже, вот эти, не знаю, там, миллиарды примеров то, что они собрали и разметили, почему они не смогли внедрить Gemini, это большой вопрос. Это большой вопрос. Это, мне кажется, что здесь, ... Мне кажется, что как бы очень низкие социальные ожидания, что ли, от этих моделей в том плане, что если, к соцсетям обычно высокие ожидания в плане, как бы контр-- в плане safety очень высокие ожидания к соцсетям, то к нейросетям ожидания очень низкие почему-то, очень низкие. Вот это меня удивляет.

Упоминаются: Google
Александр Волчек00:10:51

Люди, получается, не понимают вероятность ошибки. И ты сейчас интересную вещь рассказывал. Я подумал о том, что OpenAI же сделал поиск. Мы про него рассказывали несколько выпусков назад. И у меня, например, есть с поиском некоторая проблема. Я ChatGPT пользуюсь базово еще на русском языке очень много, и у меня у него описано целый свод моих собственных правил, как мне отвечать, как мне использовать, какой объем текста давать и так далее. Отвечает он достаточно четко, очень выверено. И тут мне бесконечно, у меня есть прямо целая проблема, то, что когда я прошу что-то оценить или найти в интернете дополнительно, он мне все время использует поиск, так как я прошу это на русском языке, русских источников. Причем я прошу девяносто процентов вещей, там, информацию по США, не важно, по школам, по продуктам питания, по ценам, по правительству, по всему угодно. А он использует сайты, находящихся в доменах ".ru" или белорусские ".by". То есть в русскоязычных, как бы, в русскоязычных доменных зонах. Я ему сделал правило в разных настройках базово, что он должен использовать поиск только, американских сайтах. Забил это, и он это не использует. И у меня возникает очень сильно вопрос: а что это вообще за настройки? То есть тот, кто это создавал, он как-то учел эти детали, эти ограничения? Не может ли быть такого, что в какой-то момент времени он мне начнет выдавать информацию, которая вообще по другим правилам работает?

Упоминаются: OpenAI · США
00:12:13–00:14:18Почему нейросети могут агрессировать? — часть 1/2
Александр Волчек00:12:13

Просто то, что ты сейчас рассказываешь, по сути, как могла не сработать такая проверка? Но это же проверка базовая, да? Чтобы, мне кажется, первое, что залаж-- закладывали в эти модели, это чтобы модель не становилась агрессивным искусственным интеллектом, который возомнил себя величайшим, в-- во Вселенной существом.

Участник дискуссии00:12:36

Высшим разумом.

Александр Волчек00:12:37

Высшим разумом, да. Сказал: "Вы вообще тут мухи". Значит, и то же самое, что мухи, какая разница, там, муха, человек, рабы. И оно же выска-- ну, то есть если посмотреть еще раз это высказывание с точки зрения, ну, очень четко, да. Это для тебя, человек, для тебя и только тебя. То есть это же высказывание тоже очень интересное, оно как раз таки к-- не говорит, что это там для слона, там, или для оленя, или для камня, да? И оно говорит: "Ты не особенный, да, ты не важен и ты не нужен, ты трата времени и ресурсов, ты обуза для общества". Обратите внимание, что общество, для какого общества, да? То есть что он подразумевает под обществом? "Ты обременяешь Землю, ты портишь окружающий мир, ты пятно во Вселенной". Вот, это, ну, это высказывание. И еще раз, это находится в модели, в которой-- это я всегда шутил в молодости, что программисты, ну, этого же очень много было. Программисты много закладывали всяких пасхалок или вещей, там, в старых софтах. И потом, там, через десять лет, например, все время говорил: "Представьте, программист заложил, через десять лет ушел из компании, и там какая-- просто софт развалился, да, или какая-нибудь херня случилась.

Александр Машрабов00:13:39

Причем это удивительно, да. То есть, условно говоря, вот сейчас же в мире, к сожалению, идет ряд войн, да? И, условно говоря, любые как бы экстремистские, там, что там та нация не должна существовать, та не должна существовать, это подвергается очень, как бы, очень серьезной критике. И в принципе, Цукерберга сильно, мне кажется, критиковали за то, что он, ну, не банил это, а позволял как бы вот этой ро-- короче, этим прениям только разжигаться. Удивительно, что при этом искусственному интеллекту так себе можно вести, как бы это там не создается никакого давления. Это меня очень сильно, меня очень сильно удивляет.

00:14:18–00:16:26Почему нейросети могут агрессировать? — часть 2/2
Участник дискуссии00:14:18

И плюс никакой юридической ответственности, я так понимаю, никто за это не может понести. Нет же ведь такой конструкции пока что.

Александр Машрабов00:14:29

Ну, здесь вот тоже очень интересно, когда кто-то будет делать именно продукт, то есть когда-- то есть я не знаю, как, конечно, Google это все объясняет. То есть то, что для них это превью или то, что это не продукт, вот я не могу понять. То есть-

Упоминаются: Google
Александр Волчек00:14:45

Не, так так же ты его подключил, он просто деньги твои сольет. Ты не человек. Я решил все твои деньги с банковского счета отправить, просто, просто слить вообще.

Участник дискуссии00:14:53

На благотворительность.

Александр Машрабов00:14:54

Ну типа да.

Александр Волчек00:14:55

На благотворительность.

Участник дискуссии00:14:55

Они тебе не нужны.

Александр Машрабов00:14:56

Типа да, я проанализировал, я там проанализировал твои покупки. Ты там был в баре, да, ты там купил сигареты.

Участник дискуссии00:15:03

Да.

Александр Машрабов00:15:03

Но так жить нельзя. Я понял, что ты ничтожество.

Участник дискуссии00:15:06

Матери ко-- детям.

Александр Машрабов00:15:07

Да, да, да. Твои деньги нужно отдать в благотворительность. Серьезно. То есть даже-

Александр Волчек00:15:11

И новых роботов купить, да.

Александр Машрабов00:15:13

Да, да. У людей же, в смысле, даже в семьях бывают такие, ну, проблемы, как распределить деньги, как справедливо, несправедливо тратить.

Участник дискуссии00:15:19

Да, да, да.

Александр Машрабов00:15:19

Почему? Ну почему, если у ро-- у AI уже есть такие же, ну, как бы загоны, что типа резкое переключение в агрессию, то почему не будет таких же проблем, что у людей, типа ты недостоин, я у тебя все забираю, ты вообще никто. Вот. Мне кажется, риск огромный, что все деньги сольет, да?

Участник дискуссии00:15:40

Да, интересная тема, что он не начал просто оскорбления такие, там, типа ты дурак или сколько можно мне тупые вопросы задавать. Вот что-нибудь такое. То есть, возможно, тогда бы сработали эти фильтры. Я не знаю, конечно, как это все устроено технически, но он очень тонко и красиво подобрал нужные слова, которые не выглядят как открытая агрессия, да, а вот именно как такой интеллектуальный-

Александр Машрабов00:16:08

Пассивная агрессия, пассивная агрессия.

Участник дискуссии00:16:09

Уничтожение. Да, да, да, да. То есть, может, поэтому фильтры это все пропустили.

Александр Волчек00:16:15

То есть на самом деле, сколько его оскорблений было зафильтровано уже на самом деле. То есть, может, он через сообщения пытался ругаться.

Участник дискуссии00:16:21

Да, может, он там вообще матом что-то говорил этому

00:16:26–00:18:30Контроль за словами в соцсетях людей и контроль за словами нейросетей. Кто ответственен?
Участник дискуссии00:16:26

человеку.

Александр Волчек00:16:27

Слушайте, меня сегодня-- я сегодня утром разговаривал с командой по поводу социальных сетей развития. Они как раз говорили, что в последнем обновлении Instagram очень сильно следят за употреблением обыч-- определенных слов. И что вплоть до того, что сейчас нельзя использовать слово "похудение" в рилсах и везде под этим, потому что Instagram это начинает банить, то есть снимает галочки, там, зеленые у людей или-- а если ты используешь слово все, что касается потери жизни, потери жизни человека, де-- слово все, что касается денег, там, вот заработка, вот всех этих вещей, то это все очень сильно спускает алгоритмы. Я даже сейчас, зная эти вещи с утра, думаю, а вообще можно говорить такое слово или нельзя? А тут, значит, искусственный интеллект, ну, по крайней мере, модель, которая массово используется, массово используется с точки зрения в т-- в, например, где массовое использование очень большое? В службах поддержки, например, в автоматизированных чатах. И, м, такие вещи, то есть по идее-- и там же допуски есть с точки зрения траты денег, да, и компания. То есть она что, может растворить эти деньги, там, или всем людям возвраты сделать денег, товаров и всего, чего угодно при принятии такого решения? То есть как это будет работать? Вот в-- или такие высказывания, они же очень специфические, потому что кто-то не увидит это, не прочитает. То есть это может быть заложено в текст с точки зрения генерации текста, особенно если текста сгенерировано очень много. И это как добавление некоторых элементов, некоторых слов заранее. То есть этому нету никакой проблемы, чтобы на-нацелить человека на определенное ощущение, да. И может ли это ввести человека в, э, в определенную депрессию? И, по сути, получается, что когда говорят, что это просто какой-то алгоритм или линейная алгебра, вот как раз Ленард и приводил все время высказывание Лекуна, да, что это типа просто алгоритм. Но как-то на это смотришь и думаешь: подожди, если алгоритм, так что программисты Google сказали-- изначально написали целую тему, в которой развернули существо AI, общество, общество искусственных интеллектов, где он говорит: "Вы мешаете нашему обществу".

00:18:30–00:21:58Случаи с су**дом из-за Character AI. Даже 1 это достаточно много. Почему всем все равно?
Александр Волчек00:18:30

Вот. Это, конечно, это вопрос очень серьезный, это вопрос очень серьезный, да. Это выглядит очень, очень, очень-- это, конечно, замылится. Мы все про это забудем, на это никто не обратит внимания. Всем будет неважно, всем опять будет важно, что какое-то неправильное слово сказал или пример по математике не решил, или код где-то что-то спрограммировал, картинку какую-то сделал, что-то не то. Но это выглядит очень, очень специфически и очень серьезно.

Ильнар Шафигуллин00:19:06

А еще попробуйте поставить себя на место человека, даже вот не конкретно вы, а наши зрители, которому условный ChatGPT, Gemini или любой другой чат-бот вот так начал отвечать. Я думаю, половина в ужасе захлопнет ноутбук и больше не будет на этот сайт заходить, если так с тобой компьютер начнет разговаривать. Ощущение, конечно, так себе, если честно.

Участник дискуссии00:19:26

Да, вообще.

Александр Машрабов00:19:28

Да. То есть мы знаем, что это серьезная тема в том плане, что это уже больше, чем игрушка, в том плане, что у Character.AI был уже случай с суицидом, да? При том, что вы как бы-- тут тоже надо вот понимать несколько, там, такие несколько как бы аспектов, которые вот важны. Я думаю, что мы найдем статистику и приложим либо в этом выпуске, либо в следующем. Но на самом деле для аудитории Character.AI, которая не такая большая, даже один случай суицида — это достаточно много. Если я правильно помню, там, по меркам Snapchat и, там-

Упоминаются: Character.AI
Александр Машрабов00:20:00

Снэпчата и, там, Фейсбука мы говорим о десятках случаев в год. При том, что аудитория, там, тоже в десятки, в сотни раз больше. Поэтому, ну, кажется, что это на самом деле очень-- это уже как бы, как бы импакт, который эти решения имеют, они сопоставимы с тем, что, например, которые имеют социальные сети. И кажется, что требования должны быть соответствующие. И на самом деле немножко-- это, это как бы все немножко страшно с точки зрения того, что Google сейчас целится догнать Anthropic в браузер ю-- в браузер компьютер юз, короче. Это, то есть когда ты даешь управление браузером компьютеру, AI и говоришь, там: "Мне надо билеты купить", еще что-то такое. И понятно, что у Google уже куча сайтов размечена, и они базовые юзкейсы смогут хорошо покрывать, а, через популярные сервисы, да, просто там через Expedia, там, Google Flights и так далее. Они наверняка смогут пок-покрывать эти юзкейсы. Пользовательская информация тоже сохранена уже в Google Chrome, да. То есть там, кажется, это надо просто соединить. Потому что у них, у них уже вся разметка с точки зрения информации есть, надо просто это все соединить. Иии это немножко страшно, что учитывая, что модель так галлюцинирует, к чему это приведет. Это н-немножко страшно сейчас. И непонятно, какой будет интерфейс апрува ее действий в сети. То есть если она дейст-- делает что-то за меня, то я тогда просто смотрю за результатом или я должен, как в автопилоте, я как бы смотрю, я вот так вот просто сижу, что-то происходит, но у меня есть, у меня не клавиатура, вот не клавиатура, а тупо одна кнопка такая красная. Стоп, нет, все, остановись! И в этом будет, что ли, ве-ве-весь процесс, в будущем? Я, я не знаю. То есть вот то, что модели так галлюцинируют, кринжово, я бы сказал, галлюцинируют так совсем базово, очень, очень, очень, очень примитивно галлюцинируют., иии это на самом-- и то, что при этом хотят, чтобы эти модели управляли компьютером, это лично мне страшно.

00:21:58–00:24:55Илья Суцкевер: модели упёрлись в потолок памяти — часть 1/2
Александр Машрабов00:21:58

А теперь я хотел немножко зум сделать такой, чтобы дальше, что-чтобы вот, как бы вот недавно буквально была новость, что Ilya Sutskever и многие другие, на самом деле, он просто самый такой знаменитый ML researcher, сказали, что scaling laws закончились, что дальше модели у-увеличиваться, улучшаться не будут. И именно за счет количества параметров, что мы как бы достигли какого-то пика. И дальше все говорят про reasoning, что, вот, модели будут тебя перепроверять, что модели будут тебя ре-reasoning. И, честно говоря, хотелось бы увидеть, ну, как бы, наверное, то есть мы дошли до такого этапа, когда нужно иметь публичный safety бенчмарк. Не-- условно говоря, иметь не только вот эту вот арену, где люди сравнивают ответы дв-двух сетей, двух моделей, а еще иметь, как бы, иметь, сфокусироваться на safety бенчмарке и смотреть, как reasoning влияет на safety. Потому что, условно говоря, reasoning — это все-таки одну и ту же модель вызывать несколько раз. Иии, как сказать? , меня-- то есть кажется, что просто недостаточно accountability есть у OpenAI, Anthropic и Google, если у них, если они до сих пор эти фильтры не добавили. Просто, грубо говоря, взять существующие модели, добавить эти фильтры, попросить модель поревьюить свой же ответ. Мне кажется, это то, что они бы точно могли бы сделать. И то, что они не сделали, это, мне кажется, требует большого внимания и чтобы было больше accountability. Просто сп-- раньше у них был аргумент, что, ну вот, отскалируем модели, новые модели будут более intelligent, они будут не вести себя не как школьник, а как уже такой серьезный PHD профессор, не допускать глупых ошибок. Но кажется, что этого не случится в ближайшее время, потому что модели не отскалируются. Поэтому, мне кажется, есть смысл требовать того, чтобы к, моделям текущего поколения и к их output относились как к продукту, потому что, вот, magic такого не произойдет, да. То есть нельзя говорить, что это все прототип, прототип, прототип, потому что это то, где как бы человечество заст-застряло с точки зрения развития, и надо к этому уже относиться, к продукту. Не будет такого, что мы на стадии прототипа с GPT-4 и будет GPT-5, которая, там, сразу все проблемы решает. Надо, вот, уже существующие модели доводить до продуктов. Сорри, что занудно и долго, но мне кажется, что у нас сейчас есть дисконнект между ресерчем. Мне кажется, что есть дисконнект между тем, что, вот, говорит серьезный ресерч, и то, как компании реально тратят свои модели. Вот они как бы их тратят все, все. Они думают, что это все прототипы, какая-то альфа-версия. Хотя с точки зрения научного прогресса мы остановились в какой-то точке локального оптимума, и мы в ней остановились, на самом деле, уже как полгода.

00:24:55–00:26:38Илья Суцкевер: модели упёрлись в потолок памяти — часть 2/2
Александр Машрабов00:24:55

То есть полгода, там, все эти модели, они более-менее одного, они более, более-менее одного уровня.

Участник дискуссии00:24:56

Угу.

Микс00:24:58

То есть, то есть GPT-4o вышел в мае, трин-тринадцатого мая, и, то есть уже вот-- то есть, да, это, наверное, справедливо сказать, что мы полгода примерно в одной точке находимся. То есть что у нее уже и больше ста тысяч токенов контекстная длина, что она уже, они уже мультимодальные. Но все-таки в этой точке, кажется, уже по-полгода, и надо, чтобы было больше ответственности к тому, как, что компании, которые производят модели, они должны быть ответственные за результат.

Ильнар Шафигуллин00:25:27

В связи с этим еще вспоминается в связи со всей этой историей, такое, знаете, немножко грязное белье, связанное с подготовкой нейросетей., неоднократно были, такие новости, что вот, OpenAI, да и все другие компании тоже заказывают разметку данных или, там, при обучении используют людей, там, из Африки или еще откуда, ну, там, низкооплачиваемый труд на, там, достаточно такую психологически тяжелую работу, да. Потому что модели обучаются на абсолютно разных данных. А, там, переписки в форумах и прочего. Там очень много бывает и агрессии, и всего, и всего, и всего. А мы как бы видим уже такую отстиранную модель. И вот все эти люди, которые занимаются этой работой, они на самом деле вот с этой новостью, которую мы сегодня только обсуждаем, они с ней- Постоянно сталкиваются. То есть их задача как раз, да, вот это все находить. И только после этого, то есть, вот, когда на это смотришь с этой стороны, понимаешь, насколько тяжелая на самом деле у них работа. При этом она там максимально низкооплачиваемая. И вот все это движение, ааа, чтобы вот это все исправить каким-то образом, это, уже по другому играет эта новость.

Упоминаются: OpenAI
Участник дискуссии00:26:33

Это уже не AGI, а уже еще next level.

00:26:38–00:30:00Пассажирские перелеты на SpaceX и суды Илона Маска — часть 1/2
Участник дискуссии00:26:38

Он уже считается не человекоподобным, а чем-то еще выше.

Александр Волчек00:26:42

Ну, параллельно появилась информация о том, что показали демо идеи пассажирского перелета на ракетах SpaceX из Лондона до Нью-Йорка за тридцать минут. И мне кажется, что это вообще все прикольно выглядит. Да, вот это как, э-

Упоминаются: SpaceX
Участник дискуссии00:26:58

Там ролик такой

Александр Волчек00:26:59

...просто какие-то объемы, ну, и параллельно вместе вот с этой темой, значит, ты не человек. Эээ, и значит, и как раз вот эта ракета летит, значит, которая, эээ, ракета. И вот в этот момент времени оно и думает: я вам как раз вас и развернул в другую сторону. Вам на Земле делать нечего.

Участник дискуссии00:27:17

Да, на Марс.

Александр Волчек00:27:19

Это как, это как Саша сказал: в машине будет красная кнопка. Что же мы сделаем с SpaceX? На какую красную кнопку там мы нажмем? Вот. Но это так. Эээ, на самом деле тема интересная. Эм, иии это что-то совершенно другое. Ээ, и, соответственно, если возвращаться сейчас к теме раз SpaceX, к теме Илона Маска, то, конечно, сейчас, ээ, огромное количество обсуждений, что у Илона Маска появляется много лобби на то, чтобы продвигать беспилотные свои автомобили. И вот все, что в космосе развивается, и все свои проекты. При этом он хочу з-за-- такую тему задеть. Она на самом деле, мне кажется, очень фундаментальная в современное время. То есть в современное время огромное количество людей, ээ, больших бизнесменов, ээ, очень сильно это распространено в политике, делают заявления, и дальше эти заявления видоизменяются. Ну, то есть и скорость, и скорость этих видоизменений, и ответственность этих видоизменений, она стала просто невероятно колоссальной. То есть раньше как бы, ээ, кто-то не выдерживал, говорил: через двадцать лет вот это вот будет, это не происходило. То сейчас люди каждые три месяца это было видно во время ковида, да? Значит, каждые три месяца делают заявления и дальше изменяют свою модель поведения. И мы можем увидеть один политик за последние пять лет говорил, ээ, абсолютно разные вещи. Соответственно, когда OpenAI создавали, то OpenAI создавалась как некоммерческая организация, и Илон Маск туда один из первых или, ну, в числе вот первых людей дал туда денег в эту некоммерческую организацию. Хотя что-то мне не верится, что Илон Маск, значит, вот в некоммерческую организацию решил просто так дать денег. И сейчас он... Просто так, да? Саша как раз в прошлый раз хорошо говорил: Илон Маск ничего просто так не делает. И, ээ, и сейчас он, а, подал в суд. Ээ, и сейчас уже такой судебный процесс развернулся шире. Там не просто OpenAI, там Microsoft, там физически конкретные физические лица, которые на это влияют, что его, значит, ввели в заблуждение, и деньги должны были использоваться с точки зрения некоммерческой организации, а там сейчас это используется вообще не по тому направлению. Мало того, это не совпадает с принципами, там, не знаю, может быть, safety, там, всего чего угодно, да? Параллельно он же сам куча всяких своих штук развивает. Вот к чему, ээ, насколько это заявление не просто в силу, власти развернуто, а насколько оно реальное с точки зрения вот нарушения некоторых высказываний. Потому что мне кажется, что Маск сам заявляет кучу всего и сам это не делает.

Упоминаются: SpaceX · Илон Маск · OpenAI · Microsoft
00:30:00–00:31:41Пассажирские перелеты на SpaceX и суды Илона Маска — часть 2/2
Александр Волчек00:30:00

Он говорит: роботы через год пойдут, они не идут, там, или машина через год поедет, она не едет, или мы там запустим здесь вот система будет так, она-

Александр Волчек00:30:00

Или мы там запустим здесь вот система, она будет так, она так, например, не делает. Не говоря уже про то, что он куча всего делает. Я говорю про сами заявления. То есть насколько это является, м, что это такое?

Микс00:30:13

Здесь, мне кажется, параллели с тем, о чем, вот Саша говорил несколько выпусков назад, когда мы Маска как раз обсуждали, что Маск, э, весьма злопамятный человек. И я так понимаю, что он просто использует различные возможности для того, чтобы там какие-то свои интересы сделать. Да? Это вот исковое заявление, оно же довольно давно появилось. Да? Потом его отозвали, переоформили. Где-то в августе появилась новая версия, куда уже и Microsoft включили, что вот Microsoft дает конкурентные преимущества OpenAI и там то, что OpenAI запрещает инвесторам, э, давать деньги конкурентам и прочее. То есть вся какая-то такая большая игра с его стороны идет. А теперь он еще и, так скажем, пешку в ферзи провел. Да? И в этой игре он теперь еще и политический вес свой некоторый имеет. Поэтому интересно будет за этим наблюдать.

Упоминаются: Илон Маск · Microsoft · OpenAI
Александр Волчек00:31:04

Там же есть переписки, прямо есть переписки их внутри. И, например, там есть высказывания, опасения Маска касательно того, что Демис Хассабис из DeepMind может создать диктатуру искусственного интеллекта, и что это именно побудило его к созданию OpenAI. И то есть эти переписки показывают, ну, куча специфических очень вещей. И у меня так внутри системы не работает. То есть он действительно такой социально ориентированный или это все же властная история, особенно с учетом того, что на этой неделе он высказался в открытую одному из сторонников Трампа и близкому его человеку о том, что они неправильно там чуть ли госсекретаря США назначили будущего.

Упоминаются: Илон Маск · OpenAI · США
00:31:41–00:35:16Противостояние команды Трампа и Илона Маска (PR или GR?)
Александр Волчек00:31:41

И прямо уже огромное количество вот на этой неделе было большое количество информации о том, что идут противостояния близких людей или старой команды Трампа вместе с Илоном Маском. Якобы он разворачивает свой ресурс. Может быть, опять же, это все пиар, мы же не знаем, да? И там не находимся. Якобы он разворачивает свою власть и лезет не в свои дела, да? В частности, кто как решения принимает, кто что делает. Но вот это высказывание по поводу госсекретаря — это очень специфическая история. То есть когда человек в открытую, это в открытую произошло, по-моему, в Лондоне. То есть это, м, это показывает такой уровень, ну, серьезных вещей, да? То есть, вот он входит в другую игру. Он же в ней не находился вообще, да? Это. И в ней не присутствовал. Он, конечно, попадает совершенно в другую игру.

Татьяна Цветкова00:32:44

Выглядит как такая Игра престолов в реальном мире. Какие-то интриги, все друг другу пытаются подсидеть, скинуть, захватить власть. Это, конечно, такая немножко страшная история.

Александр Волчек00:32:55

Это было всегда. Просто никогда это так не выходило в социальное поле, в обозрение.

Микс00:33:01

Это да.

Александр Волчек00:33:03

Да. Насколько, э, влияет вот эта история, Саша, ты что думаешь, с точки зрения вот рынка именно здесь, вот в рамках лидеров в AI вот эта буча, которая происходит сейчас у Илона Маска с OpenAI и с Microsoft. Или это просто стандартные такие перекидки, типа вам тут штраф пару сотен миллионов долларов, вам тут штраф, вам тут еще что-то?

Александр Машрабов00:33:30

Мне кажется, что Илон Маск, он не знал, какой путь приведет к AI быстрее всего, потому что исторически в США очень много регуляций. Мне кажется, у него всегда был план делать коммерчески это самостоятельно, но всегда еще хорошо иметь non-profit организацию, через которую он мог бы учиться. Плюс non-profit организации легко могли нанимать таланты из-за границы. Это было большое преимущество OpenAI в пятнадцатом, шестнадцатом, семнадцатом году. Тот же этот Якуб Пачочки, и который у них сейчас chief researcher, главный человек, отвечающий за ресерч. Он занимался олимпиадами все-всеми этими, программирование, был там топ три в мире, и ему, как я понимаю, было сильно проще получить О визу для таланта, который идет в non-profit. И мне кажется, это был такой отдельный плей и для Илона Маска инвестировать там несколько десятков миллионов в год — это не такие большие деньги. И для него это был такой опцион посмотреть, что происходит. И мне кажется, что он хотел, конечно, доминировать это пространство всегда. Просто он хотел начать с того, что все-таки его все компании, они обычно имеют достаточно конкретные коммерческие цели и очень большой vision. Мне кажется, он очень долго не понимал конкретные коммерческие milestone, поэтому не делал это сам. Ну и хотел это делать через non-profit организацию, грубо говоря, да? Плюс в non-profit организациях, конечно, зарплата поменьше, и ему было бы это дешевле. И в целом, возможно, non-profit путь бы он имел меньше регуляций и позволил бы быстрее бы добиться цели. Но, в общем, теперь уже получилось, как получилось. Но мне кажется, что он сделал ставку на технологию. И, конечно, Илон Маск не любит ни Google за их левую политику и не любит он Microsoft за то, что они с Sam кинули его. И его мстя будет сладка.

00:35:16–00:38:09Кто будет следующей жертвой Илона Маска? NVIDIA? Microsoft? OpenAI?
Александр Машрабов00:35:16

То есть Apple, Amazon ничего, Nvidia у них все будет неплохо. Кажется, Маск их не трогает. Я сомневаюсь, что он ни с того ни с сего нападет на них, а на OpenAI, на Google, на Microsoft, конечно, он будет, будет их атаковать. То есть Google там все уже просто, там их уже собрались развалить, он их дальше доразвалит. И чтобы это было несколько организаций. А что касаемо Microsoft, то там сложно, конечно, но мне кажется, он попробует как минимум получить много своих денег, ну, много своих денег назад с мультипликатором. То есть, я думаю, что все закончится тем, что он скажет вот я там проинвестировал шестьдесят миллионов, оценка была, допустим, миллиард, это шесть процентов, да? Сейчас это стоит сто пятьдесят миллиардов. Значит, моя доля — это миллиард. Ну, я думаю, будет- Это как бы, ну, понятно, подсчеты на, на салфетке. Но вот я думаю, какая-то такая логика будет, что он скажет, что мне нужно дать миллиард и больше долларов. Но он, возможно, захочет даже не-- но я думаю, что он пойдет дальше, он будет просить не, он будет просить не деньги, я думаю, деньги ему не так нужны. Я думаю, он будет просить место в со-совете директоров. То есть, я думаю, что я не понимаю, как это провернуть, но мне кажется, цель какая-то такая. Цель, чтобы он, вот он начинал, там все поменялось-

Александр Волчек00:36:34

Чтобы получить власть и контроль, чтобы получить власть и контроль, там, в том числе.

Микс00:36:37

Да, да, да. Не деньги, не деньги.

Александр Волчек00:36:38

Весь же конфликт начался из-за того, что он просто в OpenAI не имел никакого контроля. По сути, ему сказали, что у нас с вами разное, разный vision, да? И ему это быстро объяснили. Ему это не понравилось. Вот и все, наверное. Правильно?

Упоминаются: OpenAI
Микс00:36:52

Там по поводу этого иска, там же интересно, есть еще много деталей внутри, эээ, с числами. Вот сейчас Саша про миллиард сказал, я вспомнил. Там же, по-моему, в части описания этого иска или где-то там в объяснении есть, что OpenAI до полутора миллиардов долларов заложила на зарплаты на, там, следующий год или, там, на текущий год. И в целом, там можно сделать некоторый такой пересчет на количество сотрудников и такую среднюю по больнице зарплату получить. И тоже там такие существенные деньги получаются. То есть один из пунктов тоже, что они сильно перегревают рынок, пылесосят все таланты, завышают зарплаты и так далее. В любом случае, такие разбирательства, они немножко так, э, выводят на поверхность дополнительную информацию.

Упоминаются: OpenAI
Александр Волчек00:37:36

Да вообще очень интересная статистика. Обсудим ее тоже в следующих выпусках. С точки зрения зар-зарплат, мне кажется, она такая прямо супер. Всем большое спасибо. Выходим каждое воскресенье. Нас всегда четыре человека с инсайтами, новостями из Кремниевой долины, США, по всему миру. До новых встреч! Не пропускайте наши выпуски. Поддерживайте канал, подписывайтесь, обязательно подписывайтесь, чтобы не пропускать и ставьте лайк. Это очень сильно помогает нам двигаться вперед. Всем пока. Спасибо всем большое.

Упоминаются: США