OpenAI движется от простой сохраненной заметки о пользователе к постоянной, обновляемой и синтезируемой памяти. Это означает, что ChatGPT должен начинать новые разговоры не с нуля, а с уже собранным пониманием человека, проектов, предпочтений и ограничений. Итак, у них произошел масштабный релиз. Сегодня его обсудим. Тему общей памяти я очень много поднимаю и поднимаю ее важность и необходимость в жизни человека. И вот четвертого июня этого года OpenAI опубликовала материал, который называется ChatGPT Memory and Dreaming. И вообще dreaming понятие не, м, не сейчас появилось в рамках модели. В нем компания описала вот эту выливку, которая у них произошла, более мощной, масштабируемой системы памяти для ChatGPT. И они заявили, по сути, что они хотят решить три проблемы. Первая проблема - это устаревание памяти. Вторая проблема - это корректность памяти. И третья проблема - это способность работать с сотнями миллионов пользователей и многолетней историей взаимодействия.
И интересный аспект, что-- еще раз по поводу того, что такое память в рамках модели искусственного интеллекта и не только таких, как ChatGPT, это прямо критично необходимо понимать. Я недавно снимал выпуск здесь на канале про безопасность, тоже, в том числе связанный с данными, которые вы храните, и с памятью. Но сегодня мы поговорим о полезности этого инструмента и вообще о вашем понимании, как устроены модели. Потому что недавно кто-то в комментариях написал буквально пару дней назад, что зачем вообще, значит, покупать модель? Модели особо ничем не отличаются. Такое некоторое вообще устаревшее восприятие, что такое современные модели искусственного интеллекта. Термин память в ассистентах часто смешивают на разные механизмы, и поэтому лучше их поделить на уровни. Да, я вам разделю их на уровни. Первый уровень - это контекст текущего чата. То есть то, что модель видит в открытом разговоре прямо сейчас. То есть вот вы создали новый чат и что там висит? И пользователь уточнил задачу, например, пять сообщений назад, и исчезает за пределом окна контекст оригинального чата.
Это память, да? То есть у нее есть большой риск, то, что она, эээ, не сохраняется или, может быть, не использована. Вторая память, которая существует, второй уровень, который можно выделить, это явно сохраненная память. Пользователь или система сохраняет отдельный факт, да. И мы наблюдали это очень сильно в ChatGPT, много про это рассказывали, говорили про точность и неточность использования этой истории. Например, можно сказать, что запомни, что я предпочитаю краткие ответы. Или вот, например, я у себя использую: запомни, что мне очень важно каждое сообщение помечать датой и временем. Там есть большой риск, потому что факт может устареть, быть неполным и слишком общим. Кстати, по поводу факта, по поводу фактов и их устаревания буквально на днях мне система ответила, что вот так как вам сорок два года, вам надо сделать раз, два, три, четыре. Я там спрашивал какие-то анализы по медицине, и я понял, что все же она-- у меня где-то было забито, забит мой возраст, а не год рождения. И, соответственно, она не определяет и не понимает, и не пересчитывает эти данные. То есть, по крайней мере, те данные, которые она забита, она даже не смотрит дату, когда они были забиты. Конечно, в будущем это должно будет исправиться. Я не знаю, почему с самого начала это не сделали, но все же, как есть, так есть. Третий уровень памяти, да, это память из истории чатов. Активно появилась, мне кажется, месяца, наверное, три или четыре, три или четыре назад, особенно в OpenAI. OpenAI - лидер в этой истории вообще с точки зрения того, что они пробуют, пробуют сделать с чатами. Система ищет или синтезирует полезные факты из прошлых разговоров ваших, которые у вас были. И, соответственно, модель помнит, какие вы делали проекты, какой у вас был стиль работы, какие у вас есть ограничения, прошлые решения и так далее. Опять же, в чем есть риск и в чем есть проблема, то, что модель может подтянуть нерелевантный или старый контекст. Очень, например, старый контекст может подтянуть. Или, опять же, буквально из свежего я сейчас, так получилось, параллельно создаю несколько систем, которые вот я всегда говорю, что это как AI native системы.
Это системы, которые создает чисто искусственный интеллект. Это не то, что это не web-кодинг, это полноценные программные такие продукты для себя, ну, или для каких-то, каких-то моих собственных идей и решений. И буквально на днях система, подтягивая информацию из разных чатов, из разных проектов, спутала между собой проекты и начала делать очень серьезные ошибки. И это большая проблема, особенно когда у вас чатов много. У меня чатов тысячи. Это большая прямо проблема и большая неприятность, потому что огромное количество данных нерелевантных. Четвертый уровень памяти, который надо разобрать, это память из подключенных источников. То есть вы, например, можете подгрузить контекст из файлов, почты, там, календаря, диска, даже вашего браузера можете подключить. И, например, если отойти чуть от ChatGPT и вспомнить Gemini, то Gemini использует сейчас очень много уровней памяти, и это их очень сильное преимущество. С учетом того, что все же вы пользуетесь более расширенно по набору продуктов у Гугла, да, у OpenAI их просто нету. Там есть фотографии, есть поиск, есть YouTube и так далее. У Microsoft тоже большая достаточно своя инфраструктура. В этой зоне, в этом уровне вообще памяти есть большой риск - это сильная персонализация и повышенная чувствительность к данным. Хотя, опять же, важно понимать, что сколько бы вы данных ни давали из внешних систем, она все равно их все не сможет никаким образом обработать. И пятый уровень памяти, который существует, ну, чтобы мы прошлись, абсолютно все разобрали, это, эээ, в- Такой фоновый синтез памяти, да? Отдельный процесс обновляет, э, сводку о пользователе без ручной команды. Да? И вот, OpenAI Dreaming. Еще есть у, например, у Antropica это Cloud Memory Summaries. Это вот примеры этого, как это работает. Значит, у этой, у этой темы тоже есть большие риски. Да, это критически важно видеть видимость, это редактирование, удаление и так далее. Собственно, сейчас мы обсудим, что же выпустил ChatGPT. Еще раз Dreaming, Dreaming V3. Да, вот у них так называется. OpenAI описывает новый фоновый синтез памяти, который должен лучше бороться с устареваниями, с ошибками, с масштабированием на многолетнюю историю.
Еще раз. Невероятная, важная вещь в практическом применении вашем. Опять же, прежде чем про Dreaming V3, я чуть хочу практические вещи вам показать, потому что иначе вы можете здесь услышать в сегодняшнем выпуске такую очень большую техничность. Хотя я буду стараться сейчас делать, мы будем стараться делать очень разные выпуски на разные темы. От очень технических вещей или от очень прикладных каких-то кейсов до визионерства большого. У нас сейчас было очень много выпусков визионерства и, не знаю, вплоть до каких-то ин-- не знаю, будем вам рассказывать какие-нибудь фишки и в инвестициях, и в, и в бизнесах корпоративных, и для использования дома, да, систем. Но суть, суть важная, которая на сегодняшний день есть, что когда вы сейчас используете даже серьезные модели для того, чтобы эта серьезная модель реализовала ваш про-проект, то она знает о вашем проекте очень мало, такую небольшую частичку. И даже если вы эти все данные и загрузите, то она не будет по этим всем данным анализировать. Я приводил вам примеры, там даже были на эту тему дискуссии, что вот я часто прошу обработать, например, там, пятьдесят, тридцать или сто тысяч телефонных звонков транскрибацией для того, чтобы сделать какие-то выводы или проработать какую-то большую базу, в которой тысячи, тысячи страниц материала. Для меня всегда важная история. Я плотно это ставлю как задачу чат-- ChatGPT. Здесь мы даже сейчас не говорим про Codex, потому что это все же разные вещи. Чтобы он абсолютно каждую транскрибацию взял в работу и взял в оценку, да? Или абсолютно каждого человека, там, в компании или в корпорации взял в работу или взял в оценку, или абсолютно каждый текст использовал. То есть полностью все использовал. И ты всегда понимаешь, что там есть ограничение контекстного окна, она не полностью все может уловить. И как сделать так, чтобы дальше при следующих новых запросах система действительно работала вот в этом огромном контекстном окне? Потому что когда вы используете один чат, и вы туда загрузили огромное количество звонков, она сделала проработку, вы задали второй, третий, четвертый вопрос, ее контекстное окно, по сути, умерло, да, и она начинает оттуда данные удалять. Это очень сильно видно при разработке систем. В таких системах, как Code Code или в таких системах, как Codex, очень быстро переполняется контекстное окно, и оно начинает его автома-- автоматически это контекстное окно начинает чистить. Представим, что вот у меня есть сад, и я сказал: "Посадите мне цветок". И если я не рассказываю обо всех особенностях этого сада вокруг, то мне повредят большое количество других цветов. И вот здесь задача у системы понимать все обстоятельства вашей жизни. Знать не просто, что вы хотите сделать вечером, знать не просто какое вам надо, какую вам надо работу выбрать, а знать еще весь полностью контекст, о чем занимается ваша семья, муж, жена, дети, родители. Какие, что вы делали до этого несколько лет, что вы планируете сделать в будущем, какое у вас настроение, какое у вас здоровье. Огромное количество параметров.
Когда мы возвращаемся вообще вот к этому Dreaming OpenAI, то
Этому дриммингу OpenAI, то-- и говорим, что это такое, да? По сути, что они создали фоновый процесс как синтеза памяти. Система анализирует вот этот накопленный контекст, обновляет память, убирает устаревшее, пытается держать в голове наиболее полезные факты о пользователе и о его задачах. Обо всех его задачах и, э, о том, что он из себя представляет как человек. И на сегодняшний день можно ли о себе эть-- эту информацию забить? Э, практически нереально. Я много раз пытался делать агрегированные сводки, агрегированную информацию. ChatGPT неплохо понимает, кто я такой. В одном из выпусков да-даже я выкладывал описание ChatGPT, что оно обо мне думает. Но это всего лишь какая-то ап-- э, проекция, абстракция. Так же ровно, как здесь большое количество зрителей приходит, кто смотрел меня только на этом канале или смотрел, или видит вообще в первый раз, или не знает вообще мою жизнь, он имеет обо мне какое-то микропроцентное представление, да, кто я такой. Вот это ошибочные выводы делаются.
Ладно, ошибочные выводы вы делаете обо мне, но когда система делает ошибочные выводы о вас, они касаются вашего здоровья, это большая проблема. Чем вот это новый дримминг отличается от старой памяти? Старая модель больше зависела от явных команд, да, где вы говорили: "Запомни". И напомню вам, в ChatGPT была такая функция. Вы говорили: "Запомни", она это сохраняла в такую последовательность запоминаний. Новая модель, она должна автоматически поддерживать актуальное состояние памяти и лучше учитывать из-изменения со временем. И вообще, э, ведь OpenAI, он идет к созданию AGI. И вот этот вопрос разрешения их памяти, он, конечно, фундаментален, потому что этот вопрос фундаментален, в том числе для та-- смотрите, не для того, чтобы вам сделать лучше. Честно. Они делают, э, AGI и делают будущее современные-- современный, умный, крутой искусственный интеллект. Они хотят то, чтобы эта модель сама обучалась, а чтобы она сама обучалась, у нее должно работать, конечно, очень правильно контекстное окно, должна работать правильно память. Тут вопрос контекстного окна, память. Кто сейчас выглядит сильнее всего по памяти, да? По личной и долгосрочной памяти. Это, конечно, OpenAI. Э, неплохо работает Claude, хотя у меня к нему лично есть вопросы. По профессиональному контуру считается, что хорошо работает Microsoft Copilot, э, Gemini Google. И то, что, да, конечно, идет Anthropic.
А, есть понятно, что поиск-- поисковые браузерные системы, сейчас много у кого это внедрено. И одним из первых таких историй с точки зрения поиска был Perplexity. Вы знаете, что я не сверхлюбитель этой компании, но все же ее стоит упомянуть, да. Сейчас это уже повсеместно начинают внедрять все крупные производители поисковых систем. Какой есть риск вот у текущего дримминга, который стоит? Это ошибочная или устаревшая память может влиять на все будущие ответы. И поэтому важны видимость памяти, возможность редактирования, удаления из источников, какой-то временный режим без памяти, какие-то корпоративные политики. Кстати, вот, в частности, работа без памяти. Я периодически провожу какие-то анализы в интернете, и мне часто надо провести анализы в интернете, когда, а, система не знает ничего обо мне. Ну и, конечно, вы имеете возможность включить вот эту частную сессию. У вас в каждом чате есть частная сессия, которая не сохраняется. Эти сессии не используют память, чтоб вы знали. В чате ChatGPT она тоже не использует память. Когда-то в чате даже некоторые модели не использовали память. Было время, модель Pro не использовала память. Интересная история, а как сделать так, чтобы па-- модель помнила о вас кусок, а кусок забыла? Или, например, когда вы можете зайти и по-настоящему разобраться, а в том, что она о вас знает? Потому что, а, она же могла о вас сформировать мнение, а вы с этим мнением не до конца согласны. У меня очень много таких вещей, чуть ли не ежедневно в разных системах, что, ам, в разных системах, что система делает один вывод, а я думаю совершенно по-другому. Один, кстати, из последних выводов - это когда моя команда, один из моих редакторов посчитала, что я сейчас очень много рассказывал про native soft. Это, э, программное обеспечение, которое создается исключительно искусственным интеллектом. И она посчитала, что вот этот AI native soft - это будущее, и все люди будут создавать такой софт. Э, по крайней мере, я это увидел в некоторых, э, выводах, которые она делала. И я сказал, что я уверен, что люди не будут создавать никакого программного обеспечения, и особенно программное обеспечение, которое делает полностью искусственный интеллект.
Это будет прерогативой некоторой группы людей, да. И это будет прерогативой больших и сложных систем. Но вот разобраться в этом, понять, как это работает, и начать использовать это, это для себя сейчас, чтобы вообще ощутить всю мощь искусственного интеллекта, это очень важная история, да. И вот если воз-вернуться к, опять же, к дриммингу и посмотреть на главный стратегический вывод, который вообще есть в этой истории, что память превращает ассистента искусственного интеллекта в долговременную операционную систему отношений с пользователем, да. И кто контролирует этот слой, тот получает сильную привязку пользователя к продукту. И вот мы как раз в последнем нашем выпуске в подкасте, который сейчас выходил несколько дней назад, говорили с Эльнаром, поднимали вопросы с Таней, что будет с моделями, какие будут цены на эти модели, когда, э, м, компании, такие как Anthropic, как OpenAI, выйдут на IPO, ну, разместятся, публично-- публичными компаниями станут. И как раз-таки, я думаю, что вот, э, вывод, который я сейчас сделал с той точки зрения, что вот этот стратегический вывод, что кто контролирует слой памяти, тот получает сильную привязку пользователя к продукту. Это и есть, э, то будущее, кто будет владеть, э, м, скажем так, всеми деньгами, а, в искусственном интеллекте. Конечно, удивительная вещь. Я очень рад, что они делают это развитие. Что вы думаете на тему памяти? Готовы ли вы делиться памятью с искусственным интеллектом? Видите ли вы в этом проблему безопасности? Потому что, конечно же, когда система обрабатывает постоянно, бесконечно информацию о вас, о ваших разговорах, о ваших чатах, важно понимать, что она обучается по поводу вас. И она делает файнтюнинг, то, что профессиональный сленг, конкретно про вас, про вас лично, про вашу жизнь. Потому что сегодня то, что у нее есть тысячи моих чатов, это, конечно, не файнтюнинг, потому что вот эту настройку и файнтюнинг этот, ее необходимо делать постоянно, чтобы система жила. А постоянно - это постоянно, просто бесконечно общаться, анализировать, достраивать, анализировать и смотреть, как я реагирую на чаты, как я реагирую на ответы, где я благодарен, где я ругаюсь, где я даже спасибо готов сказать, а где я пишу, что система, м, очень странная, плохая, некорректная, и даже использую какую-то плохую лексику. Я думаю, конечно, что они идут в сторону файнтюнинга людей. Подписывайтесь на канал, пишите. Это канал To The Moon. Всем пока.