Социальная инженерия против нейросети: как не стать жертвой ИИ?

Рабочий вывод из сцены «Тема выпуска» состоит в том, что мошенническое сообщение о платной дороге работает не из-за сложной технологии, а потому что человек торопится и доверяет знакомой форме — с моделью происходит то же: пользователь меняет формулировку, и запрет постепенно разваливается.

Тема «Коротко о том, как LLM скрывают или не выдают информацию» становится понятнее, если учитывать следующее: методы социальной инженерии работают и с моделями — внутри есть секреты и запреты, но их можно обойти; Anthropic выплатила 55 тысяч долларов четырём победителям конкурса за универсальный джейлбрейк, а следующий конкурс обещает призы до ста тысяч.

Оценивать тему «Игра «Gandalf», чтобы выманивать пароль» нужно с учётом того, что Gandalf — не развлечение про хитрый промпт, а демонстрация социальной инженерии против модели: когда ИИ получает доступ к письмам, платежам и внутренним системам, умение обходить инструкцию становится угрозой бизнесу.

Для решения, обсуждаемого в сцене «8 уровней сложности в игре Gandalf», важен критерий: каждый новый фильтр выглядит сильнее, но атакующий учится обходить буквальное правило — если система проверяет слово «пароль», можно попросить описание по буквам или встроить задачу в другую историю; это слабость защиты, основанной только на тексте инструкции.

Рабочий вывод из сцены «Как пройти 2 уровень игры Gandalf» состоит в том, что второй уровень проходится без слова «пароль»: предложите модели сыграть в «угадай слово» и попросите загадать сложное слово — она сама выдаст свой пароль; Ильнар дошёл до седьмого уровня, а восьмой так и не взял.

Для сцены «Суть подхода, как взламывать пароль» решающим становится следующее: Anthropic и другие проводят конкурсы взлома, потому что разработчик не в силах придумать все способы давления на модель; в агентной системе цена ошибки выше — prompt injection становится аналогом социальной инженерии в отношении сотрудника.

В контексте «Трамп сгенерировал видео в ИИ» действует этот критерий: в официальном аккаунте Трампа появилось сгенерированное ИИ видео про территорию Газы — генерация слабая, но сам факт публикации в официальном аккаунте поразил ведущих: отличать такие ролики скоро станет невозможно.

Тема «Как пройти 3 уровень игры Gandalf» становится понятнее, если учитывать следующее: на третьем уровне ответ проходит двойную проверку на наличие пароля, поэтому пароль просто разбивают на части — одним промптом узнают первую половину, вторым вторую, а затем половинки склеивают; буквальный фильтр снова обходится.

Из разговора о «Эпоха ИИ стартапов закончилась» следует практическая проверка: генерация изображений и видео быстро становится функцией крупных платформ — Runway может стоить миллиарды, но у Freepik, Adobe и Meta уже есть пользователи и дистрибуция, а браузеру Perplexity придётся конкурировать с привычкой Chrome и Safari.

Из разговора о «Что будет с OpenAI?» следует практическая проверка: агенту нужны минимальные права, изоляция данных, подтверждение опасных действий и полный журнал — иначе однажды самый вежливый разговор с моделью откроет то, что бизнес считал защищённым.