Плагины и скиллы могут ухудшать ИИ? Новые правила работы с сильными моделями

Соло-выпуск ToTheMoon с Александром Волчеком о плагинах, скиллах и инструкциях — и о том, нужны ли они вообще новым сильным моделям. Интернет пестрит подборками «лучших плагинов» для систем, которые сами работают поверх OpenAI или Anthropic; Александр повторяет свой совет концентрироваться на серьёзных моделях и объясняет, что такое плагин: заранее заданная «комната» из ограничений и инструкций, чтобы модель лучше работала в своей области, — как плагин здоровья в OpenAI, к которому подключается Apple Health.

Первый повод — команда claude plugin eval, которую Anthropic только что добавила в Claude Code. Она выполняет каждую задачу три раза с плагином и три раза без него в чистой среде, оценивает ответы, файлы и действия агента шестью типами проверок — совпадение текста, вызов инструмента, порядок вызовов, наличие файлов, оценка моделью, сравнение с эталоном — и выдаёт долю пройденных проверок. Читать результат надо через контрольную группу: 70 % без плагина и 90 % с ним — улучшение; 95 % и 95 % — его нет, и сравнивать нужно время и стоимость; 0 % и 95 % чаще всего значат, что плагин просто открыл доступ к данным. Плагин и ограничивающая инструкция — не одно и то же: плагин — пакет расширения с навыками, агентами, обработчиками событий и подключениями, навык — инструкция, а не дообученная модель. Расширение даёт три вещи: доступ и действия, специальные знания и готовые решения, правила и порядок работы. Но часто лишние инструкции ухудшают результат: в Codex, GPT-6 Astra и Fable задачи без описания решаются не хуже, а с появлением Fable началась «эра без промптов». Ограничения при этом не всегда недостаток — правило «не отправлять письмо без подтверждения» замедлит систему, но даст контроль.

Второй повод — материал OpenAI от 11 сентября «Переосмотрение навыков и инструкций для GPT-6 Astra»: длинные пересекающиеся описания навыков затрудняют выбор, слишком широкие условия активации грузят лишние инструкции, а пошаговые сценарии, помогавшие прежним моделям, ограничивают более сильную; обязательное чтение большой документации перед каждым изменением расходует контекст и время. OpenAI предлагает короткое описание назначения, подгрузку подробностей по необходимости и регулярный пересмотр старых требований, а также напоминает, что одну инструкцию разные модели понимают по-разному, — Александр видит в этом столкновение Codex и Claude в своих проектах и делится наблюдением из Fable, где старую задачу он решил в контекстном окне, которому больше месяца, а модель отказалась перезапускаться. Дальше — отчёт OpenAI «Testing Agent Skills Systematically with Evals» с четырьмя сторонами оценки навыка, исследование SkillBench на 87 заданиях с ростом успешности с 35 до 50 %, исследование Agents.md с ростом расходов больше чем на 20 % без роста успешности и классификация Anthropic: навыки, компенсирующие недостатки модели, отмирают, навыки, фиксирующие процессы команды, живут дольше. Собственный опыт ведущего — интеграция ChatGPT Health, которая лезла во все чаты о здоровье, и Photoshop, который система пыталась открыть вместо того, чтобы сделать самой, — иллюстрирует вывод: работать с передовыми моделями напрямую, в ChatGPT, Codex и Claude Code, а плагины тестировать с пониманием, что это такое.

Ценность выпуска в том, что спор «нужны ли плагины» переведён из вкусового в измеримый: у Anthropic теперь есть инструмент сравнения с плагином и без него, у OpenAI — инженерные наблюдения о том, что старые навыки ограничивают новую модель, а у независимых тестов — цифры в обе стороны. Ведущий не отрицает пользу расширений там, где они дают доступ к данным или закрепляют процессы команды, но настаивает, что понимание моделей приходит только из прямой работы с ними. Практический вывод: прежде чем подключать чужую надстройку, проверить, что она даёт именно новую возможность, а не лишний контекст.