Вывод модели

Вывод модели — inference — в ToTheMoon почти всегда обсуждается через деньги и железо, а не через алгоритмы. Понятие всплывает, когда ведущие спорят о том, где в цепочке «обучить — запустить — продать» находится настоящая экономика ИИ: кто платит за каждый ответ, на каких чипах он считается и почему скорость ответа превращается в отдельный платный товар.

Уже в 2024 году в выпуске 007 inference появлялся дважды: как впечатляющая скорость Groq на небольшой модели и как статья расходов, куда компании вкладывают инвесторские деньги без положительной юнит-экономики. В выпуске 024 при разборе рассуждающих моделей ведущие раскладывали цикл на pre-training, post-training и inference time и называли последний самым важным, потому что именно он учит модель думать. В выпуске 040 и выпуске 043 inference стал аргументом про NVIDIA: раз запуск модели — задача проще обучения, на этом рынке компания уязвимее для конкуренции.

С 2025 года разговор сместился к скорости и цене. В выпуске 070 на примере Groq и Cerebras сформулирован вывод, что компаниям часто нужна не самая большая модель, а дешёвая и очень быстрая обработка миллионов запросов. В выпуске 098 рост скорости моделей объясняли связкой архитектуры, инференса, контекста и инструментов, а в выпуске 105 предсказывали доплату за ускоренный инференс на специальном железе. В выпуске 106 прозвучала мысль, что инференс сам по себе очень выгоден и компании были бы прибыльны, остановись гонка обучения. В выпуске 127 собственный чип OpenAI разбирали как контроль над стоимостью инференса, а не как престиж.