ИИ-инфраструктура Оптимизация

1 млрд токенов/сутки на consumer-железе

Наш референс-деплой: production-инференс на vLLM, 80–100 tok/s на человека, 1–1.5 ₽ за 1M токенов — на 4×(2×RTX 3090)

Наш собственный production-деплой (референс)

Задача

Нужно было перестать быть пользователями чужих API и стать операторами своей ИИ-инфраструктуры: данные внутри периметра, предсказуемая себестоимость, независимость от лимитов провайдера. При этом — без H100-кластера: только доступное и по карману железо.

Что сделали

  • Построили ферму из доступного consumer-железа: 4 узла по 2×RTX 3090.
  • Подобрали модель под задачу: Qwen3.8-27B-AWQ-MTP из 12 протестированных.
  • Дожали vLLM: 4 итерации тюнинга (MTP, KV-cache, OMP, cache-mode) — от 18 до 75–100 tok/s.
  • Написали собственный балансировщик для LLM-трафика (NGINX round-robin не работает для LLM).
Как это устроено
Инференс на vLLM (TP=2, MTP-спекулятивное декодирование, KV-cache 256K). Слой балансировки — компактный Python-сервис: least-loaded + soft sticky + health без пользовательского трафика. Управление репликами — GPUStack (auto-restart, мониторинг). Полный стек — с конфигами, ошибками и тономикой — в серии «Наш опыт» из пяти частей.

Этапы

1

Железо

От Tesla M40 до 4×(2×RTX 3090)

  • Путь в 4 фазы: M40 → 2 consumer-сервера → 2×3090 → 4 узла
  • Питание и отказоустойчивость: 4 узла вместо одной точки отказа
2

Модель

Qwen3.8-27B из 12

  • Бенчмарки 12 моделей: Terminal-Bench, DeepSWE, VRAM
  • MTP как ключевой фактор скорости на 3090
3

Тюнинг vLLM

18 → 75–100 tok/s

  • MTP, KV-cache 256K, OMP_NUM_THREADS=1, mamba-cache-mode
  • Нагрузочное тестирование и отчёт до/после
4

Балансировка

Собственный балансировщик

  • least-loaded + soft sticky + health без user traffic
  • 4 production-инцидента, сформировавшие алгоритм

Результат

1 млрд ток/сутки
пиковая нагрузка (в среднем 600–750M/сутки)
80–100 tok/s
на каждого пользователя
1–1.5 ₽
за 1M токенов (против 12–42 ₽ у API)
~$4,500/год
себестоимость (против $35–125K через API)
3.5 кВт
мощность фермы, 24/7
1–2 мес
payback period

Стек

vLLM Qwen3.8-27B-AWQ-MTP RTX 3090 Tensor Parallelism Собственный балансировщик GPUStack

Какую услугу это закрывает

Оптимизация ИИ: быстрее и дешевле

Считаем, сколько вы переплачиваете за ИИ, и дожимаем то, что уже куплено: быстрее, дешевле, стабильнее. На своём production-деплое мы довели инференс до 1 млрд токенов/сутки на consumer-железе — и знаем, где именно теряются деньги.

Открыть проект

Хотите похожий результат?

Расскажите о задаче — ответим с планом и оценкой в течение 24 часов.

Обсудить задачу

Расскажите о задаче

Ответим с планом и оценкой в течение 24 часов.