Self-Hosted on CodeOnTime

Наш опыт: 1 млрд токенов/сутки на consumer-железе

Sun, 13 Sep 2026 00:00:00 +0000

Это не теория и не «best practices из документации». Это история реального production-деплоя, который мы построили и эксплуатируем: от Tesla M40 до четырёх узлов по 2×RTX 3090, 12 протестированных моделей, 4 итерации тюнинга vLLM за 3 недели и собственный балансировщик для LLM-трафика.

Почему мы собрали LLM-сервер, который жжёт миллиард токенов в сутки

Fri, 14 Aug 2026 00:00:00 +0000

Хук: момент, когда API стал болью

В марте 2026 мы посмотрели на счёт за Claude API — $4,200 за месяц — и поняли: наш код-агент сжигает больше токенов, чем мы зарабатываем.

1 млрд токенов/сутки на consumer-железе

Mon, 01 Jan 0001 00:00:00 +0000

Обзор

Это не теория и не «best practices из документации» — это история реального production-деплоя, который мы построили и эксплуатируем: от Tesla M40 до четырёх узлов по 2×RTX 3090, 12 протестированных моделей, 4 итерации тюнинга vLLM за 3 недели и собственный балансировщик для LLM-трафика.