1 млрд токенов/сутки: финальная архитектура, тономика и что мы бы сделали по-другому

Wed, 02 Sep 2026 00:00:00 +0000

Хук: ~$4,500/год против API

1 млрд токенов в сутки. В пике. В среднем — 600–750M/сутки, ≈220–275B в год. Если бы этот объём шёл через API, он стоил бы $35–125K в год в зависимости от blended-тарифа. На нашем железе — ~$4,500/год. Вот как мы дошли до этой цифры — и как ловили себя на нечестных расчётах по пути.

Мы написали балансировщик для 4 реплик vLLM: почему NGINX не работает для LLM

Tue, 01 Sep 2026 00:00:00 +0000

Хук: NGINX не понимает LLM

NGINX round-robin для LLM — это как раздавать билеты в кино: кто пришёл, тот сел. Но LLM-запросы — не билеты.

Architecture on CodeOnTime

1 млрд токенов/сутки: финальная архитектура, тономика и что мы бы сделали по-другому

Хук: ~$4,500/год против API

Мы написали балансировщик для 4 реплик vLLM: почему NGINX не работает для LLM

Хук: NGINX не понимает LLM