Блог
Статьи о внедрении ИИ в бизнес: где ИИ окупается, что это значит для 152-ФЗ, чек-лист перед покупкой железа. Плюс технические разборы — метрики, квантизация, on-prem.
Наш опыт: 1 млрд токенов/сутки на consumer-железе
Референс-деплой CodeOnTime: 1 млрд токенов/сутки на 4×(2×RTX 3090). Пять частей — от железа и подбора модели до тюнинга vLLM, собственного балансировщика и тономики.
1 млрд токенов/сутки: финальная архитектура, тономика и что мы бы сделали по-другому
Часть 5 серии «Наш опыт»: финальная схема 4×(2×RTX 3090), честный расчёт 1 млрд токенов/сутки (пик), тономика (~$4,500/год против $35–125K API, 1M токенов ~1–1.5 ₽, payback 1–2 месяца) и 5 уроков пути.
Мы написали балансировщик для 4 реплик vLLM: почему NGINX не работает для LLM
Часть 4 серии «Наш опыт»: почему round-robin убивает throughput LLM-инференса и как собственный Python-балансировщик (soft sticky + least-loaded + health без user traffic) держит сессии на тёплой KV-cache. Четыре production-инцидента, которые сформировали алгоритм.
vLLM на 2×RTX 3090: от 18 до 100 tok/s — MTP, TP, KV-cache, OMP_NUM_THREADS
Часть 3 серии «Наш опыт»: 4 итерации тюнинга vLLM — MTP-декодирование, KV-cache на 256K, OMP_NUM_THREADS=1, mamba-cache-mode. Полный финальный конфиг и бенчмарк до/после.
Как мы выбрали Qwen3.8-27B из 12 моделей: бенчмарки, MTP и почему 27B — sweet spot
Часть 2 серии «Наш опыт»: сравнение 12 моделей на 2×RTX 3090 — Terminal-Bench, DeepSWE, MTP, VRAM. Почему 27B — оптимум для агентного кодинга.
Ваши данные в чужих нейросетях: что это значит для 152-ФЗ и что с этим делать
Корпоративный ИИ on-premise: что происходит с вашими данными в чужих нейросетях, что это значит для 152-ФЗ и банков, и как развернуть ИИ так, чтобы данные не покидали компанию.
Где ИИ реально окупается в компании: 5 сценариев с расчётом
Внедрение ИИ в бизнес: 5 сценариев, где ИИ и автоматизация реально окупаются — заявки, поддержка, документооборот, 1С/CRM, отчёты. С расчётом эффекта в часах и деньгах.
Купили сервер с видеокартами — и что теперь? Чек-лист, прежде чем платить за ещё железо
Купили сервер с видеокартами, а он стоит? Чек-лист: что проверить в уже купленной ИИ-инфраструктуре, прежде чем платить за ещё железо. Свое железо vs облако — расчёт.
RAG: как мерить качество, чтобы «стало лучше» было числом
Как мерить качество RAG: evals, groundedness, faithfulness, полнота. Строим датасет, считаем метрики до/после — чтобы «стало лучше» было числом, а не впечатлением.
Как развернуть T-Pro/Qwen в закрытом контуре: чек-лист
Чек-лист развёртывания T-Pro и Qwen в закрытом контуре: air-gapped, 152-ФЗ, НУЦ. GPU, vLLM, квантизация, gateway — пошагово, без внешнего интернета.
Облако vs on-prem: когда своё железо оправдано — расчёт
Облако против on-prem для LLM-инференса: FinOps-расчёт, когда своё железо окупается. Стоимость токена, нагрузка, 152-ФЗ — считаем, а не гадаем.
Почему мы собрали LLM-сервер, который жжёт миллиард токенов в сутки
Часть 1 серии «Наш опыт»: мотивация self-hosted LLM-инференса и путь железа от Tesla M40 до 4×(2×RTX 3090) — с цифрами на каждой фазе.
AWQ vs GGUF vs INT4: что выбрать под ваше железо (на примерах Qwen)
Квантизация LLM: AWQ против GGUF против INT4. Что выбрать под ваше железо на примерах Qwen. VRAM, качество, скорость — разбор без воды.
vLLM: как читать метрики и не обмануть себя бенчмарком
Как читать метрики vLLM: decoding throughput, p95 latency, TTFT, время запуска. Типичные ошибки бенчмарка и как не обмануть себя. vLLM тюнинг на реальных цифрах.