https://codeontime.ru/tags/%D0%B8%D0%BD%D1%84%D0%B5%D1%80%D0%B5%D0%BD%D1%81/Recent content in Инференс on CodeOnTimeHugoru-ruMon, 10 Aug 2026 00:00:00 +0000https://codeontime.ru/blog/vllm-metrics-benchmark/Mon, 10 Aug 2026 00:00:00 +0000https://codeontime.ru/blog/vllm-metrics-benchmark/<h2 id="проблема">Проблема</h2> <p>«Мы прогнали бенчмарк и vLLM показывает 400 tok/s» — звучит убедительно, но за этим числом легко спрятать проблему. Бенчмарк LLM-инференса — это не одно число. Если читать только «средний throughput», можно принять решение о закупке железа или выборе модели, которое потом не окупится.</p>