ИИ-Инфраструктура on CodeOnTimehttps://codeontime.ru/categories/%D0%B8%D0%B8-%D0%B8%D0%BD%D1%84%D1%80%D0%B0%D1%81%D1%82%D1%80%D1%83%D0%BA%D1%82%D1%83%D1%80%D0%B0/Recent content in ИИ-Инфраструктура on CodeOnTimeHugoru-ru1 млрд токенов/сутки на consumer-железеhttps://codeontime.ru/cases/infrastructure-tuning/Mon, 01 Jan 0001 00:00:00 +0000https://codeontime.ru/cases/infrastructure-tuning/<h2 id="обзор">Обзор</h2> <p>Это не теория и не «best practices из документации» — это история реального production-деплоя, который мы построили и эксплуатируем: от Tesla M40 до четырёх узлов по 2×RTX 3090, 12 протестированных моделей, 4 итерации тюнинга vLLM за 3 недели и собственный балансировщик для LLM-трафика.</p>