Как развернуть T-Pro/Qwen в закрытом контуре: чек-лист

Проблема

Развернуть LLM в закрытом контуре — это не «поставить Docker». Нет внешнего интернета, нет доступа к Hugging Face, требования 152-ФЗ и НУЦ. Если просто скопировать инструкции из интернета, упрётесь в стену на первом же pip install. Ниже — чек-лист, который закрывает типичные провалы.

Чек-лист

1. Железо и VRAM

• Определить модель и её квантизацию (T-Pro / Qwen, AWQ/GGUF/INT4).
• Посчитать VRAM: веса + KV-cache + overhead. Запас на пиковый batch.
• Проверить, что GPU поддерживает нужный тип квантизации.

2. Подготовка артефактов (до входа в контур)

• Скачать веса модели и рантайм в разрешённом контуре.
• Подготовить offline-пакет: vLLM/llama.cpp + зависимости + драйверы.
• Проверить НУЦ-статус модели и компонентов (для 152-ФЗ).

3. Развёртывание в контуре

• Установить рантайм по offline-пакету (без pip install из интернета).
• Поднять инференс (vLLM) и проверить health-check.
• Настроить LLM-gateway: роутинг, лимиты, логирование.

4. Проверка качества

• Прогнать evals-датасет внутри контура.
• Замерить метрики: throughput, TTFT, p95, время запуска.

5. Эксплуатация

• Мониторинг и алерты (внутри периметра).
• Плановые обновления рантайма по offline-каналу.
• SLA: реакция на инциденты.

Частые провалы

• Попытка pip install внутри контура — не работает, нужен offline-пакет.
• Заложить KV-cache «на глаз» — нехватка VRAM под нагрузкой.
• Забыть про НУЦ — модель работает, но контур не проходит комплаенс.

Вывод

Закрытый контур — это дисциплина: артефакты готовятся до входа, всё ставится по offline-пакету, качество и метрики проверяются внутри периметра. Следуйте чек-листу — и развёртывание T-Pro/Qwen в air-gapped превращается из приключения в рутину.