Qwen
Как развернуть T-Pro/Qwen в закрытом контуре: чек-лист
Проблема
Развернуть LLM в закрытом контуре — это не «поставить Docker». Нет внешнего интернета, нет доступа к Hugging Face, требования 152-ФЗ и НУЦ. Если просто скопировать инструкции из интернета, упрётесь в стену на первом же pip install. Ниже — чек-лист, который закрывает типичные провалы.
Как развернуть T-Pro/Qwen в закрытом контуре: чек-лист
Проблема
Развернуть LLM в закрытом контуре — это не «поставить Docker». Нет внешнего интернета, нет доступа к Hugging Face, требования 152-ФЗ и НУЦ. Если просто скопировать инструкции из интернета, упрётесь в стену на первом же pip install. Ниже — чек-лист, который закрывает типичные провалы.
AWQ vs GGUF vs INT4: что выбрать под ваше железо (на примерах Qwen)
Проблема
«Нам нужна Qwen, но не влезает в VRAM». Ответ почти всегда — квантизация. Но форматов несколько: AWQ, GGUF, INT4, и каждый по-разному влияет на VRAM, качество и скорость. Выбор «на слух» приводит к тому, что модель либо не влезает, либо деградирует, либо медленнее, чем могла бы.