Мы написали балансировщик для 4 реплик vLLM: почему NGINX не работает для LLM

Tue, 01 Sep 2026 00:00:00 +0000

Хук: NGINX не понимает LLM

NGINX round-robin для LLM — это как раздавать билеты в кино: кто пришёл, тот сел. Но LLM-запросы — не билеты.