Python

vLLM

Hochdurchsatzbereitstellung für die Produktion

von vllm-project · Apache-2.0

uv pip install vllm

Was ist vLLM?

vLLM ist eine Hochdurchsatz-Inferenz- und Bereitstellungsengine, die PagedAttention verwendet, um die GPU-Auslastung zu maximieren, die Standardwahl für die Bereitstellung offener Modelle in großem Maßstab.

Warum Menschen vLLM wählen

• Best-in-Class-Durchsatz über PagedAttention
• OpenAI-kompatibler Server, breite Modellunterstützung
• Der De-facto-Standard für die Produktionsbereitstellung

vLLM auf einen Blick

Open-Source-Alternativen zu vLLM

Andere Open-Source-Inferenzserver-Tools, die einen Vergleich wert sind:

TGIHugging Face's Produktions-TextserverSGLangSchnelle Bereitstellung mit strukturierten AusgabenLMDeployToolkit zum Komprimieren und Bereitstellen von LLMsAphrodite EngineHochdurchsatz-LLM-BereitstellungTensorRT-LLMMaximale Durchsatzrate auf NVIDIA GPUsOpenLLMJedes offene Modell als OpenAI API mit einem Befehl bereitstellenKTransformersFühren Sie riesige MoE-Modelle auf einer Verbraucher-GPU ausRay ServeSkalieren Sie das Modell-Serving über einen ClusterBentoMLPacken Sie jedes Modell in eine Produktions-API

vLLM im direkten Vergleich

Häufig gestellte Fragen