Python

SGLang

Service rapide avec des sorties structurées
par sgl-project · Apache-2.0
32 997étoiles8 407forksPythonlangue9 il y a quelques joursdernière poussée
Serveur d'inférenceServeur d'inférenceApache-2.0Auto-hébergéPythonAvancé

Depuis le README

Documentation ↗

Extraits du README du projet sur GitHub. Le droit d'auteur et les licences restent la propriété des auteurs respectifs.

🛡 Avis de sécurité publiés
Un nombre élevé signifie généralement que le projet est fortement examiné. Un nombre faible signifie généralement qu'il est peu examiné — cela ne veut pas dire qu'il est sûr.
Aucun signal d'activité publique pour cet outil — il n'a pas de dépôt ouvert que nous pouvons mesurer.
Olud Pulse ⓘ ★★★★★★★★★★ /100 signaux suivis
🐳 téléchargements Docker 📦 téléchargements PyPI / mois 📦 téléchargements npm / mois 🚀 Dernière version ·
Visitez le site →Voir sur GitHub

Qu'est-ce que SGLang ?

SGLang est un cadre de service rapide pour les LLMs et les modèles de vision-langage, avec RadixAttention et un fort soutien pour la génération structurée et programmatique.

Pourquoi les gens choisissent SGLang

SGLang en un coup d'œil

CatégorieServeur d'inférence
TypeServeur d'inférence
LicenceApache-2.0
S'exécute localementAuto-hébergé
Construit avecPython
Niveau de compétenceAvancé
Meilleur pouréquipes ayant besoin de servir des sorties structurées
Voir les statistiques et l'activité GitHub

Alternatives open-source à SGLang

Autres outils de serveur d'inférence open-source à comparer :

vLLMService à haut débit pour la productionTGIServeur de texte en production de Hugging FaceLMDeployBoîte à outils pour compresser et servir les LLMsAphrodite EngineService LLM à haut débitTensorRT-LLMDébit maximal sur les GPU NVIDIAOpenLLMServez n'importe quel modèle ouvert comme une API OpenAI en une commandeKTransformersExécutez d'énormes modèles MoE sur un GPU grand publicRay ServeÉvoluez le service de modèles à travers un clusterBentoMLEmballer n'importe quel modèle dans une API de production

SGLang en tête-à-tête

SGLang vs vLLMSGLang vs TGISGLang vs LMDeploySGLang vs Aphrodite EngineSGLang vs TensorRT-LLMSGLang vs OpenLLMSGLang vs KTransformersSGLang vs Ray ServeSGLang vs BentoML

FAQ

SGLang est-il gratuit ?

SGLang est gratuit et open-source (licence Apache-2.0), vous pouvez donc l'utiliser, l'héberger vous-même et le modifier sans frais.

Puis-je exécuter SGLang localement ?

Oui. SGLang est conçu pour fonctionner sur votre propre machine ou serveur, gardant vos données privées.

Quelle est la meilleure alternative à SGLang ?

Les alternatives open-source populaires incluent vLLM, TGI, LMDeploy. Consultez les comparaisons ci-dessus pour choisir.

Explorez plus d'IA open-source

Parcourez le répertoire complet des outils, modèles et projets d'IA open-source — mis à jour quotidiennement.

Parcourez tous les outils →