TensorRT-LLM
TensorRT LLM fournit aux utilisateurs une API Python facile à utiliser pour définir des modèles de langage large (LLMs) et prend en charge des optimisations à la pointe de la technologie pour effectuer des inférences efficacement sur les GPU NVIDIA. TensorRT LLM contient également des composants pour créer des environnements d'exécution Python et C++
Revendiquez sa page : indexée quel que soit son rang, traduite en six langues, et enrichie de vos propres mots.
Recevez une alerte par e-mail à sa prochaine version ou quand il décolle — ne ratez plus rien.
Gratuit · sans carte · désinscription à tout momentTensorRT LLM fournit aux utilisateurs une API Python facile à utiliser pour définir des modèles de langage large (LLMs) et prend en charge des optimisations à la pointe de la technologie pour effectuer des inférences efficacement sur les GPU NVIDIA. TensorRT LLM contient également des composants pour créer des environnements d'exécution Python et C++
TensorRT-LLM compte 14.5k étoiles sur GitHub. Il a été forké 2.7k fois. TensorRT-LLM est écrit principalement en C++/Python. Il est développé activement depuis 2023. Ses principaux thèmes sont : blackwell, cuda, llm-serving, moe.
Read the full guideQu'est-ce que TensorRT-LLM ?
TensorRT LLM fournit aux utilisateurs une API Python facile à utiliser pour définir des modèles de langage large (LLMs) et prend en charge des optimisations à la pointe de la technologie pour effectuer des inférences efficacement sur les GPU NVIDIA. TensorRT LLM contient également des composants pour créer des environnements d'exécution Python et C++
TensorRT-LLM est-il open source ?
TensorRT-LLM est un projet open source.
TensorRT-LLM est-il gratuit ?
Oui. TensorRT-LLM est gratuit et open source — vous pouvez l'utiliser, le modifier et l'héberger vous-même.
Dans quel langage TensorRT-LLM est-il écrit ?
TensorRT-LLM est écrit principalement en C++/Python.
Ajoutez ce badge en direct à votre README — vos étoiles GitHub et votre classement dans le répertoire, actualisés quotidiennement.
[](https://olud.ai/project/nvidia-tensorrt-llm.html)
Mesuré à partir des topics GitHub communs aux deux projets, pondérés par leur rareté.