TensorRT-LLM
TensorRT LLM bietet Benutzern eine benutzerfreundliche Python-API zum Definieren von großen Sprachmodellen (LLMs) und unterstützt modernste Optimierungen, um Inferenz effizient auf NVIDIA-GPUs durchzuführen. TensorRT LLM enthält auch Komponenten zur Erstellung von Python- und C++-Laufzeiten.
Beanspruchen Sie die Seite: indexiert unabhangig vom Rang, in sechs Sprachen ubersetzt und mit Ihren eigenen Worten erganzt.
Erhalten Sie eine E-Mail-Benachrichtigung beim nächsten Release oder wenn es durchstartet.
Kostenlos · ohne Karte · jederzeit abbestellbarTensorRT LLM bietet Benutzern eine benutzerfreundliche Python-API zum Definieren von großen Sprachmodellen (LLMs) und unterstützt modernste Optimierungen, um Inferenz effizient auf NVIDIA-GPUs durchzuführen. TensorRT LLM enthält auch Komponenten zur Erstellung von Python- und C++-Laufzeiten.
TensorRT-LLM hat 14.5k Sterne auf GitHub. Es wurde 2.7k-mal geforkt. TensorRT-LLM ist hauptsächlich in C++/Python geschrieben. Es wird seit 2023 aktiv entwickelt. Die Hauptthemen sind: blackwell, cuda, llm-serving, moe.
Read the full guideWas ist TensorRT-LLM?
TensorRT LLM bietet Benutzern eine benutzerfreundliche Python-API zum Definieren von großen Sprachmodellen (LLMs) und unterstützt modernste Optimierungen, um Inferenz effizient auf NVIDIA-GPUs durchzuführen. TensorRT LLM enthält auch Komponenten zur Erstellung von Python- und C++-Laufzeiten.
Ist TensorRT-LLM Open Source?
TensorRT-LLM ist ein Open-Source-Projekt.
Ist TensorRT-LLM kostenlos?
Ja. TensorRT-LLM ist kostenlos und Open Source — Sie können es nutzen, anpassen und selbst hosten.
In welcher Sprache ist TensorRT-LLM geschrieben?
TensorRT-LLM ist hauptsächlich in C++/Python geschrieben.
Fügen Sie dieses Live-Abzeichen zu Ihrem README hinzu — Ihre GitHub-Sterne und Verzeichnisrang, täglich aktualisiert.
[](https://olud.ai/project/nvidia-tensorrt-llm.html)
Ermittelt aus gemeinsamen GitHub-Topics beider Projekte, gewichtet nach ihrer Seltenheit.