TensorRT-LLM
TensorRT LLM fornisce agli utenti un'API Python facile da usare per definire Modelli di Linguaggio di Grandi Dimensioni (LLM) e supporta ottimizzazioni all'avanguardia per eseguire inferenze in modo efficiente su GPU NVIDIA. TensorRT LLM contiene anche componenti per creare runtime Python e C++
Ottimizza ed esegui modelli di linguaggio di grandi dimensioni su GPU NVIDIA con un'interfaccia Python facile da usare.
Rivendica la sua pagina: indicizzata qualunque sia il rango, tradotta in sei lingue e arricchita con le tue parole.
Ricevi un avviso via email alla prossima release o quando decolla — non perderti nulla.
Gratis · senza carta · disdici quando vuoiTensorRT LLM fornisce agli utenti un'API Python facile da usare per definire Modelli di Linguaggio di Grandi Dimensioni (LLM) e supporta ottimizzazioni all'avanguardia per eseguire inferenze in modo efficiente su GPU NVIDIA. TensorRT LLM contiene anche componenti per creare runtime Python e C++
TensorRT-LLM ha 14.2k stelle su GitHub. È stato forkato 2.6k volte. TensorRT-LLM è scritto principalmente in Python. È in sviluppo attivo dal 2023. I suoi temi principali sono: blackwell, cuda, llm-serving, moe.
Read the full guideChe cos'è TensorRT-LLM?
TensorRT LLM fornisce agli utenti un'API Python facile da usare per definire Modelli di Linguaggio di Grandi Dimensioni (LLM) e supporta ottimizzazioni all'avanguardia per eseguire inferenze in modo efficiente su GPU NVIDIA. TensorRT LLM contiene anche componenti per creare runtime Python e C++
TensorRT-LLM è open source?
TensorRT-LLM è un progetto open source.
TensorRT-LLM è gratuito?
Sì. TensorRT-LLM è gratuito e open source: puoi usarlo, modificarlo e ospitarlo autonomamente.
In quale linguaggio è scritto TensorRT-LLM?
TensorRT-LLM è scritto principalmente in Python.
Aggiungi questo badge live al tuo README — le tue stelle GitHub e il ranking della directory, aggiornati quotidianamente.
[](https://opensourceai.tech/project/nvidia-tensorrt-llm.html)
Misurato dai topic GitHub comuni a entrambi i progetti, ponderati per la loro rarita.