TensorRT-LLM
TensorRT LLM proporciona a los usuarios una API de Python fácil de usar para definir Modelos de Lenguaje Grande (LLMs) y admite optimizaciones de vanguardia para realizar inferencias de manera eficiente en GPUs NVIDIA. TensorRT LLM también contiene componentes para crear entornos de ejecución en Python y C++
Optimiza y ejecuta modelos de lenguaje grande en GPUs NVIDIA con una interfaz de Python fácil de usar.
Reivindica su pagina: indexada sea cual sea su posicion, traducida a seis idiomas y enriquecida con tus propias palabras.
Recibe una alerta por correo en su próximo lanzamiento o cuando despegue — no te pierdas nada.
Gratis · sin tarjeta · cancela cuando quierasTensorRT LLM proporciona a los usuarios una API de Python fácil de usar para definir Modelos de Lenguaje Grande (LLMs) y admite optimizaciones de vanguardia para realizar inferencias de manera eficiente en GPUs NVIDIA. TensorRT LLM también contiene componentes para crear entornos de ejecución en Python y C++
TensorRT-LLM tiene 14.2k estrellas en GitHub. Se ha bifurcado 2.6k veces. TensorRT-LLM está escrito principalmente en Python. Se desarrolla activamente desde 2023. Sus temas principales son: blackwell, cuda, llm-serving, moe.
Read the full guide¿Qué es TensorRT-LLM?
TensorRT LLM proporciona a los usuarios una API de Python fácil de usar para definir Modelos de Lenguaje Grande (LLMs) y admite optimizaciones de vanguardia para realizar inferencias de manera eficiente en GPUs NVIDIA. TensorRT LLM también contiene componentes para crear entornos de ejecución en Python y C++
¿TensorRT-LLM es de código abierto?
TensorRT-LLM es un proyecto de código abierto.
¿TensorRT-LLM es gratis?
Sí. TensorRT-LLM es gratuito y de código abierto: puedes usarlo, modificarlo y alojarlo tú mismo.
¿En qué lenguaje está escrito TensorRT-LLM?
TensorRT-LLM está escrito principalmente en Python.
Agrega este distintivo en vivo a tu README — tus estrellas de GitHub y rango en el directorio, actualizados diariamente.
[](https://opensourceai.tech/project/nvidia-tensorrt-llm.html)
Medido a partir de los topics de GitHub comunes a ambos proyectos, ponderados por su rareza.