TensorRT-LLM
TensorRT LLM fornece aos usuários uma API Python fácil de usar para definir Modelos de Linguagem Grande (LLMs) e suporta otimizações de ponta para realizar inferência de forma eficiente em GPUs NVIDIA. TensorRT LLM também contém componentes para criar tempos de execução em Python e C++
Otimize e execute grandes modelos de linguagem em GPUs NVIDIA com uma interface Python fácil de usar.
Reivindique a sua pagina: indexada seja qual for a posicao, traduzida em seis linguas e enriquecida com as suas palavras.
Receba um alerta por e-mail no próximo lançamento ou quando começar a bombar.
Grátis · sem cartão · cancele quando quiserTensorRT LLM fornece aos usuários uma API Python fácil de usar para definir Modelos de Linguagem Grande (LLMs) e suporta otimizações de ponta para realizar inferência de forma eficiente em GPUs NVIDIA. TensorRT LLM também contém componentes para criar tempos de execução em Python e C++
TensorRT-LLM tem 14.2k estrelas no GitHub. Foi bifurcado 2.6k vezes. TensorRT-LLM é escrito principalmente em Python. Está em desenvolvimento ativo desde 2023. Os seus principais temas são: blackwell, cuda, llm-serving, moe.
Read the full guideO que é TensorRT-LLM?
TensorRT LLM fornece aos usuários uma API Python fácil de usar para definir Modelos de Linguagem Grande (LLMs) e suporta otimizações de ponta para realizar inferência de forma eficiente em GPUs NVIDIA. TensorRT LLM também contém componentes para criar tempos de execução em Python e C++
TensorRT-LLM é de código aberto?
TensorRT-LLM é um projeto de código aberto.
TensorRT-LLM é gratuito?
Sim. TensorRT-LLM é gratuito e de código aberto — você pode usá-lo, modificá-lo e hospedá-lo por conta própria.
Em que linguagem TensorRT-LLM está escrito?
TensorRT-LLM é escrito principalmente em Python.
Adicione este badge ao vivo ao seu README — suas estrelas do GitHub e classificação no diretório, atualizadas diariamente.
[](https://opensourceai.tech/project/nvidia-tensorrt-llm.html)
Medido a partir dos topics do GitHub comuns aos dois projetos, ponderados pela sua raridade.