Início› Projetos› flashinfer
flashinfer
Python

flashinfer

FlashInfer: Biblioteca Kernel para Servir LLM

por flashinfer-ai · GitHub
6.3k
Estrelas
1.4k
Forks
+117 esta semana
Tendências
Apache-2.0
Licença
2023
Criado
today
Último commit
attention
Categoria
Python
Linguagem
attentioncudadistributed-inferenceApache-2.0Python
Ver no GitHub
Em palavras simples

Use código otimizado para melhorar o desempenho de modelos de IA em várias placas gráficas durante a inferência.

Mantem este projeto?

Reivindique a sua pagina: indexada seja qual for a posicao, traduzida em seis linguas e enriquecida com as suas palavras.

Reivindicar esta pagina →
flashinfer — GitHub preview card
📈 Histórico de estrelas
6.3k5.9k
2026-07-122026-08-31
📈 Acompanhe flashinfer

Receba um alerta por e-mail no próximo lançamento ou quando começar a bombar.

Grátis · sem cartão · cancele quando quiser
Receber alertas por e-mail →
📄 Sobre

FlashInfer: Biblioteca Kernel para Servir LLM

flashinfer tem 6.3k estrelas no GitHub. Foi bifurcado 1.4k vezes. flashinfer é escrito principalmente em Python. Está em desenvolvimento ativo desde 2023. flashinfer está disponível sob a licença Apache-2.0. Os seus principais temas são: attention, cuda, distributed-inference, gpu.

❓ Frequently asked questions

O que é flashinfer?

FlashInfer: Biblioteca Kernel para Servir LLM

flashinfer é de código aberto?

flashinfer é um projeto de código aberto. É distribuído sob a licença Apache-2.0.

flashinfer é gratuito?

Sim. flashinfer é gratuito e de código aberto — você pode usá-lo, modificá-lo e hospedá-lo por conta própria.

Sob que licença está flashinfer?

flashinfer está disponível sob a licença Apache-2.0.

Em que linguagem flashinfer está escrito?

flashinfer é escrito principalmente em Python.

🏅 Mantenedor deste projeto?
olud.ai badge — flashinfer

Adicione este badge ao vivo ao seu README — suas estrelas do GitHub e classificação no diretório, atualizadas diariamente.

[![olud.ai](https://olud.ai/badge.php?tool=flashinfer-ai-flashinfer)](https://olud.ai/project/flashinfer-ai-flashinfer.html)
Mais opções de badge →
🧬 Partilha ADN com🧬 Ver o mapa de ADN →
torchrec
Biblioteca de domínio Pytorch para sistemas de recomendação
★ 2.6k · cuda
partilhagpucuda
TensorRT-LLM
TensorRT LLM fornece aos usuários uma API Python fácil de usar para definir Modelos de Linguage…
★ 14.5k · blackwell
partilhamoecuda
uccl
UCCL é uma biblioteca de comunicação eficiente para GPUs, cobrindo coletivas, P2P (por exemplo,…
★ 1.5k · ai
partilhamoenvidia
isaac_ros_common
Common utilities, packages, scripts, and testing infrastructure for Isaac ROS packages.
★ 307 · gpu
partilhanvidiagpu
isaac_ros_nvblox
Reconstrução de cena 3D acelerada por NVIDIA e provedor de mapa de custo local Nav2 usando nvbl…
★ 724 · 3d-reconstruction
partilhanvidiagpu
vins-application
VINS-Fusion, VINS-Fisheye, OpenVINS, EnVIO, ROVIO, S-MSCKF, ORB-SLAM2, aplicação NVIDIA Elbrus…
★ 607 · cuda
partilhanvidiacuda
annotated_deep_learning_paper_implementations
🧑‍🏫 60+ Implementações/tutorials de artigos de aprendizado profundo com notas lado a lado 📝; in…
★ 67.1k · attention
sglang
SGLang é um framework de alta performance para servir grandes modelos de linguagem e modelos mu…
★ 32.9k · attention
numpy-ml
Aprendizado de máquina, em numpy
★ 16.3k · attention
OpenMythos
Uma reconstrução teórica da arquitetura Claude Mythos, construída a partir de princípios básico…
★ 14.7k · ai

Medido a partir dos topics do GitHub comuns aos dois projetos, ponderados pela sua raridade.