Home› Progetti› flashinfer
flashinfer
Python

flashinfer

FlashInfer: Libreria Kernel per Servire LLM

di flashinfer-ai · GitHub
6.3k
Stelle
1.4k
Fork
+117 questa settimana
Tendenze
Apache-2.0
Licenza
2023
Creato
today
Ultimo commit
attention
Categoria
Python
Lingua
attentioncudadistributed-inferenceApache-2.0Python
Visualizza su GitHub
In parole semplici

Utilizza codice ottimizzato per migliorare le prestazioni dei modelli AI su varie schede grafiche durante l'inferenza.

Mantieni questo progetto?

Rivendica la sua pagina: indicizzata qualunque sia il rango, tradotta in sei lingue e arricchita con le tue parole.

Rivendica questa pagina →
flashinfer — GitHub preview card
📈 Storia delle stelle
6.3k5.9k
2026-07-122026-08-31
📈 Segui flashinfer

Ricevi un avviso via email alla prossima release o quando decolla — non perderti nulla.

Gratis · senza carta · disdici quando vuoi
Ricevi avvisi via email →
📄 Informazioni

FlashInfer: Libreria Kernel per Servire LLM

flashinfer ha 6.3k stelle su GitHub. È stato forkato 1.4k volte. flashinfer è scritto principalmente in Python. È in sviluppo attivo dal 2023. flashinfer è disponibile con licenza Apache-2.0. I suoi temi principali sono: attention, cuda, distributed-inference, gpu.

❓ Frequently asked questions

Che cos'è flashinfer?

FlashInfer: Libreria Kernel per Servire LLM

flashinfer è open source?

flashinfer è un progetto open source. È rilasciato con licenza Apache-2.0.

flashinfer è gratuito?

Sì. flashinfer è gratuito e open source: puoi usarlo, modificarlo e ospitarlo autonomamente.

Con quale licenza è flashinfer?

flashinfer è disponibile con licenza Apache-2.0.

In quale linguaggio è scritto flashinfer?

flashinfer è scritto principalmente in Python.

🏅 Manutentore di questo progetto?
olud.ai badge — flashinfer

Aggiungi questo badge live al tuo README — le tue stelle GitHub e il ranking della directory, aggiornati quotidianamente.

[![olud.ai](https://olud.ai/badge.php?tool=flashinfer-ai-flashinfer)](https://olud.ai/project/flashinfer-ai-flashinfer.html)
Altre opzioni di badge →
🧬 Condivide il DNA con🧬 Vedi la mappa del DNA →
torchrec
Libreria di dominio Pytorch per sistemi di raccomandazione
★ 2.6k · cuda
condividegpucuda
TensorRT-LLM
TensorRT LLM fornisce agli utenti un'API Python facile da usare per definire Modelli di Linguag…
★ 14.5k · blackwell
condividemoecuda
uccl
UCCL è una libreria di comunicazione efficiente per GPU, che copre collettivi, P2P (ad es., tra…
★ 1.5k · ai
condividemoenvidia
isaac_ros_common
Common utilities, packages, scripts, and testing infrastructure for Isaac ROS packages.
★ 307 · gpu
condividenvidiagpu
isaac_ros_nvblox
Ricostruzione di scene 3D accelerata da NVIDIA e fornitore di costmap locale Nav2 utilizzando n…
★ 724 · 3d-reconstruction
condividenvidiagpu
vins-application
VINS-Fusion, VINS-Fisheye, OpenVINS, EnVIO, ROVIO, S-MSCKF, ORB-SLAM2, applicazione NVIDIA Elbr…
★ 607 · cuda
condividenvidiacuda
annotated_deep_learning_paper_implementations
🧑‍🏫 60+ Implementazioni/tutorial di articoli di deep learning con note affiancate 📝; inclusi tr…
★ 67.1k · attention
sglang
SGLang è un framework di serving ad alte prestazioni per modelli di linguaggio di grandi dimens…
★ 32.9k · attention
numpy-ml
Apprendimento automatico, in numpy
★ 16.3k · attention
OpenMythos
Una ricostruzione teorica dell'architettura Claude Mythos, costruita da principi fondamentali u…
★ 14.7k · ai

Misurato dai topic GitHub comuni a entrambi i progetti, ponderati per la loro rarita.