Startseite› Projekte› flashinfer
flashinfer

flashinfer

von flashinfer-ai · GitHub

FlashInfer: Kernel-Bibliothek für LLM-Serving

# attention# cuda# distributed-inference# gpu# jit
Auf GitHub ansehen
In einfachen Worten

Verwenden Sie optimierten Code, um die Leistung von KI-Modellen auf verschiedenen Grafikkarten während der Inferenz zu verbessern.

⭐ Sterne
6.1k
🍴 Forks
1.2k
🔥 Trendend
+59 diese Woche
📜 Lizenz
Apache-2.0
Kommerzielle Nutzung erlaubt
📅 Erstellt
2023
🔄 Letzter Commit
today
🏷️ Kategorie
attention
💻 Sprache
Python
Betreuen Sie dieses Projekt?

Beanspruchen Sie die Seite: indexiert unabhangig vom Rang, in sechs Sprachen ubersetzt und mit Ihren eigenen Worten erganzt.

Diese Seite beanspruchen →
flashinfer — GitHub preview card
📈 Sternhistorie
6.1k5.9k
2026-07-122026-07-29
📈 flashinfer verfolgen

Erhalten Sie eine E-Mail-Benachrichtigung beim nächsten Release oder wenn es durchstartet.

Kostenlos · ohne Karte · jederzeit abbestellbar
E-Mail-Alerts erhalten →
📄 Über

FlashInfer: Kernel-Bibliothek für LLM-Serving

flashinfer hat 6.1k Sterne auf GitHub. Es wurde 1.2k-mal geforkt. flashinfer ist hauptsächlich in Python geschrieben. Es wird seit 2023 aktiv entwickelt. flashinfer ist unter der Apache-2.0-Lizenz verfügbar. Die Hauptthemen sind: attention, cuda, distributed-inference, gpu.

❓ Frequently asked questions

Was ist flashinfer?

FlashInfer: Kernel-Bibliothek für LLM-Serving

Ist flashinfer Open Source?

flashinfer ist ein Open-Source-Projekt. Es wird unter der Apache-2.0-Lizenz veröffentlicht.

Ist flashinfer kostenlos?

Ja. flashinfer ist kostenlos und Open Source — Sie können es nutzen, anpassen und selbst hosten.

Unter welcher Lizenz steht flashinfer?

flashinfer ist unter der Apache-2.0-Lizenz verfügbar.

In welcher Sprache ist flashinfer geschrieben?

flashinfer ist hauptsächlich in Python geschrieben.

🏅 Wartender dieses Projekts?
OpenSourceAI badge — flashinfer

Fügen Sie dieses Live-Abzeichen zu Ihrem README hinzu — Ihre GitHub-Sterne und Verzeichnisrang, täglich aktualisiert.

[![OpenSourceAI](https://opensourceai.tech/badge.php?tool=flashinfer-ai-flashinfer)](https://opensourceai.tech/project/flashinfer-ai-flashinfer.html)
Weitere Abzeichenoptionen →
🧬 Teilt DNA mit🧬 DNA-Karte ansehen →
cuml
cuML - RAPIDS Machine Learning Bibliothek
★ 5.2k · cuda
teiltnvidiacuda
nccl
Optimierte Primitiven für kollektive Multi-GPU-Kommunikation
★ 4.9k · communications
teiltnvidiacuda
cutlass
CUDA-Vorlagen und Python-DSLs für Hochleistungs-Lineare Algebra
★ 10.2k · cpp
teiltnvidiacuda
uccl
UCCL ist eine effiziente Kommunikationsbibliothek für GPUs, die Kollektive, P2P (z. B. KV-Cache…
★ 1.5k · ai
teiltmoenvidia
CV-CUDA
CV-CUDA™ ist eine Open-Source-Bibliothek für GPU-beschleunigte Bildverarbeitung und Computer Vi…
★ 2.7k · bytedance
teiltnvidiacuda
TensorRT-LLM
TensorRT LLM bietet Benutzern eine benutzerfreundliche Python-API zum Definieren von großen Spr…
★ 14.2k · blackwell
teiltmoecuda
annotated_deep_learning_paper_implementations
🧑‍🏫 60+ Implementierungen/Tutorials von Deep-Learning-Papieren mit nebeneinanderstehenden Notiz…
★ 67.2k · attention
sglang
SGLang ist ein leistungsstarkes Serving-Framework für große Sprachmodelle und multimodale Model…
★ 30.9k · attention
numpy-ml
Maschinenlernen, in numpy
★ 16.3k · attention
OpenMythos
Eine theoretische Rekonstruktion der Claude Mythos-Architektur, die aus ersten Prinzipien unter…
★ 14.8k · ai

Ermittelt aus gemeinsamen GitHub-Topics beider Projekte, gewichtet nach ihrer Seltenheit.