Startseite› Projekte› flashinfer
flashinfer
Python

flashinfer

FlashInfer: Kernel-Bibliothek für LLM-Serving

von flashinfer-ai · GitHub
6.3k
Sterne
1.4k
Forks
+117 diese Woche
Trendend
Apache-2.0
Lizenz
2023
Erstellt
today
Letzter Commit
attention
Kategorie
Python
Sprache
attentioncudadistributed-inferenceApache-2.0Python
Auf GitHub ansehen
In einfachen Worten

Verwenden Sie optimierten Code, um die Leistung von KI-Modellen auf verschiedenen Grafikkarten während der Inferenz zu verbessern.

Betreuen Sie dieses Projekt?

Beanspruchen Sie die Seite: indexiert unabhangig vom Rang, in sechs Sprachen ubersetzt und mit Ihren eigenen Worten erganzt.

Diese Seite beanspruchen →
flashinfer — GitHub preview card
📈 Sternhistorie
6.3k5.9k
2026-07-122026-08-31
📈 flashinfer verfolgen

Erhalten Sie eine E-Mail-Benachrichtigung beim nächsten Release oder wenn es durchstartet.

Kostenlos · ohne Karte · jederzeit abbestellbar
E-Mail-Alerts erhalten →
📄 Über

FlashInfer: Kernel-Bibliothek für LLM-Serving

flashinfer hat 6.3k Sterne auf GitHub. Es wurde 1.4k-mal geforkt. flashinfer ist hauptsächlich in Python geschrieben. Es wird seit 2023 aktiv entwickelt. flashinfer ist unter der Apache-2.0-Lizenz verfügbar. Die Hauptthemen sind: attention, cuda, distributed-inference, gpu.

❓ Frequently asked questions

Was ist flashinfer?

FlashInfer: Kernel-Bibliothek für LLM-Serving

Ist flashinfer Open Source?

flashinfer ist ein Open-Source-Projekt. Es wird unter der Apache-2.0-Lizenz veröffentlicht.

Ist flashinfer kostenlos?

Ja. flashinfer ist kostenlos und Open Source — Sie können es nutzen, anpassen und selbst hosten.

Unter welcher Lizenz steht flashinfer?

flashinfer ist unter der Apache-2.0-Lizenz verfügbar.

In welcher Sprache ist flashinfer geschrieben?

flashinfer ist hauptsächlich in Python geschrieben.

🏅 Wartender dieses Projekts?
olud.ai badge — flashinfer

Fügen Sie dieses Live-Abzeichen zu Ihrem README hinzu — Ihre GitHub-Sterne und Verzeichnisrang, täglich aktualisiert.

[![olud.ai](https://olud.ai/badge.php?tool=flashinfer-ai-flashinfer)](https://olud.ai/project/flashinfer-ai-flashinfer.html)
Weitere Abzeichenoptionen →
🧬 Teilt DNA mit🧬 DNA-Karte ansehen →
torchrec
Pytorch-Domänenbibliothek für Empfehlungssysteme
★ 2.6k · cuda
teiltgpucuda
TensorRT-LLM
TensorRT LLM bietet Benutzern eine benutzerfreundliche Python-API zum Definieren von großen Spr…
★ 14.5k · blackwell
teiltmoecuda
uccl
UCCL ist eine effiziente Kommunikationsbibliothek für GPUs, die Kollektive, P2P (z. B. KV-Cache…
★ 1.5k · ai
teiltmoenvidia
isaac_ros_common
Common utilities, packages, scripts, and testing infrastructure for Isaac ROS packages.
★ 307 · gpu
teiltnvidiagpu
isaac_ros_nvblox
NVIDIA-beschleunigte 3D-Szenenrekonstruktion und Nav2 lokaler Kostenkartenanbieter unter Verwen…
★ 724 · 3d-reconstruction
teiltnvidiagpu
vins-application
VINS-Fusion, VINS-Fisheye, OpenVINS, EnVIO, ROVIO, S-MSCKF, ORB-SLAM2, NVIDIA Elbrus-Anwendung…
★ 607 · cuda
teiltnvidiacuda
annotated_deep_learning_paper_implementations
🧑‍🏫 60+ Implementierungen/Tutorials von Deep-Learning-Papieren mit nebeneinanderstehenden Notiz…
★ 67.1k · attention
sglang
SGLang ist ein leistungsstarkes Serving-Framework für große Sprachmodelle und multimodale Model…
★ 32.9k · attention
numpy-ml
Maschinenlernen, in numpy
★ 16.3k · attention
OpenMythos
Eine theoretische Rekonstruktion der Claude Mythos-Architektur, die aus ersten Prinzipien unter…
★ 14.7k · ai

Ermittelt aus gemeinsamen GitHub-Topics beider Projekte, gewichtet nach ihrer Seltenheit.