Startseite› Projekte› ZhiLight
ZhiLight

ZhiLight

von zhihu · GitHub

Eine hochoptimierte LLM-Inferenzbeschleunigungsengine für Llama und seine Varianten.

# cuda# deepseek-r1# gpt# inference-engine# llama
Auf GitHub ansehen
In einfachen Worten

Beschleunigen Sie die Leistung von Llama AI-Modellen auf kompatiblen Grafikkarten für schnellere Ergebnisse.

⭐ Sterne
907
🍴 Forks
103
🔥 Trendend
+2 diese Woche
📜 Lizenz
Apache-2.0
Kommerzielle Nutzung erlaubt
📅 Erstellt
2024
🔄 Letzter Commit
4 mo ago
🏷️ Kategorie
cuda
💻 Sprache
C++
🖥️ Selbst gehostet
Wahrscheinlich
Betreuen Sie dieses Projekt?

Beanspruchen Sie die Seite: indexiert unabhangig vom Rang, in sechs Sprachen ubersetzt und mit Ihren eigenen Worten erganzt.

Diese Seite beanspruchen →
ZhiLight — GitHub preview card
📈 Sternhistorie
907905
2026-07-202026-07-29
📈 ZhiLight verfolgen

Erhalten Sie eine E-Mail-Benachrichtigung beim nächsten Release oder wenn es durchstartet.

Kostenlos · ohne Karte · jederzeit abbestellbar
E-Mail-Alerts erhalten →
📄 Über

Eine hochoptimierte LLM-Inferenzbeschleunigungsengine für Llama und seine Varianten.

ZhiLight hat 907 Sterne auf GitHub. Es wurde 103-mal geforkt. ZhiLight ist hauptsächlich in C++ geschrieben. Es wird seit 2024 aktiv entwickelt. ZhiLight ist unter der Apache-2.0-Lizenz verfügbar. Die Hauptthemen sind: cuda, deepseek-r1, gpt, inference-engine.

❓ Frequently asked questions

Was ist ZhiLight?

Eine hochoptimierte LLM-Inferenzbeschleunigungsengine für Llama und seine Varianten.

Ist ZhiLight Open Source?

ZhiLight ist ein Open-Source-Projekt. Es wird unter der Apache-2.0-Lizenz veröffentlicht.

Ist ZhiLight kostenlos?

Ja. ZhiLight ist kostenlos und Open Source — Sie können es nutzen, anpassen und selbst hosten.

Unter welcher Lizenz steht ZhiLight?

ZhiLight ist unter der Apache-2.0-Lizenz verfügbar.

In welcher Sprache ist ZhiLight geschrieben?

ZhiLight ist hauptsächlich in C++ geschrieben.

🏅 Wartender dieses Projekts?
OpenSourceAI badge — ZhiLight

Fügen Sie dieses Live-Abzeichen zu Ihrem README hinzu — Ihre GitHub-Sterne und Verzeichnisrang, täglich aktualisiert.

[![OpenSourceAI](https://opensourceai.tech/badge.php?tool=zhihu-zhilight)](https://opensourceai.tech/project/zhihu-zhilight.html)
Weitere Abzeichenoptionen →
🧬 Teilt DNA mit🧬 DNA-Karte ansehen →
swiftLLM
Ein kleines, aber leistungsstarkes LLM-Inferenzsystem, das für Forschungszwecke maßgeschneidert…
★ 330 · cuda
teiltinference-enginellm-serving
lorax
Multi-LoRA-Inferenzserver, der auf Tausende von feinabgestimmten LLMs skaliert
★ 3.8k · fine-tuning
teiltllm-servingmodel-serving
rtp-llm
RTP-LLM: Alibabas Hochleistungs-LLM-Inferenz-Engine für vielfältige Anwendungen.
★ 1.3k · gpt
teiltllm-servingmodel-serving
SwiftInfer
Effiziente KI-Inferenz & Bereitstellung
★ 478 · artificial-intelligence
teiltllm-servingllm-inference
chitu
Hochleistungsfähiges Inferenz-Framework für große Sprachmodelle, das sich auf Effizienz, Flexib…
★ 3.1k · deepseek
teiltllm-servingmodel-serving
llm-action
Dieses Projekt zielt darauf ab, technische Prinzipien und praktische Erfahrungen im Zusammenhan…
★ 24.8k · llm
teiltllm-servingllm-inference
aici
AICI: Eingabeaufforderungen als (Wasm) Programme
★ 2.1k · ai
teiltllm-servingmodel-serving
MoE-Infinity
PyTorch-Bibliothek für kosteneffektives, schnelles und einfaches Bereitstellen von MoE-Modellen…
★ 326 · huggingface
teiltinference-enginellm-inference
TensorRT-LLM
TensorRT LLM bietet Benutzern eine benutzerfreundliche Python-API zum Definieren von großen Spr…
★ 14.2k · blackwell
teiltllm-servingcuda
xllm
Eine Hochleistungs-Inferenz-Engine für LLM, VLM, DiT und REC-Modelle, optimiert für verschieden…
★ 1.5k · deepseek
teiltinference-enginellm-inference

Ermittelt aus gemeinsamen GitHub-Topics beider Projekte, gewichtet nach ihrer Seltenheit.