Startseite› Projekte› PowerInfer
PowerInfer

PowerInfer

von Tiiny-AI · GitHub

Hochgeschwindigkeits-Serving von großen Sprachmodellen für lokale Bereitstellung

# large-language-models# llama# llm# llm-inference# local-inference
Auf GitHub ansehen
In einfachen Worten

Führen Sie große Sprachmodelle auf Ihrem eigenen Gerät für eine schnelle Textgenerierung aus.

⭐ Sterne
9.7k
🍴 Forks
588
🔥 Trendend
+12 diese Woche
📜 Lizenz
MIT
Kommerzielle Nutzung erlaubt
📅 Erstellt
2023
🔄 Letzter Commit
2 mo ago
🏷️ Kategorie
large-language-models
💻 Sprache
C++
🖥️ Selbst gehostet
Wahrscheinlich
Betreuen Sie dieses Projekt?

Beanspruchen Sie die Seite: indexiert unabhangig vom Rang, in sechs Sprachen ubersetzt und mit Ihren eigenen Worten erganzt.

Diese Seite beanspruchen →
PowerInfer — GitHub preview card
📈 Sternhistorie
9.7k9.6k
2026-07-042026-07-29
📈 PowerInfer verfolgen

Erhalten Sie eine E-Mail-Benachrichtigung beim nächsten Release oder wenn es durchstartet.

Kostenlos · ohne Karte · jederzeit abbestellbar
E-Mail-Alerts erhalten →
📄 Über

Hochgeschwindigkeits-Serving von großen Sprachmodellen für lokale Bereitstellung

PowerInfer hat 9.7k Sterne auf GitHub. Es wurde 588-mal geforkt. PowerInfer ist hauptsächlich in C++ geschrieben. Es wird seit 2023 aktiv entwickelt. PowerInfer ist unter der MIT-Lizenz verfügbar. Die Hauptthemen sind: large-language-models, llama, llm, llm-inference.

❓ Frequently asked questions

Was ist PowerInfer?

Hochgeschwindigkeits-Serving von großen Sprachmodellen für lokale Bereitstellung

Ist PowerInfer Open Source?

PowerInfer ist ein Open-Source-Projekt. Es wird unter der MIT-Lizenz veröffentlicht.

Ist PowerInfer kostenlos?

Ja. PowerInfer ist kostenlos und Open Source — Sie können es nutzen, anpassen und selbst hosten.

Unter welcher Lizenz steht PowerInfer?

PowerInfer ist unter der MIT-Lizenz verfügbar.

In welcher Sprache ist PowerInfer geschrieben?

PowerInfer ist hauptsächlich in C++ geschrieben.

🏅 Wartender dieses Projekts?
OpenSourceAI badge — PowerInfer

Fügen Sie dieses Live-Abzeichen zu Ihrem README hinzu — Ihre GitHub-Sterne und Verzeichnisrang, täglich aktualisiert.

[![OpenSourceAI](https://opensourceai.tech/badge.php?tool=tiiny-ai-powerinfer)](https://opensourceai.tech/project/tiiny-ai-powerinfer.html)
Weitere Abzeichenoptionen →
🧬 Teilt DNA mit🧬 DNA-Karte ansehen →
deepseek.cpp
CPU-Inferenz für die DeepSeek-Familie von Large Language Models in C++
★ 316 · cpp
teiltllm-inferencellama
Medusa
Medusa: Einfaches Framework zur Beschleunigung der LLM-Generierung mit mehreren Decoding-Head.
★ 2.8k · llm
teiltllm-inference
SwiftInfer
Effiziente KI-Inferenz & Bereitstellung
★ 478 · artificial-intelligence
teiltllm-inferencellama
gpt4all
GPT4All: Führen Sie lokale LLMs auf jedem Gerät aus. Open-Source und für kommerzielle Nutzung v…
★ 77.4k · ai-chat
teiltllm-inference
BrowserAI
Führen Sie lokale LLMs wie llama, deepseek-distill, kokoro und mehr in Ihrem Browser aus
★ 1.4k · agents
teiltllm-inferencellama
Star-Attention
Effiziente LLM-Inferenz über lange Sequenzen
★ 391 · attention-mechanism
teiltllm-inference
blast
Open-Source-VMs-als-Service
★ 778 · ai-agents
teiltllm-inference
EAGLE
Offizielle Implementierung von EAGLE-1 (ICML'24), EAGLE-2 (EMNLP'24) und EAGLE-3 (NeurIPS'25).
★ 2.5k · large-language-models
teiltllm-inference
dalai
Der einfachste Weg, LLaMA auf deinem lokalen Rechner auszuführen
★ 12.9k · ai
teiltllama
ZhiLight
Eine hochoptimierte LLM-Inferenzbeschleunigungsengine für Llama und seine Varianten.
★ 907 · cuda
teiltllm-inferencellama

Ermittelt aus gemeinsamen GitHub-Topics beider Projekte, gewichtet nach ihrer Seltenheit.