Startseite› Projekte› llama.cpp-v100
llama.cpp-v100
C++

llama.cpp-v100

llama.cpp optimized for NVIDIA Tesla V100 (SM70). Qwen3.8-Flash-Next (MoE) with MTP on 1/2/3/6x V100-16GB at 262K context (6 GPUs: prefill 3402 tok/s at 200K; 2 GPUs on one socket: 2152 tok/s). Qwen3.8-27B with DFlash2 on 1-6 GPUs, up to 512K context. Multimod

von 1115714829 · GitHub
Sterne
Forks
Lizenz
Erstellt
Letzter Commit
Kategorie
Sprache
Wahrscheinlich
Selbst gehostet
cudaggufllama-cppGPL-3.0C++Selbst gehostet
Auf GitHub ansehen
In einfachen Worten

Führen Sie große KI-Modelle auf NVIDIA-Tesla-V100-GPUs für anspruchsvolle Aufgaben aus.

✓ Vom Betreuer beansprucht
Was es tutA llama. cpp inference framework specifically designed for V100 graphics cards
Für wenA llama. cpp inference framework specifically designed for V100 graphics cards
Was es nicht tutA llama. cpp inference framework specifically designed for V100 graphics cards

Geschrieben von der Person, die dieses Projekt betreut, über das Repository verifiziert.

llama.cpp-v100 — GitHub preview card
📈 Sternhistorie
7445
2026-10-222026-11-15
📈 llama.cpp-v100 verfolgen

Erhalten Sie eine E-Mail-Benachrichtigung beim nächsten Release oder wenn es durchstartet.

Kostenlos · ohne Karte · jederzeit abbestellbar
E-Mail-Alerts erhalten →
📄 Über

llama.cpp optimized for NVIDIA Tesla V100 (SM70). Qwen3.8-Flash-Next (MoE) with MTP on 1/2/3/6x V100-16GB at 262K context (6 GPUs: prefill 3402 tok/s at 200K; 2 GPUs on one socket: 2152 tok/s). Qwen3.8-27B with DFlash2 on 1-6 GPUs, up to 512K context. Multimod

llama.cpp-v100 hat 74 Sterne auf GitHub. Es wurde 14-mal geforkt. llama.cpp-v100 ist hauptsächlich in C++ geschrieben. Es wird seit 2026 aktiv entwickelt. llama.cpp-v100 ist unter der GPL-3.0-Lizenz verfügbar. Die Hauptthemen sind: cuda, gguf, llama-cpp, llm-inference.

❓ Frequently asked questions

Was ist llama.cpp-v100?

llama.cpp optimized for NVIDIA Tesla V100 (SM70). Qwen3.8-Flash-Next (MoE) with MTP on 1/2/3/6x V100-16GB at 262K context (6 GPUs: prefill 3402 tok/s at 200K; 2 GPUs on one socket: 2152 tok/s). Qwen3.8-27B with DFlash2 on 1-6 GPUs, up to 512K context. Multimod

Ist llama.cpp-v100 Open Source?

llama.cpp-v100 ist ein Open-Source-Projekt. Es wird unter der GPL-3.0-Lizenz veröffentlicht.

Ist llama.cpp-v100 kostenlos?

Ja. llama.cpp-v100 ist kostenlos und Open Source — Sie können es nutzen, anpassen und selbst hosten. Die GPL-3.0-Lizenz ist Copyleft: Eine veränderte Version, die Sie weitergeben, muss unter derselben Lizenz bleiben.

Unter welcher Lizenz steht llama.cpp-v100?

llama.cpp-v100 ist unter der GPL-3.0-Lizenz verfügbar.

In welcher Sprache ist llama.cpp-v100 geschrieben?

llama.cpp-v100 ist hauptsächlich in C++ geschrieben.

🏅 Wartender dieses Projekts?
olud.ai badge — llama.cpp-v100

Fügen Sie dieses Live-Abzeichen zu Ihrem README hinzu — Ihre GitHub-Sterne und Verzeichnisrang, täglich aktualisiert.

[![olud.ai](https://olud.ai/badge.php?tool=1115714829-llama-cpp-v100)](https://olud.ai/project/1115714829-llama-cpp-v100.html)
Weitere Abzeichenoptionen →
🧬 Teilt DNA mit🧬 DNA-Karte ansehen →

Ermittelt aus gemeinsamen GitHub-Topics beider Projekte, gewichtet nach ihrer Seltenheit.