Setzen Sie große Sprachmodelle auf Ihrem eigenen Server ein, indem Sie eine Methode verwenden, die den Speicherverbrauch reduziert, ohne die Leistung zu verlieren.

Betreuen Sie dieses Projekt?

Beanspruchen Sie die Seite: indexiert unabhangig vom Rang, in sechs Sprachen ubersetzt und mit Ihren eigenen Worten erganzt.

Diese Seite beanspruchen →

📈 Sternhistorie

2026-07-202026-08-31

📈 SqueezeLLM verfolgen

Erhalten Sie eine E-Mail-Benachrichtigung beim nächsten Release oder wenn es durchstartet.

Kostenlos · ohne Karte · jederzeit abbestellbar

E-Mail-Alerts erhalten →

📄 Über

[ICML 2024] SqueezeLLM: Dichte- und spärliche Quantisierung.

SqueezeLLM hat 723 Sterne auf GitHub. Es wurde 52-mal geforkt. SqueezeLLM ist hauptsächlich in Python geschrieben. Es wird seit 2023 aktiv entwickelt. SqueezeLLM ist unter der MIT-Lizenz verfügbar. Die Hauptthemen sind: efficient-inference, large-language-models, llama, llm.

❓ Frequently asked questions

Was ist SqueezeLLM?

[ICML 2024] SqueezeLLM: Dichte- und spärliche Quantisierung.

Ist SqueezeLLM Open Source?

SqueezeLLM ist ein Open-Source-Projekt. Es wird unter der MIT-Lizenz veröffentlicht.

Ist SqueezeLLM kostenlos?

Ja. SqueezeLLM ist kostenlos und Open Source — Sie können es nutzen, anpassen und selbst hosten.

Unter welcher Lizenz steht SqueezeLLM?

SqueezeLLM ist unter der MIT-Lizenz verfügbar.

In welcher Sprache ist SqueezeLLM geschrieben?

SqueezeLLM ist hauptsächlich in Python geschrieben.

🏅 Wartender dieses Projekts?

Fügen Sie dieses Live-Abzeichen zu Ihrem README hinzu — Ihre GitHub-Sterne und Verzeichnisrang, täglich aktualisiert.

[![olud.ai](https://olud.ai/badge.php?tool=squeezeailab-squeezellm)](https://olud.ai/project/squeezeailab-squeezellm.html)

Weitere Abzeichenoptionen →

🧬 Teilt DNA mit🧬 DNA-Karte ansehen →

KVQuant

[NeurIPS 2024] KVQuant: Auf dem Weg zu 10 Millionen Kontextlängen-LLM-Inferenz mit KV-Cache-Qua…

★ 433 · compression

teiltsmall-modelslocalllm

KIVI

[ICML 2024] KIVI: Eine Tuning-freie asymmetrische 2-Bit-Quantisierung für KV-Cache

★ 431 · inference

teiltquantizationtransformer

picollm

On-Device LLM-Inferenz, unterstützt durch X-Bit-Quantisierung

★ 317 · compression

teiltefficient-inferencemodel-compression

Awesome-Quantization-Papers

Liste von Arbeiten zur Quantisierung neuronaler Netzwerke in aktuellen KI-Konferenzen und -Zeit…

★ 848 · awesome-list

teiltefficient-inferencemodel-compression

q-diffusion

[ICCV 2023] Q-Diffusion: Quantisierung von Diffusionsmodellen.

★ 377 · ddim

teiltpost-training-quantizationmodel-compression

DeepCache

[CVPR 2024] DeepCache: Beschleunigung von Diffusionsmodellen kostenlos

★ 970 · diffusion-models

teiltefficient-inferencemodel-compression

LLMCompiler

[ICML 2024] LLMCompiler: Ein LLM-Compiler für parallele Funktionsaufrufe

★ 1.9k · efficient-inference

teiltefficient-inferencetransformer

EfficientFormer

EfficientFormerV2 [ICCV 2023] & EfficientFormer [NeurIPs 2022]

★ 1.1k · deep-learning

orthrus

Schnelle, verlustfreie LLM-Inferenz über Dual-View-Diffusionsdecodierung.

★ 477 · diffusion-language-models

Awesome-Generation-Acceleration

📚 Sammlung großartiger Ressourcen zur Beschleunigung der Generierung.

★ 401 · diffusion-models

Ermittelt aus gemeinsamen GitHub-Topics beider Projekte, gewichtet nach ihrer Seltenheit.