KIVI hat 423 Sterne auf GitHub. Es wurde 57-mal geforkt. KIVI ist hauptsächlich in Python geschrieben. Es wird seit 2024 aktiv entwickelt. KIVI ist unter der MIT-Lizenz verfügbar. Die Hauptthemen sind: inference, large-language-models, llama, llm.

❓ Frequently asked questions

Was ist KIVI?

[ICML 2024] KIVI: Eine Tuning-freie asymmetrische 2-Bit-Quantisierung für KV-Cache

Ist KIVI Open Source?

KIVI ist ein Open-Source-Projekt. Es wird unter der MIT-Lizenz veröffentlicht.

Ist KIVI kostenlos?

Ja. KIVI ist kostenlos und Open Source — Sie können es nutzen, anpassen und selbst hosten.

Unter welcher Lizenz steht KIVI?

KIVI ist unter der MIT-Lizenz verfügbar.

In welcher Sprache ist KIVI geschrieben?

KIVI ist hauptsächlich in Python geschrieben.

🏅 Wartender dieses Projekts?

Fügen Sie dieses Live-Abzeichen zu Ihrem README hinzu — Ihre GitHub-Sterne und Verzeichnisrang, täglich aktualisiert.

[![OpenSourceAI](https://opensourceai.tech/badge.php?tool=jy-yuan-kivi)](https://opensourceai.tech/project/jy-yuan-kivi.html)

Weitere Abzeichenoptionen →

🧬 Teilt DNA mit🧬 DNA-Karte ansehen →

faster-whisper

Schnellere Whisper-Transkription mit CTranslate2

★ 24.6k · deep-learning

teiltquantizationinference

nano-vllm

Nano vLLM

★ 14.7k · deep-learning

teiltinferencetransformer

vidur

Genauer, groß angelegter und erweiterbarer Simulator für LLM-Inferenzsysteme

★ 647 · inference

teiltinferencetransformer

SqueezeLLM

[ICML 2024] SqueezeLLM: Dichte- und spärliche Quantisierung.

★ 722 · efficient-inference

teiltquantizationtransformer

EasyLM

Große Sprachmodelle (LLMs) leicht gemacht, EasyLM ist eine All-in-One-Lösung für das Vortrainin…

★ 2.5k · chatbot

teilttransformerllama

whisper.cpp

Portierung des Whisper-Modells von OpenAI in C/C++

★ 52.4k · inference

teiltinferencetransformer

transformer-deploy

Effizienter, skalierbarer und unternehmensgerechter CPU/GPU-Inferenzserver für 🤗 Hugging Face T…

★ 1.7k · deep-learning

teiltinferencenatural-language-processing

AI-Engineering.academy

Angewandte KI meistern, ein Konzept nach dem anderen

★ 2.4k · fine-tuning

teiltquantizationinference

KVQuant

[NeurIPS 2024] KVQuant: Auf dem Weg zu 10 Millionen Kontextlängen-LLM-Inferenz mit KV-Cache-Qua…

★ 431 · compression

teiltquantizationtransformer

rtp-llm

RTP-LLM: Alibabas Hochleistungs-LLM-Inferenz-Engine für vielfältige Anwendungen.

★ 1.3k · gpt

teiltinferencellama

Ermittelt aus gemeinsamen GitHub-Topics beider Projekte, gewichtet nach ihrer Seltenheit.