Führen Sie große KI-Modelle auf einer GPU mit geringem Speicher aus, um fortschrittliche Sprachverarbeitung ohne hohe Hardwareanforderungen zu ermöglichen.
Aus der README
pip install airllm
- Step 1. make sure you have bitsandbytes installed by pip install -U bitsandbytes
- Step 2. make sure airllm verion later than 2.0.0: pip install -U airllm
- Step 3. when initialize the model, passing the argument compression ('4bit' or '8bit'):
Auszüge aus der Projekt-README zu GitHub. Das Urheberrecht und die Lizenzen verbleiben bei den jeweiligen Autoren.
Beanspruchen Sie die Seite: indexiert unabhangig vom Rang, in sechs Sprachen ubersetzt und mit Ihren eigenen Worten erganzt.
Erhalten Sie eine E-Mail-Benachrichtigung beim nächsten Release oder wenn es durchstartet.
Kostenlos · ohne Karte · jederzeit abbestellbarAirLLM 70B Inferenz mit einer einzelnen 4GB GPU
airllm hat 33.2k Sterne auf GitHub. Es wurde 3.5k-mal geforkt. airllm ist hauptsächlich in Jupyter Notebook geschrieben. Es wird seit 2023 aktiv entwickelt. airllm ist unter der Apache-2.0-Lizenz verfügbar. Die Hauptthemen sind: chinese-llm, chinese-nlp, finetune, generative-ai.
Was ist airllm?
AirLLM 70B Inferenz mit einer einzelnen 4GB GPU
Ist airllm Open Source?
airllm ist ein Open-Source-Projekt. Es wird unter der Apache-2.0-Lizenz veröffentlicht.
Ist airllm kostenlos?
Ja. airllm ist kostenlos und Open Source — Sie können es nutzen, anpassen und selbst hosten.
Unter welcher Lizenz steht airllm?
airllm ist unter der Apache-2.0-Lizenz verfügbar.
In welcher Sprache ist airllm geschrieben?
airllm ist hauptsächlich in Jupyter Notebook geschrieben.
Fügen Sie dieses Live-Abzeichen zu Ihrem README hinzu — Ihre GitHub-Sterne und Verzeichnisrang, täglich aktualisiert.
[](https://olud.ai/project/lyogavin-airllm.html)
Ermittelt aus gemeinsamen GitHub-Topics beider Projekte, gewichtet nach ihrer Seltenheit.