Esegui grandi modelli AI su una GPU a bassa memoria, abilitando l'elaborazione avanzata del linguaggio senza requisiti hardware pesanti.
Dal README
pip install airllm
- Step 1. make sure you have bitsandbytes installed by pip install -U bitsandbytes
- Step 2. make sure airllm verion later than 2.0.0: pip install -U airllm
- Step 3. when initialize the model, passing the argument compression ('4bit' or '8bit'):
Estratti dal README del progetto su GitHub. I diritti d'autore e le licenze rimangono con i rispettivi autori.
Rivendica la sua pagina: indicizzata qualunque sia il rango, tradotta in sei lingue e arricchita con le tue parole.
Ricevi un avviso via email alla prossima release o quando decolla — non perderti nulla.
Gratis · senza carta · disdici quando vuoiInferenza AirLLM 70B con singolo GPU da 4GB
airllm ha 33.2k stelle su GitHub. È stato forkato 3.5k volte. airllm è scritto principalmente in Jupyter Notebook. È in sviluppo attivo dal 2023. airllm è disponibile con licenza Apache-2.0. I suoi temi principali sono: chinese-llm, chinese-nlp, finetune, generative-ai.
Che cos'è airllm?
Inferenza AirLLM 70B con singolo GPU da 4GB
airllm è open source?
airllm è un progetto open source. È rilasciato con licenza Apache-2.0.
airllm è gratuito?
Sì. airllm è gratuito e open source: puoi usarlo, modificarlo e ospitarlo autonomamente.
Con quale licenza è airllm?
airllm è disponibile con licenza Apache-2.0.
In quale linguaggio è scritto airllm?
airllm è scritto principalmente in Jupyter Notebook.
Aggiungi questo badge live al tuo README — le tue stelle GitHub e il ranking della directory, aggiornati quotidianamente.
[](https://olud.ai/project/lyogavin-airllm.html)
Misurato dai topic GitHub comuni a entrambi i progetti, ponderati per la loro rarita.