Execute grandes modelos de IA em uma GPU de baixa memória, permitindo processamento avançado de linguagem sem requisitos pesados de hardware.
Do README
pip install airllm
- Step 1. make sure you have bitsandbytes installed by pip install -U bitsandbytes
- Step 2. make sure airllm verion later than 2.0.0: pip install -U airllm
- Step 3. when initialize the model, passing the argument compression ('4bit' or '8bit'):
Trechos do README do projeto em GitHub. Os direitos autorais e as licenças permanecem com os respectivos autores.
Reivindique a sua pagina: indexada seja qual for a posicao, traduzida em seis linguas e enriquecida com as suas palavras.
Receba um alerta por e-mail no próximo lançamento ou quando começar a bombar.
Grátis · sem cartão · cancele quando quiserInferência AirLLM 70B com uma única GPU de 4GB
airllm tem 33.2k estrelas no GitHub. Foi bifurcado 3.5k vezes. airllm é escrito principalmente em Jupyter Notebook. Está em desenvolvimento ativo desde 2023. airllm está disponível sob a licença Apache-2.0. Os seus principais temas são: chinese-llm, chinese-nlp, finetune, generative-ai.
O que é airllm?
Inferência AirLLM 70B com uma única GPU de 4GB
airllm é de código aberto?
airllm é um projeto de código aberto. É distribuído sob a licença Apache-2.0.
airllm é gratuito?
Sim. airllm é gratuito e de código aberto — você pode usá-lo, modificá-lo e hospedá-lo por conta própria.
Sob que licença está airllm?
airllm está disponível sob a licença Apache-2.0.
Em que linguagem airllm está escrito?
airllm é escrito principalmente em Jupyter Notebook.
Adicione este badge ao vivo ao seu README — suas estrelas do GitHub e classificação no diretório, atualizadas diariamente.
[](https://olud.ai/project/lyogavin-airllm.html)
Medido a partir dos topics do GitHub comuns aos dois projetos, ponderados pela sua raridade.