Ejecuta modelos de IA grandes en una GPU de baja memoria, permitiendo un procesamiento de lenguaje avanzado sin requisitos de hardware pesados.
Del README
pip install airllm
- Step 1. make sure you have bitsandbytes installed by pip install -U bitsandbytes
- Step 2. make sure airllm verion later than 2.0.0: pip install -U airllm
- Step 3. when initialize the model, passing the argument compression ('4bit' or '8bit'):
Extractos del README del proyecto sobre GitHub. Los derechos de autor y las licencias permanecen con los respectivos autores.
Reivindica su pagina: indexada sea cual sea su posicion, traducida a seis idiomas y enriquecida con tus propias palabras.
Recibe una alerta por correo en su próximo lanzamiento o cuando despegue — no te pierdas nada.
Gratis · sin tarjeta · cancela cuando quierasInferencia AirLLM 70B con una sola GPU de 4GB
airllm tiene 33.2k estrellas en GitHub. Se ha bifurcado 3.5k veces. airllm está escrito principalmente en Jupyter Notebook. Se desarrolla activamente desde 2023. airllm está disponible bajo la licencia Apache-2.0. Sus temas principales son: chinese-llm, chinese-nlp, finetune, generative-ai.
¿Qué es airllm?
Inferencia AirLLM 70B con una sola GPU de 4GB
¿airllm es de código abierto?
airllm es un proyecto de código abierto. Se distribuye bajo la licencia Apache-2.0.
¿airllm es gratis?
Sí. airllm es gratuito y de código abierto: puedes usarlo, modificarlo y alojarlo tú mismo.
¿Bajo qué licencia está airllm?
airllm está disponible bajo la licencia Apache-2.0.
¿En qué lenguaje está escrito airllm?
airllm está escrito principalmente en Jupyter Notebook.
Agrega este distintivo en vivo a tu README — tus estrellas de GitHub y rango en el directorio, actualizados diariamente.
[](https://olud.ai/project/lyogavin-airllm.html)
Medido a partir de los topics de GitHub comunes a ambos proyectos, ponderados por su rareza.