Uma estrutura flexível para experimentar inferência de LLM heterogêneos/otimizações de ajuste fino
Use um framework para executar e ajustar eficientemente grandes modelos de linguagem no seu computador.
Reivindique a sua pagina: indexada seja qual for a posicao, traduzida em seis linguas e enriquecida com as suas palavras.
Receba um alerta por e-mail no próximo lançamento ou quando começar a bombar.
Grátis · sem cartão · cancele quando quiserUma estrutura flexível para experimentar inferência de LLM heterogêneos/otimizações de ajuste fino
ktransformers tem 19.1k estrelas no GitHub. Foi bifurcado 1.5k vezes. ktransformers é escrito principalmente em Python. Está em desenvolvimento ativo desde 2024. ktransformers está disponível sob a licença Apache-2.0.
Read the full guideUma estrutura flexível para experimentar inferência de LLM heterogêneos/otimizações de ajuste fino
ktransformers é um projeto de código aberto. É distribuído sob a licença Apache-2.0.
Sim. ktransformers é gratuito e de código aberto — você pode usá-lo, modificá-lo e hospedá-lo por conta própria.
ktransformers está disponível sob a licença Apache-2.0.
ktransformers é escrito principalmente em Python.
Adicione este badge ao vivo ao seu README — suas estrelas do GitHub e classificação no diretório, atualizadas diariamente.
[](https://opensourceai.tech/project/kvcache-ai-ktransformers.html)