KoboldCpp

Executor de modelo local em um único arquivo

O que é o KoboldCpp?

KoboldCpp é uma maneira fácil e de único executável para rodar modelos GGUF localmente com uma interface integrada, controles de amostragem robustos e suporte para texto, imagem e voz.

Por que as pessoas escolhem o KoboldCpp

• Executável único, sem instalação
• Interface e API integradas
• Ótimos controles de amostragem e contexto

KoboldCpp em um relance

Alternativas de código aberto ao KoboldCpp

Outras ferramentas de código aberto para executar LLMs localmente que valem a pena comparar:

OllamaExecutar LLMs abertos localmente com um comandoLM StudioNavegar, baixar e conversar com modelos locaisJanAplicativo de desktop estilo ChatGPT, offline e de código abertoGPT4AllIA local privada que roda em CPUllama.cppO motor C/C++ que alimenta a inferência localLocalAIUma API OpenAI que você hospedaText Generation WebUIInterface web rica em recursos para modelos locaisMLC LLMExecutar LLMs em qualquer dispositivo, até mesmo em telefonesllamafileUm arquivo executável = modelo + tempo de execuçãoexoExecute grandes modelos em seus dispositivos do dia a diaCortexTempo de execução estilo Ollama da equipe JanNexa SDKExecute qualquer modelo em qualquer dispositivo — CPU, GPU, NPURamaLamaExecute modelos como contêineres OCIGPUStackGerencie clusters de GPU para executar modelos

KoboldCpp em comparação

FAQ