KoboldCpp

Ejecutor de modelo local en un solo archivo

¿Qué es KoboldCpp?

KoboldCpp es una forma fácil y de un solo ejecutable para ejecutar modelos GGUF localmente con una interfaz de usuario integrada, controles de muestreo robustos y soporte para texto, imagen y voz.

¿Por qué la gente elige KoboldCpp?

• Ejecutable único, sin instalación
• Interfaz de usuario y API integradas
• Excelentes controles de muestreo y contexto

KoboldCpp de un vistazo

Alternativas de código abierto a KoboldCpp

Otras herramientas de código abierto para ejecutar LLMs localmente que vale la pena comparar:

OllamaEjecutar LLMs abiertos localmente con un solo comandoLM StudioExplorar, descargar y chatear con modelos localesJanAplicación de escritorio estilo ChatGPT de código abierto y sin conexiónGPT4AllIA local privada que se ejecuta en CPUllama.cppEl motor C/C++ que impulsa la inferencia localLocalAIUna API de OpenAI que autohospedasText Generation WebUIInterfaz web rica en funciones para modelos localesMLC LLMEjecutar LLMs en cualquier dispositivo, incluso teléfonosllamafileUn archivo ejecutable = modelo + tiempo de ejecuciónexoEjecuta grandes modelos en tus dispositivos cotidianosCortexTiempo de ejecución estilo Ollama del equipo de JanNexa SDKEjecuta cualquier modelo en cualquier dispositivo — CPU, GPU, NPURamaLamaEjecuta modelos como contenedores OCIGPUStackGestiona clústeres de GPU para ejecutar modelos

KoboldCpp cara a cara

Preguntas frecuentes