ggml

15 proyectos comparten este topic de GitHub

Las líneas conectan a los miembros que están mediblemente relacionados entre sí. El tamaño de los puntos refleja las estrellas.

🧬 Miembros

llama.cpp

LLM inference in C/C++

★ 122k

inference

Swap GPT for any LLM by changing a single line of code. Xinference lets you run open-source, speech, and…

★ 9.5k

stable-diffusion.cpp

Diffusion model(SD,Flux,Wan,Qwen Image,Z-Image,...) inference in pure C/C++

★ 6.6k

LLMFarm

llama and other large language models on iOS and MacOS offline using GGML library.

★ 2.1k

gollama

Go manage your Ollama models

★ 1.8k

rwkv.cpp

INT4/INT5/INT8 and FP16 inference on CPU for RWKV language model

★ 1.6k

gpu_poor

Calculate token/s & GPU memory requirement for any LLM. Supports llama.cpp/ggml/bnb/QLoRA quantization

★ 1.4k

ComfyUI-MultiGPU

This custom_node for ComfyUI adds one-click "Virtual VRAM" for any UNet and CLIP loader as well MultiGPU…

★ 931

bark.cpp

Suno AI's Bark model in C/C++ for fast text-to-speech generation

★ 866

SAM3DBody-cpp

Real-time 3D full-body reconstruction from a single camera, Multiperson BVH output, Pure C++ runtime, ONNX +…

★ 604

can-ai-code

Self-evaluating interview for AI coders

★ 599

minigpt4.cpp

Port of MiniGPT4 in C++ (4bit, 5bit, 6bit, 8bit, 16bit CPU inference with GGML)

★ 573

clip.cpp

CLIP inference in plain C/C++ with no extra dependencies

★ 563

CrispASR

C++ ggml runtime hub for multilingual ASR and TTS models: Cohere Transcribe, Parakeet TDT, Voxtral, Canary 1B…

★ 482

LLaMA-Cult-and-More

Large Language Models for All, 🦙 Cult and More, Stay in touch !

★ 449

Medido a partir de los temas de GitHub compartidos por ambos proyectos, ponderado por cuán raros son cada uno de los temas.