distributed-inference

4 Projekte teilen dieses GitHub-Topic

Linien verbinden Mitglieder, die messbar miteinander verwandt sind. Die Punktgröße spiegelt die Sterne wider.

🧬 Mitglieder

FlashInfer: Kernel Library for LLM Serving

A GPU cluster manager for high-performance AI model serving (vLLM, SGLang) and on-demand SSH-accessible GPU…

State of the art inference performance with modern accelerators on Kubernetes

awsome-distributed-ai

Collection of best practices, reference architectures, model training examples and utilities to train large…

🔗 Verwandte Familien

gpu 64 cuda 82 llm-inference 80 inference 81 attention 36 moe 17 nvidia 21 ascend 4

Gemessen anhand der von beiden Projekten geteilten GitHub-Themen, gewichtet nach der Seltenheit jedes Themas.