distributed-inference

4 progetti condividono questo topic GitHub

Le linee collegano membri che sono misurabilmente correlati tra loro. La dimensione dei punti riflette le stelle.

🧬 Membri

FlashInfer: Kernel Library for LLM Serving

A GPU cluster manager for high-performance AI model serving (vLLM, SGLang) and on-demand SSH-accessible GPU…

Achieve state of the art inference performance with modern accelerators on Kubernetes

awsome-distributed-ai

Collection of best practices, reference architectures, model training examples and utilities to train large…

🔗 Famiglie affini

gpu 93 cuda 90 llm-inference 76 inference 94 attention 36 moe 11 nvidia 45 ascend 5

Misurato dai temi di GitHub condivisi da entrambi i progetti, ponderato in base a quanto è raro ciascun tema.