distributed-inference

4 projetos partilham este topic do GitHub

Linhas conectam membros que estão mensuravelmente relacionados entre si. O tamanho do ponto reflete estrelas.

🧬 Membros

FlashInfer: Kernel Library for LLM Serving

A GPU cluster manager for high-performance AI model serving (vLLM, SGLang) and on-demand SSH-accessible GPU…

Achieve state of the art inference performance with modern accelerators on Kubernetes

awsome-distributed-ai

Collection of best practices, reference architectures, model training examples and utilities to train large…

🔗 Familias relacionadas

gpu 59 cuda 78 llm-inference 65 inference 74 attention 36 moe 13 nvidia 19 ascend 5

Medido a partir dos tópicos do GitHub compartilhados por ambos os projetos, ponderado pela raridade de cada tópico.