serving

4 Projekte teilen dieses GitHub-Topic

Linien verbinden Mitglieder, die messbar miteinander verwandt sind. Die Punktgröße spiegelt die Sterne wider.

🧬 Mitglieder

Ray is an AI compute engine. Ray consists of a core distributed runtime and a set of AI Libraries for…

learn LLM inference system on Apple Silicon for systems engineers: build a tiny vLLM + Qwen

High-performance Inference and Deployment Toolkit for LLMs and VLMs based on PaddlePaddle

The backend agents build with - Multimodal database, orchestration, and serving in one file

🔗 Verwandte Familien

llm-serving 21 vllm 48 deployment 22 distributed 25 hyperparameter-optimization 10 llm-inference 80 optimization 23 parallel 4

Gemessen anhand der von beiden Projekten geteilten GitHub-Themen, gewichtet nach der Seltenheit jedes Themas.