tiny-vllm
Costruisci il tuo motore di inferenza LLM ad alte prestazioni in C++ e CUDA - una versione più piccola di vLLM
Impara a costruire un motore veloce per eseguire modelli di linguaggio di grandi dimensioni con C++ e CUDA.
Rivendica la sua pagina: indicizzata qualunque sia il rango, tradotta in sei lingue e arricchita con le tue parole.
Ricevi un avviso via email alla prossima release o quando decolla — non perderti nulla.
Gratis · senza carta · disdici quando vuoiCostruisci il tuo motore di inferenza LLM ad alte prestazioni in C++ e CUDA - una versione più piccola di vLLM
tiny-vllm ha 961 stelle su GitHub. È stato forkato 69 volte. tiny-vllm è scritto principalmente in C++. È in sviluppo attivo dal 2026. tiny-vllm è disponibile con licenza Apache-2.0. I suoi temi principali sono: ai, attention, batching, course.
Che cos'è tiny-vllm?
Costruisci il tuo motore di inferenza LLM ad alte prestazioni in C++ e CUDA - una versione più piccola di vLLM
tiny-vllm è open source?
tiny-vllm è un progetto open source. È rilasciato con licenza Apache-2.0.
tiny-vllm è gratuito?
Sì. tiny-vllm è gratuito e open source: puoi usarlo, modificarlo e ospitarlo autonomamente.
Con quale licenza è tiny-vllm?
tiny-vllm è disponibile con licenza Apache-2.0.
In quale linguaggio è scritto tiny-vllm?
tiny-vllm è scritto principalmente in C++.
Aggiungi questo badge live al tuo README — le tue stelle GitHub e il ranking della directory, aggiornati quotidianamente.
[](https://opensourceai.tech/project/jmaczan-tiny-vllm.html)
