Home› Progetti› JetStream

Python

JetStream

JetStream è un motore ottimizzato per throughput e memoria per l'inferenza LLM su dispositivi XLA, a partire da TPU (e GPU in futuro -- PR benvenuti).

di AI-Hypercomputer · GitHub

456

Stelle

Fork

Tendenze

Licenza

Creato

Ultimo commit

Categoria

Lingua

Probabile

Auto-ospitato

gemma gpt gpuApache-2.0PythonAuto-ospitato

Visualizza su GitHub

In parole semplici

Esegui modelli di linguaggio di grandi dimensioni su dispositivi TPU per un'elaborazione efficiente dei dati testuali.

Mantieni questo progetto?

Rivendica la sua pagina: indicizzata qualunque sia il rango, tradotta in sei lingue e arricchita con le tue parole.

Rivendica questa pagina →

📈 Storia delle stelle

2026-07-202026-08-31

📈 Segui JetStream

Ricevi un avviso via email alla prossima release o quando decolla — non perderti nulla.

Gratis · senza carta · disdici quando vuoi

Ricevi avvisi via email →

📄 Informazioni

JetStream è un motore ottimizzato per throughput e memoria per l'inferenza LLM su dispositivi XLA, a partire da TPU (e GPU in futuro -- PR benvenuti).

JetStream ha 456 stelle su GitHub. È stato forkato 67 volte. JetStream è scritto principalmente in Python. È in sviluppo attivo dal 2024. JetStream è disponibile con licenza Apache-2.0. I suoi temi principali sono: gemma, gpt, gpu, inference.

❓ Frequently asked questions

Che cos'è JetStream?

JetStream è un motore ottimizzato per throughput e memoria per l'inferenza LLM su dispositivi XLA, a partire da TPU (e GPU in futuro -- PR benvenuti).

JetStream è open source?

JetStream è un progetto open source. È rilasciato con licenza Apache-2.0.

JetStream è gratuito?

Sì. JetStream è gratuito e open source: puoi usarlo, modificarlo e ospitarlo autonomamente.

Con quale licenza è JetStream?

JetStream è disponibile con licenza Apache-2.0.

In quale linguaggio è scritto JetStream?

JetStream è scritto principalmente in Python.

🏅 Manutentore di questo progetto?

Aggiungi questo badge live al tuo README — le tue stelle GitHub e il ranking della directory, aggiornati quotidianamente.

[![olud.ai](https://olud.ai/badge.php?tool=ai-hypercomputer-jetstream)](https://olud.ai/project/ai-hypercomputer-jetstream.html)

Altre opzioni di badge →

🧬 Condivide il DNA con🧬 Vedi la mappa del DNA →

lorax

Server di inferenza Multi-LoRA che scala fino a 1000 LLM fine-tuned

★ 3.8k · fine-tuning

condividemodel-servingllm-inference

vllm-ascend

Plugin hardware mantenuto dalla comunità per vLLM su Ascend

★ 2.7k · ascend

condividemodel-servingmlops

vllm

Un motore di inferenza e servizio ad alta capacità e a basso consumo di memoria per LLM

★ 90.5k · amd

condividetpumodel-serving

aici

AICI: Prompts come programmi (Wasm)

★ 2.1k · ai

condividemodel-servingtransformer

higgsfield

Orchestrazione GPU tollerante ai guasti e altamente scalabile, e un framework di machine learni…

★ 4.1k · cluster-management

condividellama2mlops

infercrane

Open-source infrastructure for the full inference lifecycle: deploy, observe, scale, optimize,…

★ 50 · ai-infrastructure

condividemodel-servingmlops

gpu_poor

Calcola il requisito di token/s e memoria GPU per qualsiasi LLM. Supporta quantizzazione llama.…

★ 1.4k · ggml

condividellama2gpu

chitu

Framework di inferenza ad alte prestazioni per modelli di linguaggio di grandi dimensioni, foca…

★ 3k · deepseek

condividemodel-servinggpu

nano-vllm

Nano vLLM

★ 15.2k · deep-learning

condividetransformerinference

rtp-llm

RTP-LLM: il motore di inferenza LLM ad alte prestazioni di Alibaba per applicazioni diverse.

★ 1.3k · gpt

condivideinferencellama

Misurato dai topic GitHub comuni a entrambi i progetti, ponderati per la loro rarita.