lm-evaluation-harness
Un framework per la valutazione few-shot dei modelli di linguaggio.
Valuta rapidamente i modelli di linguaggio con un framework che supporta varie configurazioni.
Dal README
git clone --depth 1 https://github.com/EleutherAI/lm-evaluation-harness cd lm-evaluation-harness pip install -e .
- [2025/12] Lighter install: Base package no longer includes transformers/torch. Install model backends separately: pip install lmeval[hf], lmeval[vllm], etc.
- [2025/07] Added thinkendtoken arg to hf (token/str), vllm and sglang (str) for stripping CoT reasoning traces from models that support it.
- [2025/03] Added support for steering HF models!
- [2025/02] Added SGLang support!
Estratti dal README del progetto su GitHub. I diritti d'autore e le licenze rimangono con i rispettivi autori.
Rivendica la sua pagina: indicizzata qualunque sia il rango, tradotta in sei lingue e arricchita con le tue parole.
Ricevi un avviso via email alla prossima release o quando decolla — non perderti nulla.
Gratis · senza carta · disdici quando vuoiUn framework per la valutazione few-shot dei modelli di linguaggio.
lm-evaluation-harness ha 13.8k stelle su GitHub. È stato forkato 3.5k volte. lm-evaluation-harness è scritto principalmente in Python. È in sviluppo attivo dal 2020. lm-evaluation-harness è disponibile con licenza MIT. I suoi temi principali sono: evaluation-framework, language-model, transformer.
Che cos'è lm-evaluation-harness?
Un framework per la valutazione few-shot dei modelli di linguaggio.
lm-evaluation-harness è open source?
lm-evaluation-harness è un progetto open source. È rilasciato con licenza MIT.
lm-evaluation-harness è gratuito?
Sì. lm-evaluation-harness è gratuito e open source: puoi usarlo, modificarlo e ospitarlo autonomamente.
Con quale licenza è lm-evaluation-harness?
lm-evaluation-harness è disponibile con licenza MIT.
In quale linguaggio è scritto lm-evaluation-harness?
lm-evaluation-harness è scritto principalmente in Python.
Aggiungi questo badge live al tuo README — le tue stelle GitHub e il ranking della directory, aggiornati quotidianamente.
[](https://olud.ai/project/eleutherai-lm-evaluation-harness.html)
Misurato dai topic GitHub comuni a entrambi i progetti, ponderati per la loro rarita.