lm-evaluation-harness
Un cadre pour l'évaluation par quelques exemples des modèles de langage.
Évaluez rapidement les modèles de langage avec un cadre qui prend en charge diverses configurations.
Depuis le README
git clone --depth 1 https://github.com/EleutherAI/lm-evaluation-harness cd lm-evaluation-harness pip install -e .
- [2025/12] Lighter install: Base package no longer includes transformers/torch. Install model backends separately: pip install lmeval[hf], lmeval[vllm], etc.
- [2025/07] Added thinkendtoken arg to hf (token/str), vllm and sglang (str) for stripping CoT reasoning traces from models that support it.
- [2025/03] Added support for steering HF models!
- [2025/02] Added SGLang support!
Extraits du README du projet sur GitHub. Le droit d'auteur et les licences restent la propriété des auteurs respectifs.
Revendiquez sa page : indexée quel que soit son rang, traduite en six langues, et enrichie de vos propres mots.
Recevez une alerte par e-mail à sa prochaine version ou quand il décolle — ne ratez plus rien.
Gratuit · sans carte · désinscription à tout momentUn cadre pour l'évaluation par quelques exemples des modèles de langage.
lm-evaluation-harness compte 13.8k étoiles sur GitHub. Il a été forké 3.5k fois. lm-evaluation-harness est écrit principalement en Python. Il est développé activement depuis 2020. lm-evaluation-harness est disponible sous licence MIT. Ses principaux thèmes sont : evaluation-framework, language-model, transformer.
Qu'est-ce que lm-evaluation-harness ?
Un cadre pour l'évaluation par quelques exemples des modèles de langage.
lm-evaluation-harness est-il open source ?
lm-evaluation-harness est un projet open source. Il est distribué sous licence MIT.
lm-evaluation-harness est-il gratuit ?
Oui. lm-evaluation-harness est gratuit et open source — vous pouvez l'utiliser, le modifier et l'héberger vous-même.
Sous quelle licence est lm-evaluation-harness ?
lm-evaluation-harness est disponible sous licence MIT.
Dans quel langage lm-evaluation-harness est-il écrit ?
lm-evaluation-harness est écrit principalement en Python.
Ajoutez ce badge en direct à votre README — vos étoiles GitHub et votre classement dans le répertoire, actualisés quotidiennement.
[](https://olud.ai/project/eleutherai-lm-evaluation-harness.html)
Mesuré à partir des topics GitHub communs aux deux projets, pondérés par leur rareté.