Python

TRL

Alinear LLMs (SFT, DPO, PPO)

por huggingface · Apache-2.0

pip install git+https://github.com/huggingface/trl.git

¿Qué es TRL?

TRL es la biblioteca de Hugging Face para el post-entrenamiento y la alineación de modelos de lenguaje con ajuste fino supervisado, DPO y métodos de aprendizaje por refuerzo como PPO.

Por qué la gente elige TRL

• SFT, DPO y PPO en una sola biblioteca
• Se integra con PEFT y Accelerate
• Mantenido por Hugging Face

TRL a primera vista

Alternativas de código abierto a TRL

Otros herramientas de ajuste fino de código abierto que vale la pena comparar:

UnslothAjusta LLMs 2x más rápido en una GPUAxolotlAjuste basado en configuración para muchos modelosLLaMA-FactoryAjusta más de 100 modelos con una interfazPEFTLoRA y amigos de Hugging FaceTorchtuneRecetas hackeables de post-entrenamiento nativas de PyTorchLlama CookbookRecetas oficiales para ajustar Llamams-swiftAjusta más de 500 LLMs y VLMs

TRL cara a cara

Preguntas frecuentes