资源库
训练与微调 Open Source
面向训练、微调、对齐与分布式训练的开源工具链。
Accelerate
huggingface/accelerate
简化分布式训练与混合精度训练的库。
Axolotl
axolotl-ai-cloud/axolotl
面向开源 LLM 微调的便捷训练框架。
bitsandbytes
bitsandbytes-foundation/bitsandbytes
面向低比特量化与优化训练的库。
DeepSpeed
microsoft/DeepSpeed
微软面向大规模模型训练优化的库。
Fairseq
facebookresearch/fairseq
面向序列建模的开源训练工具包。
FlashAttention
Dao-AILab/flash-attention
高效注意力实现，用于加速训练与推理。
Liger Kernel
linkedin/Liger-Kernel
面向高效 LLM 训练的内核优化集合。
LLaMA-Factory
hiyouga/LLaMA-Factory
面向大模型微调与部署的一体化开源工具。
Megatron-LM
NVIDIA/Megatron-LM
NVIDIA 面向大规模 Transformer 训练的框架。
NeMo
NVIDIA/NeMo
NVIDIA 面向语音与语言模型的训练框架。
OpenRLHF
OpenRLHF/OpenRLHF
面向 RLHF 训练的开源框架。
PEFT
huggingface/peft
参数高效微调方法集合库。
PyTorch Lightning
Lightning-AI/pytorch-lightning
简化 PyTorch 训练循环的高级框架。
torchtune
pytorch/torchtune
PyTorch 官方 LLM 微调与训练工具包。
Transformers
huggingface/transformers
主流预训练模型加载、推理与训练工具库。
TRL
huggingface/trl
面向强化学习与偏好对齐训练的库。
Unsloth
unslothai/unsloth
面向更快 LLM 微调的优化训练库。