Unsloth — Fine-Tune LLMs 2x Faster with 80% Less Memory

什么是 Unsloth？

Unsloth 是开源 LLM 微调库，实现 2 倍速度和 80% 显存节省，无精度损失。在单张 GPU 上微调 70B 模型。

一句话总结：开源 LLM 微调库，2 倍速度、80% 显存节省、零精度损失，支持 Llama/Mistral/Gemma/Qwen，25k+ GitHub stars。

适合人群：GPU 资源有限需要微调开源 LLM 的 ML 工程师。

核心功能

1. 2 倍训练速度

自定义 CUDA 内核优化注意力和反向传播。

2. 80% 显存节省

Llama 3 8B 仅需 6GB 显存（原需 24GB）。

3. 多格式导出

GGUF（Ollama）、合并 16bit、Hugging Face Hub。

4. 广泛模型支持

Llama、Mistral、Gemma、Qwen、Phi 系列。

常见问题

Q: 影响模型质量吗？ A: 不影响，数学上等价，加速来自内核优化。

Q: 消费级 GPU 能用吗？ A: 能，RTX 3060（12GB）即可微调 8B 模型。

来源与致谢

unslothai/unsloth — 25k+ stars, Apache 2.0