什么是 Llamafile?
Llamafile 将 LLM 打包为单个可执行文件,任何操作系统直接运行。Mozilla 出品,基于 llama.cpp + Cosmopolitan Libc。
一句话总结:将 LLM 打包为单文件可执行程序,跨平台零依赖运行,内置 Web UI 和 OpenAI 兼容 API,Mozilla 出品,22k+ stars。
适合人群:需要零配置本地 AI 推理的开发者。
核心功能
1. 零依赖
一个文件,无需 Python/Docker/包管理器。
2. 跨平台
同一文件在 Windows/macOS/Linux 运行。
3. GPU 加速
自动检测 CUDA/Metal。
常见问题
Q: 文件多大? A: 等于模型权重大小,7B Q4 约 4GB。
Q: 谁维护? A: Mozilla 创新团队。
来源与致谢
Mozilla-Ocho/llamafile — 22k+ stars, Apache 2.0