本地 LLM 运行指南：9 款自部署工具对比（Ollama / vLLM / llama.cpp / MLX）

Ollama — 一行命令本地运行 LLM（2026 指南）

Ollama 是本地运行大模型最主流的方式。一条 CLI 即可下载、量化、用 OpenAI 兼容 API 对外服务——2026 年进入自部署 AI 的最低门槛。

LM Studio — 本地 LLM 桌面 GUI（Windows / Mac / Linux）

LM Studio 是最主流的本地 LLM 桌面 GUI——内置模型浏览器、OpenAI 兼容本地服务、Windows/Mac/Linux 打磨到位。非命令行用户的最佳入口。

LocalAI — 自有硬件上的 OpenAI 兼容替代

LocalAI 是开源的 OpenAI API 替代方案——一个 Docker 容器本地跑 LLM、嵌入、图像、语音、视觉模型。多后端、多模态、生产可用。

vLLM — 高吞吐 GPU 推理服务（生产规模）

vLLM 是面向规模化部署的开源推理引擎。PagedAttention、连续批处理、前缀缓存让它成为 GPU 生产多用户服务的最高吞吐选项。

llama.cpp — Ollama / LM Studio 等本地 LLM 共同依赖的 C++ 推理引擎

llama.cpp 是 Georgi Gerganov 开源的 C++ Llama 推理实现——多数本地 LLM 工具的底层引擎。支持 CPU、CUDA、ROCm、Metal、Vulkan，以及激进量化以适配各种硬件。

text-generation-webui（oobabooga）— 研究者爱用的本地 LLM 瑞士军刀

text-generation-webui 是研究者常用的 Gradio UI——多推理后端、LoRA 训练、量化实验、插件生态、熟悉的聊天界面一站齐备。

Jan — 完全离线运行的开源 ChatGPT 替代品

Jan 是 MIT 许可证的桌面应用，像 ChatGPT 一样本地运行大模型。内置模型库、Assistant、插件与 OpenAI 兼容本地服务——相对 LM Studio 的开源替代。

GPT4All — Nomic AI 出品的隐私优先桌面 LLM

GPT4All 是开源桌面 LLM，专注 CPU 上的隐私运行——无需 GPU、无遥测、简洁聊天界面，内置本地向量库索引文档。由 Nomic AI 维护。

MLX — 苹果为 Apple Silicon 打造的机器学习框架

MLX 是苹果开源的机器学习框架，专为 Apple Silicon 的统一内存架构设计。MLX-LM 在 M 系列 Mac 上是最快的 LLM 推理方案。