Privacy-First Local AI — 完全本地、零外传的 AI 工作栈

这个 pack 包含什么

这个 pack 是给读到厂商合同里那句「我们可能会用您的数据改进服务」就直接放下笔的买家：办特权事务的律所、处理 PHI 的医院、上了物理隔离网的政府机关、合同条款不能落到德州某台 OpenAI 服务器上的外贸商。整套设计的核心是 推理时不调任何外部 API。

按层切开是这样：

• Runtime 层 — 加载模型权重、对外吐 token 的引擎。Ollama / LM Studio / MLC-LLM 在这一层。
• UI 层 — 不懂技术的律师、医生实际打开的那个窗口。Open WebUI / Jan / GPT4All / LibreChat / Text Generation WebUI 全都是「本地版 ChatGPT」的不同形态。
• RAG 层 — 把模型接到你自己的文档（案卷、病历、报关单）。Khoj 监听一个文件夹，再以 API 形式喂回给本地模型。
• 语音层 — Faster Whisper 本地转写会议、问询、医患对话，音频永远不会到达任何云 STT 厂商。

这是我们 local-first-ai pack（面向开发者个人战机）和 local-llm-runners pack（runtime 横向对比）的隐私优先姊妹篇。这一份明确针对 强监管行业的部署形态 — 当合规官才是真正签字放行的人，你该装哪些工具。

推荐安装顺序

1. Ollama — 从这里开始。单二进制，macOS / Linux / Windows 都跑，ollama pull llama3.1 拉模型，localhost 上吐一个 OpenAI 兼容 HTTP API。下游所有东西 — UI、RAG、agent — 都可以把 Ollama 当作 OpenAI 来对接，意味着你只改一个 base URL 就能把任何云端方案翻译成全本地。
2. LM Studio — 给不用 CLI 的人备的 GUI 替代品。干的事一样（装 GGUF 权重、起本地 OpenAI 端点），但带桌面 app 做模型搜索、下载、聊天。律师 / 医生工作站上装这个，服务器上装 Ollama。
3. MLC-LLM — Ollama 在你的硬件上嫌慢的时候上。用 TVM 编译模型，原生跑在 Apple Silicon、NVIDIA、AMD 甚至 WebGPU 上。如果你的吞吐目标是单工作站同时支撑 10+ 人实时聊天，多花的配置时间值。
4. Open WebUI — ChatGPT 复刻。Docker Compose 起，指向 Ollama 的端口，给你多用户账号、聊天历史、模型切换、文档上传。这是终端用户实际打开的那个东西。强监管环境里部署得最多的本地聊天 UI，原因就是它的人均权限模型。
5. Jan — 桌面 app 版的 Open WebUI 思路。跨平台 Electron 客户端，内置模型下载器。每个用户一台笔记本、你不想搭中心服务器的时候用它。
6. GPT4All — 跟 Jan 同生态位，不同出身（Nomic）。二进制更小、默认模型选得更保守、纯 CPU 老机器也勉强能跑。装在每个信贷员桌上那台用了 5 年的 ThinkPad 上正合适。
7. LibreChat — 想要一个前端横跨本地 +（精心放白名单的）云的组织用它。混合场景有用：特权事务路由到 Ollama，一般检索路由到签了合同的云厂。可以做人均路由规则。
8. Text Generation WebUI — 高阶用户的兜底。支持比谁都多的模型格式（GGUF、GPTQ、AWQ、EXL2、transformers），暴露原始采样参数，可以跑 LoRA。研究员需要在内部数据上微调模型、又要保持流程私有的时候装它。
9. Khoj — RAG 层。监听一个文件夹（案卷、病历、报关 PDF），本地做 embedding，再以聊天 UI 或 API 形式喂回去给任何工具用。把 embedding 和 generation 都配成走 Ollama，你的文档永远不会离开这台机器。
10. Faster Whisper — 会议 / 问询 / 医患对话的转写。同精度下比原版 Whisper 快 4 倍。把它的输出灌进 Khoj，你就有了一个完全本地的「参与了这场会议的 AI」，音频不需要发给 AssemblyAI、Deepgram、OpenAI。

它们怎么协同

   ┌──────────────────────────────────────────────────────────┐
   │  你的工作站 / 机房服务器（出网完全关闭）                  │
   └──────────────────────────────────────────────────────────┘

   笔记本 GPU / 服务器 GPU / Apple Silicon NPU
             │
             ▼
   ┌──────────────────────────────┐
   │  Runtime：Ollama / LM Studio │  ◄── 实时多用户需要时
   │  （OpenAI 兼容 API）         │      改 MLC-LLM
   └──────────────────────────────┘
             │
   ┌─────────┴────────────────────────┐
   ▼                                  ▼
  聊天 UI                          RAG 层
   ├─ Open WebUI  （浏览器、多用户）  Khoj  ◄── 监听文件夹
   ├─ Jan  （桌面客户端）              │       （案卷 / 病历 /
   ├─ GPT4All  （低配老机器）          │        报关 PDF）
   ├─ LibreChat  （混合路由）          ▼
   └─ Text Generation WebUI（高阶）  本地向量库
                                    （SQLite / Qdrant 磁盘文件）
             │
             ▼
   Faster Whisper ─► 转写文本 ─► Khoj ─► AI 回答
   （音频进、文本出，全本地）             你录的会议

这个结构故意僵硬：一个 runtime 在底层（保证所有下游都指向同一个 OpenAI 兼容 URL）、按用户人群选 1 个或几个 UI、文档重要就上 1 个 RAG 服务、会议重要就上 1 个语音引擎。别同时跑两个 runtime — 那是同一台机器上塞 30 GB 重复模型权重的最快办法。

你会遇到的取舍

• 硬件门槛是真实存在的 — 一个 4-bit 量化的 7B 模型大约要 5 GB 内存，M1/M2 上跑 15-30 tok/s。70B 模型要 40 GB+，M3 Max 上跑 2-5 tok/s — 批处理还行，交互式聊天会痛苦。别向合规官保证「16 GB MacBook 跑出 GPT-4 质量」。
• 质量 vs 大厂前沿模型 — 一个强开源模型（Llama 3.1 70B、Qwen 2.5 72B）在短问答上大致是 GPT-4 量级，长文推理明显弱。特权文书起草，预期比走云前沿模型多 1-2 轮修订。监管买家基本都能接受 — 替代方案是把特权数据发给第三方。
• 维护成本 — 部署归你了。模型升级、GPU 驱动升级、向量库压缩、日志轮转 — 全你的。每 50 个活跃用户预算 0.2-0.5 FTE 的 IT 工时，第一年更多。
• 多用户并发 — Ollama 默认串行处理请求。单卡 5 个以上并发用户，要换真正的推理服务器（vLLM、TGI）放在 Open WebUI 后面。本 pack 的工具组合在单团队规模下正确；同一批 UI 在 vLLM 前面也能跑，规模扩了以后无缝切。
• 物理隔离 vs 部分隔离 — 「全本地」其实分两种姿态。物理隔离：机器完全无网，模型靠 U 盘预装，升级走审批流程。网络隔离：机器只对外开 OS 升级用，AI 流量全部留在 localhost。第二种轻松得多；第一种是部分政府 / 国防买家真的会要求的。

常见踩坑

• M1 / 16 GB MacBook 想跑 70B — 装不下。会走 mmap 然后把 SSD 抖到冒烟。16 GB 老老实实 7-13B，32 GB 上 30-34B，64 GB+ 才碰 70B。Apple 的统一内存让这事比独立 GPU 容易，但数学还是数学。
• 模型选错语种 — 主流开源 base 模型都偏英文。中文法律文本选 Qwen 2.5（中文原生强）。日文病历选 ELYZA 这类微调。给非英文语料挑 Llama 3.1 然后抱怨质量，是最常见的失败模式。
• RAG 切块策略 — 朴素的 1000-token 切法会毁掉合同条款（每条款是独立逻辑单元）和病历记录（每条带时间戳、原子）。先按文档具体边界配好 Khoj 的 chunker，再去 embed 5 万个案卷，否则会发现检索完全没用。
• 忘了关遥测 — Open WebUI、Jan、Text Generation WebUI 都默认带一个可选的匿名遥测。在配置里显式关掉，再用抓包工具验证一次。整套栈的卖点就是「零外联」，一个忘勾的 checkbox 能毁掉整个合规叙事。
• PHI / 特权数据明文落盘 — 模型权重本地了不假，但 Khoj 的向量库如果明文躺在同一块硬盘上，笔记本被偷照样全漏。栈里每台机器都开全盘加密（FileVault / LUKS / BitLocker）。这是审计里最后才发现的发现，所有其他隐私控制都过了之后才暴露出来。