本地优先 AI — 数据不出本机

这个 pack 包含什么

这是你想清楚「我的日记 / 客户录音 / 半成品代码不要进别人训练集」之后会搭的那一套。每个工具都开源、活跃维护、模型下载完后完全不需要外网就能用。

动机基本不是抽象的「隐私」三个字。是三件具体的事叠在一起：(1) 月度 token 账单跟你的好奇心成正比涨；(2) 服务条款随时改；(3) 突然意识到你已经把整个收件箱粘到一个公开承认会做索引的聊天框里了。本地一套永久解决这三件事。

这套 pack 不等于 TokRepo 上已有的 self-hosted-ai pack —— 那一套是为「在自己服务器上跑 SaaS」准备的（Tabby / Onyx / LibreChat / n8n）。这一套是为个人准备的：希望在自己电脑上有个私有 AI，包括非开发者也用得上的会议转写、笔记 app。

推荐安装顺序

1. Ollama — model runner，从这里开始。一行命令装（curl -fsSL ollama.com/install.sh | sh），ollama pull llama3.1 拉模型，在 localhost:11434 暴露 OpenAI 兼容 API。后面所有工具都指向它。
2. GPT4All — 带 GUI 的 model runner。如果不常进终端，用这个代替（或并装）Ollama。同样的事，对非开发者更友好。
3. Open WebUI — 本地 ChatGPT 替代品。开箱即对接 Ollama，多轮对话、上传文件做 RAG、网页搜索插件都支持。「我就想问个问题」80% 的场景在这里发生。
4. Continue — 本地编码助手，VS Code 和 JetBrains 都有。配置成调本地 Ollama 而不是 Copilot 服务器。内联编辑、对话、重构 — 全部在本机。比 Copilot 慢，但你的私仓不出机器。
5. Khoj — AI second brain。索引你的 Markdown 笔记、PDF、org-mode、甚至 Notion 导出，然后通过本地 LLM 跟它聊。这是给你生活的 RAG 层，不是给代码库的。
6. Faster Whisper — 语音转文字。比官方 Whisper 快 4 倍，CPU/GPU 都能跑，精度跟 OpenAI Whisper 一样。丢音频进去，吐文本出来。下一个工具的基础。
7. Meetily — 隐私优先的会议助手。本地录音、本地 Whisper 转写、本地 LLM 摘要。Zoom/Meet 录音不出云。
8. ComfyUI — 基于 Stable Diffusion 的本地出图。节点式界面，Apple Silicon 和 CUDA 都快，能跑 SDXL / Flux / SD3。没有 prompt 日志、没有内容审查、没有次数上限。
9. Joplin — 隐私笔记 app，可选端到端加密。这里是你本地 AI 要读的原始素材。Markdown、插件、用自己的存储跨设备同步。

它们怎么协同

        ┌─────────────────────────────────────┐
        │   你的笔记本（无外发请求）            │
        └─────────────────────────────────────┘
                       │
  ┌────────────────────┴────────────────────┐
  │                                          │
Ollama / GPT4All  ◄──── OpenAI 兼容 API ──────────┐
  (model runner)                                  │
  │                                                │
  ├─► Open WebUI  ─── 浏览器里聊天                  │
  │                                                │
  ├─► Continue    ─── VS Code 写代码               │
  │                                                │
  ├─► Khoj        ─── 跟你的笔记对话 ◄── Joplin     │
  │                                                │
  └─► Meetily     ─── 会议摘要 ◄── Faster Whisper   │
                                                   │
ComfyUI ── 独立运行（自带模型 runtime）─────────────┘

关键技巧：所有 6 个客户端工具（Open WebUI、Continue、Khoj、Meetily 加你后续接的任何东西）都指向同一个 Ollama 端点。模型只下一次，每个 app 复用。要看的预算是磁盘和内存，不是 API 配额。

你会遇到的取舍

• 云端质量 vs 本地质量 —— 实话讲：GPT-5 / Claude 4.5 在前沿推理、长上下文、不熟代码库的代码生成上仍然碾压任何 8B 量化本地模型。本地赢在隐私、短 prompt 延迟、规模化的成本、离线可用。正确心智模型是「日常 80% 用本地，难的 20% 用云」，而不是「本地替代云」。
• Apple Silicon vs NVIDIA —— M2/M3/M4 + 32 GB 以上统一内存，13B 模型走 Metal/MPS 跑得很舒服。NVIDIA + 16 GB 以上显存在大模型上更快，但更吵、更热、更贵。这套 pack 大部分在 2K 美元的 Mac 上都能跑；ComfyUI 和 70B 模型才会真正需要独立 GPU。
• 量化 vs 全精度 —— Ollama 默认拉 Q4_K_M（4-bit 量化）。精度大约掉 2-3%，换 4x 内存节省。永远先用量化版。只在你能测出有意义的质量差距时再上全精度。

常见踩坑

• 内存炸 —— Open WebUI + Continue + Khoj 同时开，每个都在内存里压着模型，16 GB 机器必 OOM。配 OLLAMA_MAX_LOADED_MODELS=1，让 Ollama 自己换进换出。
• 模型文件巨大 —— Llama 3.1 70B 占盘 40 GB。在 ollama pull 所有看着有意思的东西之前先想好存储预算。维护一个删除清单。
• MPS vs CUDA 混乱 —— 大部分安装指南假设你用 NVIDIA。Apple Silicon 上要找每个工具的 -metal 或 mps 变种。ComfyUI 尤其要装对 Python wheel。
• 「这件事我还是得用云端」 —— 别纠结，认了。把前沿难度的 query 通过一个隐私友好的客户端（关掉日志的 LibreChat、或者只用 API + Bearer 不带 organization ID）路由给 Claude/GPT，是理智的混合方案。
• 语音 agent 野心 —— Meetily + Faster Whisper 处理批量转写很漂亮。真正的实时对话语音（< 500ms 延迟 + 可打断）目前本地仍然非常难。第一周别给自己许这个愿。