modal-examples — Serverless LLM Jobs on Modal

简介

用 Modal 官方示例集学习无服务器任务的生产实践（包含 LLM 推理与数据流水线场景）：先跑通一个例子，再按你的业务改造为可复用的 job，并加入日志、重试、并发控制与资源配额，更易规模化。

• 适合谁（Best for）: 想用示例驱动方式快速把 LLM 工作负载跑成无服务器 job 的开发者
• 兼容工具（Works with）: Python、Modal CLI、云端执行 + 本地开发闭环（见 README）
• 安装时间（Setup time）: 12 分钟

量化信息

• 跑通约 12 分钟（安装 + 授权 + 跑一个示例）
• GitHub stars + forks（已核验）：见「来源与感谢」
• 示例按目录分类；建议先从 1 个脚本跑通再逐步扩展

实战要点

把示例当模板：挑一个最接近你场景的（批处理、Web endpoint、GPU 推理），把核心函数替换为你的模型/工具调用，再补日志与重试。保持本地开发闭环：用一小份输入数据迭代，才能跑得快。

安全提示： 谨慎处理密钥：把 API key 放在环境变量/密钥管理中，并避免在日志中输出。

FAQ

Q: 需要账号吗？ A: 需要。README 提示你注册并为 Modal CLI 配置 API key。

Q: 能跑 LLM 推理吗？ A: 示例覆盖多种可复用的模式，你可以按仓库结构改造用于推理与数据任务。

Q: 如何控制成本？ A: 固定资源规格、限制并发，并在放大规模前用小规模测试跑通。