Spikee — Prompt Injection Eval Kit (CLI)

Main

• 按 README 的两阶段闭环：先从 seed 生成 dataset，再对目标执行 test，并保持 judge/provider 一致性。

• 安装尽量轻：README 说明默认只覆盖 OpenAI-compatible endpoint；需要 Bedrock/Azure/Ollama/Groq 再按需装 extras。

• 把结果当证据：保留 JSONL dataset + 配置，并在 CI 或发版前重复跑 generate + test。

Source-backed notes

• README 说明 Spikee 从 LangChain 迁移到 any-llm 以减少依赖膨胀，并提供如 spikee[all] 的可选 extras。
• README 的 quickstart：pip install spikee，再用 spikee init 初始化 workspace，并用 spikee list 查看模块。
• README 将核心流程分为生成（spikee generate）与测试（spikee test）两阶段。

FAQ

• Spikee 只能测裸模型吗？：不是。README 明确包含 LLM 应用/agent 与 guardrails 作为测试目标。
• 一定要装很重的 SDK 吗？：不一定。README 说明默认安装尽量精简，重依赖通过 extras 按需安装。
• 如何保证评测可复现？：把 seed/dataset 纳入版本控制，固定 provider/judge 后重复跑。