Agent
Promptfoo
开源 LLM 红队、评测与上线防护工具集(Promptfoo)。
访问官网
访问方式:开源
它是什么
Promptfoo 帮助团队对 LLM 应用做对抗测试、漏洞扫描与 Guardrails 防护,可在 CI 中运行评测用例。面向安全与工程联合团队,在发布前发现 jailbreak、偏见与回归问题。
适用边界
Promptfoo 偏安全与评测工程,和 Giskard 有重叠;若团队已熟悉 YAML 配置和 CLI,上手成本较低。
典型使用场景
- 在 CI 管道跑 prompt 回归与红队用例
- 扫描 RAG 应用的注入与越狱风险
- 对比多模型/多 prompt 版本的评测分数
- 部署实时 Guardrails 拦截高风险输出
适合谁
- 需要系统化 LLM 安全测试的工程团队
- 在 CI 中门禁化 prompt 变更的组织
不太适合
无自研 LLM 应用、只使用现成 SaaS 聊天产品的用户
工具信息
- 访问方式
- 开源
- 分类
- Agent
- 标签
- Agent · 自动化 · 工作流 · 开发 · API · 企业
细分分类: AI 工作流自动化