TodayAI
Agent

Promptfoo

开源 LLM 红队、评测与上线防护工具集(Promptfoo)。

访问官网

访问方式:开源

它是什么

Promptfoo 帮助团队对 LLM 应用做对抗测试、漏洞扫描与 Guardrails 防护,可在 CI 中运行评测用例。面向安全与工程联合团队,在发布前发现 jailbreak、偏见与回归问题。

适用边界

Promptfoo 偏安全与评测工程,和 Giskard 有重叠;若团队已熟悉 YAML 配置和 CLI,上手成本较低。

典型使用场景

  • 在 CI 管道跑 prompt 回归与红队用例
  • 扫描 RAG 应用的注入与越狱风险
  • 对比多模型/多 prompt 版本的评测分数
  • 部署实时 Guardrails 拦截高风险输出

适合谁

  • 需要系统化 LLM 安全测试的工程团队
  • 在 CI 中门禁化 prompt 变更的组织

不太适合

无自研 LLM 应用、只使用现成 SaaS 聊天产品的用户

工具信息

访问方式
开源
分类
Agent
标签
Agent · 自动化 · 工作流 · 开发 · API · 企业

细分分类: AI 工作流自动化

官方资料