Agent SOP eval工作流用Strands Evals SDK为AI Agent构建自动化评测体系【免费下载链接】agent-sopNatural language workflows that enable AI agents to perform complex, multi-step tasks with consistency and reliability.项目地址: https://gitcode.com/gh_mirrors/ag/agent-sop为什么 AI Agent 需要自动化评测 当你为 Agent 调完 Prompt、接入工具后最大的疑问往往是它到底变好了还是变差了手工点几次对话永远无法给出可靠答案。Agent SOP 项目Agent Standard Operating Procedures提供了一套基于自然语言的标准化工作流让 AI Agent 以一致、可靠的方式执行复杂的多步骤任务。其中eval 工作流EvalKit专门解决评测这个痛点通过自然语言对话自动完成评测规划 → 测试数据生成 → 评测执行 → 结果分析的完整闭环底层基于Strands Evals SDK驱动真实 Agent 执行。一句话概括你只需用一句话描述我要评测哪个 AgentEvalKit 就会替你搭好整个自动化评测体系。eval 工作流四大核心阶段eval 工作流定义在 agent-sops/eval.sop.md 中采用对话式分阶段设计每个阶段完成后都会主动提示下一步避免你在流程中迷路。阶段一评测规划PlanningAgent 会先扫描你的 Agent 源码分析架构与能力然后产出一份评测计划eval/eval-plan.md内容包括计划要素说明评测指标1~2 个核心指标如响应质量、工具调用准确率测试场景最多 3 个聚焦场景拒绝过度设计技术栈默认采用 Strands Evals SDK JSONL 数据格式进度追踪需求日志 各组件完成状态 指标必须满足可测量、可验证、可落地三原则——不能量化的目标不会出现在计划里。阶段二测试数据生成Data Generation基于评测计划自动生成 JSONL 格式的测试用例保存到eval/test-cases.jsonl。你随时可以追加要求例如多覆盖一些边界情况或再加 5 个错误处理用例计划会同步更新并记录到用户需求日志中。阶段三评测实现与执行Execution这是最硬核的一步EvalKit 会自动完成合并项目依赖在仓库根目录生成requirements.txt用uv创建虚拟环境并安装依赖编写eval/run_evaluation.py使用 Strands Evals SDK 的三大核心组件Case 对象单个测试用例输入、期望输出、元数据Experiment 类用例集合 评估器负责驱动评测运行内置评估器OutputEvaluator、TrajectoryEvaluator、InteractionsEvaluator执行实验结果按时间戳归档到eval/results/⚠️ 两个关键设计只跑真实 Agent禁止模拟不单独做轨迹采集——Strands Evals SDK 在直接执行 Agent 时会自动处理。阶段四结果分析与报告ReportingAgent 会加载eval/results/中的真实执行数据从成功率、质量评分、失败模式、强弱项四个维度分析并生成结构化报告eval/eval-report.md。报告中的改进建议按三级优先排列Critical高失败率、系统性错误需立即修复Quality一致性、完整性等中期优化Enhancement边界场景处理等远期增强每条建议都必须引用具体数据证据并给出预期收益杜绝空泛建议。eval 评测目录标准结构所有评测产物统一放在与 Agent 目录平级的eval/文件夹中注意不是嵌在 Agent 目录里评测与业务代码彻底隔离my-eval-project/ ├── my-agent/ # 被评测的 Agent 源码 │ └── [agent 相关文件] └── eval/ ├── eval-plan.md # 评测计划与进度 ├── test-cases.jsonl # 生成的测试用例 ├── run_evaluation.py # Strands Evals SDK 评测实现 ├── results/ # 评测结果按时间戳归档 ├── eval-report.md # 分析报告与改进建议 └── README.md # 复现与运行说明 相关源码与文档索引工作流定义agent-sops/eval.sop.mdSOP 格式规范spec/agent-sops-specification.mdPython 封装包python/strands_agents_sops/init.py使用说明python/README.md如何快速启动 eval 评测工作流Agent SOP 支持三种接入方式任选其一即可让 Agent 获得 eval 能力。方式一MCP 服务器推荐# 安装封装包 pip install strands-agents-sops # 启动 MCP 服务器eval 工作流会自动暴露为可用 Prompt strands-agents-sops mcp在支持 MCP 的 AI 工具中按各工具语法调用即可KiroevalClaude Code/strands-agents-sops:eval方式二Python SDK 直接引用from strands import Agent from strands_tools import editor, shell from strands_agents_sops import eval_with_input agent Agent( system_prompteval_with_input(评测我的客服 Agent路径 ./chatbot-agent), tools[editor, shell] ) agent(Start eval sop)方式三Cursor 命令strands-agents-sops commands --type cursor之后在 Cursor 中输入/eval.sop按提示提供参数即可。一次完整的对话长这样用户帮我评测 ./chatbot-agent重点关注响应质量和工具调用准确率 助手[生成 eval/eval-plan.md含 2 个指标、3 个测试场景] 需要我基于计划生成测试用例吗 用户生成 5 个测试用例 助手[创建 eval/test-cases.jsonl2 基础查询 2 工具调用 1 边界场景] 要现在运行评测吗 用户运行评测 助手[创建 run_evaluation.py 并执行] 结果总体成功率 80%响应质量 4.2/5工具调用准确率 75% 用户分析结果 助手[生成 eval/eval-report.md] 关键发现基础查询成功率 100%工具调用失败率 25% 需优先修复常见问题排查❓常见问题与解法一览源自 eval 工作流的 Troubleshooting 章节问题解决方案没提供 Agent 路径直接告诉它你的 Agent 目录支持相对/绝对路径想生成用例但没有计划先让 Agent 生成 eval-plan.md 再走数据生成评测报错确认 Strands Evals SDK 已安装且 Python ≥ 3.11依赖缺失uv pip install -r requirements.txt并确认已激活虚拟环境Agent 执行失败先单独运行 Agent排查 API Key 等配置问题另外注意阶段之间存在依赖——没有计划不能生成数据没有数据不能跑评测。跳步时 Agent 会主动停下来给你选项而不是硬着头皮瞎跑。 还有一个反作弊细节分析阶段会自动检测疑似模拟结果的红旗信号比如大样本集 100% 满分、不同用例指标完全一致、结果中出现 simulated/mocked 字样等。所有结论都基于真实执行数据这是该工作流最核心的可信度保障。总结Agent SOP 的eval 工作流把给 AI Agent 做体检这件事变成了一段自然语言对话✅ 自然语言描述需求自动产出可追踪的评测计划✅ 自动生成聚焦、不冗余的 JSONL 测试用例✅ 基于 Strands Evals SDK 驱动真实 Agent 执行杜绝模拟结果✅ 输出带证据、分优先级、可落地的改进报告对于正在构建 AI Agent 的团队来说这是一套开箱即用的自动化评测体系——不需要自己设计指标框架、不需要写评测脚手架一条命令就能进入持续评测 → 持续改进的正循环 想要自己编写评测类工作流可以结合 rules/agent-sop-format.md 的格式规范和 skills/agent-sop-author/SKILL.md 的作者技能几分钟就能沉淀出属于你团队的 SOP。【免费下载链接】agent-sopNatural language workflows that enable AI agents to perform complex, multi-step tasks with consistency and reliability.项目地址: https://gitcode.com/gh_mirrors/ag/agent-sop创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考