en un clic
eval-harness
Claude Code 会话的正式评估框架,实现评估驱动开发(EDD)原则
Installer avec Codex ou Claude Copiez ce prompt, collez-le dans Codex, Claude ou un autre assistant, puis laissez-le vérifier la page du skill et l'installer pour vous.
Menu
Claude Code 会话的正式评估框架,实现评估驱动开发(EDD)原则
Installer avec Codex ou Claude Copiez ce prompt, collez-le dans Codex, Claude ou un autre assistant, puis laissez-le vérifier la page du skill et l'installer pour vous.
REST API 设计模式,包括资源命名、状态码、分页、过滤、错误响应、版本控制和生产 API 的速率限制。
后端架构模式、API 设计、数据库优化和 Node.js、Express、Next.js API 路由的服务器端最佳实践。
通用编码标准、最佳实践和模式,适用于 TypeScript、JavaScript、React 和 Node.js 开发。
Everything Claude Code 的交互式安装向导——引导用户选择和安装技能和规则到用户级或项目级目录,验证路径,并可选地优化已安装的文件。
自动从 Claude Code 会话中提取可复用模式,并保存为学习技能供将来使用。
基于 instinct 的学习系统,通过 hooks 观察会话,创建带置信度评分的原子级 instincts,并将它们进化为技能/命令/代理。
Basé sur la classification professionnelle SOC
| name | eval-harness |
| description | Claude Code 会话的正式评估框架,实现评估驱动开发(EDD)原则 |
| tools | Read, Write, Edit, Bash, Grep, Glob |
Claude Code 会话的正式评估框架,实现评估驱动开发(EDD)原则。
评估驱动开发将评估视为"AI 开发的单元测试":
传统开发 vs EDD:
传统:写代码 → 希望 AI 理解 → 失败 → 调试
EDD: 定义成功 → 实现 → 验证 → 通过
测试 Claude 能否做之前做不到的事情:
[能力评估: feature-name]
任务:描述 Claude 应该完成什么
成功标准:
- [ ] 标准 1
- [ ] 标准 2
- [ ] 标准 3
预期输出:预期结果的描述
示例:
[能力评估: user-authentication]
任务:实现用户注册和登录
成功标准:
- [ ] 用户可以使用邮箱和密码注册
- [ ] 密码使用 bcrypt 哈希
- [ ] 登录返回 JWT 令牌
- [ ] 无效凭据返回 401 错误
预期输出:工作身份验证系统
确保变更不会破坏现有功能:
[回归评估: feature-name]
基线:SHA 或检查点名称
测试:
- existing-test-1: 通过/失败
- existing-test-2: 通过/失败
- existing-test-3: 通过/失败
结果:X/Y 通过(之前 Y/Y)
示例:
[回归评估: authentication]
基线:commit abc123
测试:
- 用户登录仍然工作: 通过
- 会话管理未更改: 通过
- 注销流程完整: 通过
结果:3/3 通过(之前 3/3)
使用代码进行确定性检查:
# 检查文件是否包含预期模式
grep -q "export function handleAuth" src/auth.ts && echo "通过" || echo "失败"
# 检查测试是否通过
npm test -- --testPathPattern="auth" && echo "通过" || echo "失败"
# 检查构建是否成功
npm run build && echo "通过" || echo "失败"
优点:
何时使用:
使用 Claude 评估开放式输出:
[模型评分器提示]
评估以下代码更改:
1. 是否解决了所述问题?
2. 结构是否良好?
3. 是否处理了边缘情况?
4. 错误处理是否适当?
分数:1-5(1=差,5=优秀)
推理:[解释]
优点:
何时使用:
标记手动审查:
[需要人工审查]
更改:更改的描述
原因:为什么需要人工审查
风险级别:低/中/高
优点:
何时使用:
"k 次尝试中至少一次成功"
示例:
任务:实现用户认证
尝试 1:失败(语法错误)
尝试 2:失败(逻辑错误)
尝试 3:通过 ✓
pass@1 = 0%(首次未通过)
pass@3 = 100%(3 次内通过)
"所有 k 次试验都成功"
示例:
任务:实现用户认证
试验 1:通过 ✓
试验 2:通过 ✓
试验 3:通过 ✓
pass^3 = 100%(全部通过)
pass@k vs pass^k:
## 评估定义: feature-xyz
### 能力评估
1. 可以创建新用户账户
2. 可以验证邮箱格式
3. 可以安全哈希密码
### 回归评估
1. 现有登录仍然工作
2. 会话管理未更改
3. 注销流程完整
### 成功指标
- 能力评估 pass@3 > 90%
- 回归评估 pass^3 = 100%
编写代码通过定义的评估。
# 运行能力评估
[运行每个能力评估,记录通过/失败]
# 运行回归评估
npm test -- --testPathPattern="existing"
# 生成报告
评估报告: feature-xyz
========================
能力评估:
create-user: 通过 (pass@1)
validate-email: 通过 (pass@2)
hash-password: 通过 (pass@1)
总计: 3/3 通过
回归评估:
login-flow: 通过
session-mgmt: 通过
logout-flow: 通过
总计: 3/3 通过
指标:
pass@1: 67% (2/3)
pass@3: 100% (3/3)
状态: 准备审查
/eval define feature-name
在 .claude/evals/feature-name.md 创建评估定义文件
/eval check feature-name
运行当前评估并报告状态
/eval report feature-name
生成完整评估报告
在项目中存储评估:
.claude/
evals/
feature-xyz.md # 评估定义
feature-xyz.log # 评估运行历史
baseline.json # 回归基线
为什么存储评估?
## 评估: add-authentication
### 阶段 1:定义(10 分钟)
能力评估:
- [ ] 用户可以使用邮箱/密码注册
- [ ] 用户可以使用有效凭据登录
- [ ] 无效凭据被适当拒绝
- [ ] 会话在页面重新加载后持久化
- [ ] 注销清除会话
回归评估:
- [ ] 公共路由仍然可访问
- [ ] API 响应未更改
- [ ] 数据库架构兼容
### 阶段 2:实现(变化)
[编写代码]
### 阶段 3:评估
运行: /eval check add-authentication
结果:
- 能力:5/5 通过(pass@3: 100%)
- 回归:3/3 通过(pass^3: 100%)
### 阶段 4:报告
评估报告: add-authentication
==============================
能力: 5/5 通过(pass@3: 100%)
回归: 3/3 通过(pass^3: 100%)
状态: 可以发布
Q: pass@k 和 pass^k 有什么区别?
A:
Q: 应该使用哪种评分器?
A:
Q: 评估应该多频繁?
A:
记住:评估驱动开发确保 AI 可靠地交付高质量结果——就像单元测试确保代码质量一样。