eval-config

name	eval-config
description	管理 CLI 评测框架的配置，包括平台声明、插件管理和 storage backend（Langfuse）连接
disable-model-invocation	false

Eval Config - 配置与插件管理

管理评测框架的运行配置：平台声明、插件管理，以及 storage backend 连接。

Step 1 · 声明平台（必须首先执行）

evals 需要知道当前运行在哪个 AI 编码平台，才能把配置写入/读取正确的文件。平台不做文件/目录自动猜测，必须由 Agent 显式声明——否则 Qoder 等环境会因项目内存在历史 .claude 配置而被误判。

根据你当前实际运行的工具，选择其一执行：

evals config set-platform claude      # Claude Code
evals config set-platform codex       # Codex
evals config set-platform qoder       # Qoder
evals config set-platform qoderwork   # QoderWork

平台支持由已安装的 agent-platform 插件提供，查看：evals plugin list --type agent-platform

Step 2 · 管理插件

评测能力（storage backend、CLI 工具、agent 平台）都以插件形式安装。

# 列出所有已安装插件
evals plugin list

# 按类型过滤
evals plugin list --type storage        # storage backend（如 Langfuse）
evals plugin list --type cli-tool       # 被评测的 CLI 工具
evals plugin list --type agent-platform # AI 编码平台

# 安装 / 卸载 / 查看详情
evals plugin install <package-name> [@version]
evals plugin uninstall <package-name>
evals plugin info <package-name>

推荐的默认插件（也可由 install.sh 一键安装）：

• @tengxiaohtx/plugin-storage-langfuse — Langfuse storage backend
• @tengxiaohtx/plugin-cli-dws、@tengxiaohtx/plugin-cli-feishu — CLI 工具
• @tengxiaohtx/plugin-platform-qoder、@tengxiaohtx/plugin-platform-claude — agent 平台

Step 3 · 设置 storage backend 连接（Langfuse）

以下为 storage backend 配置（默认使用 Langfuse storage 插件）：

evals config set-host https://your-langfuse-host
evals config set-public-key pk-lf-xxx
evals config set-secret-key sk-lf-zzz
evals config test

可选：设置默认数据集名称。

evals config set-dataset <dataset-name>          # 评测主数据集
evals config set-report-dataset <dataset-name>   # 报告数据集

配置解析优先级

配置按以下优先级解析：

process.env  >  agent 平台 settings（由 agent-platform 插件提供）  >  框架本地配置文件

• 框架本地配置文件：~/.doc-cli-evals/config.json
• agent 平台 settings 由对应 agent-platform 插件定位（不同平台的文件路径/格式各异），可用 evals config show 查看。

命令参考

命令	说明
evals config set-platform <claude|codex|qoder|qoderwork>	声明当前平台（配置前必须先执行）
evals config set-host <host>	设置 storage backend host
evals config set-public-key <key>	设置 public key
evals config set-secret-key <key>	设置 secret key
evals config set-dataset <name>	设置主数据集名称
evals config set-report-dataset <name>	设置报告数据集名称
evals config show	查看当前解析后的配置（含 agent 平台与本地配置）
evals config test	测试 storage backend 连接
evals plugin list [--type <type>]	列出已安装插件
evals plugin install <package> [@version]	安装插件
evals plugin uninstall <package>	卸载插件
evals plugin info <package>	查看插件详情

下一步

• /eval-auth - 配置 CLI 认证
• /eval-trace - 查看 trace 监听状态