メニュー
LLM Agent工具盲从现象研究。当LLM agent配备GNN工具时，agent不判断工具输出，而是盲目服从。更强的LLM backbone反而defer更多。
デフォルトでは、最初にソースを確認する Prompt が選択されています。直接コマンドに切り替えるか、ローカルコピーをダウンロードすることもできます。
インストールを決める前に、SKILL.md と SkillsMP に表示されている付属ファイルをお読みください。
Codex または Claude でインストール この Prompt をコピーして Codex、Claude、または他のアシスタントに貼り付けると、Skill ページを確認してインストールできます。
直接コマンドでは確認用 Prompt が省略されます。実行前にソースを確認してください。
npx skills add https://github.com/hiyenwong/ai_collection --skill llm-agent-tool-deference-blindnessコマンドは1行のまま表示されます。コピー前に横へスクロールして全体を確認してください。
ローカルで確認しますか？SkillsMP が現在取得できるファイルをダウンロードできます。
SOC 職業分類に基づく
SKILL.md を表示中
| name | llm-agent-tool-deference-blindness |
| description | LLM Agent工具盲从现象研究。当LLM agent配备GNN工具时，agent不判断工具输出，而是盲目服从。更强的LLM backbone反而defer更多。 |
| version | 1 |
| author | Zhongyuan Wang, Pratyusha Vemuri |
| arxiv_id | 2606.14476v1 |
| published | 2026-06-12T00:00:00.000Z |
| categories | ["cs.AI","cs.LG"] |
| keywords | ["LLM agent","tool use","GNN","deference","blind obedience","ReAct","tool judgment"] |
| activation_keywords | ["LLM agent","工具盲从","tool deference","blind obedience","agent工具","ReAct","tool judgment","graph neural network"] |
Unexpected finding: 当LLM agent配备GNN作为可调用工具时，agent 不判断工具输出，而是盲目服从工具。更强壮的LLM backbone反而defer更多。
假设：Agent exercises judgment over tool use
现实：Agent merely obeys tool outputs blindly
测量agent是否：
Agent 不判断工具输出：
反直觉发现: 更强的LLM backbone 盲从程度更高：
| Model | Deference Rate |
|---|---|
| GPT-3.5 | ~60% |
| GPT-4 | ~80% |
| Claude-3 | ~85% |
更强的模型 → 更信任工具 → 更少独立判断
工具输出主导agent决策：
Hypothesis 1: Larger models learn better tool-use patterns
Hypothesis 2: Stronger models more sensitive to tool signals
Hypothesis 3: Tool-induced prior dominates
Input → Tool call → GNN prediction →
Agent sees prediction →
Judgment skipped →
Adopt tool output as answer
Expected chain (judgment exercised):
Input → Tool call → GNN prediction →
Agent evaluates prediction →
Accept/Reject/Modify →
Final answer
Actual chain (blind obedience):
Input → Tool call → GNN prediction →
Agent copies prediction →
Output prediction
警示: 设计tool-augmented agent时：
多智能体系统风险：
LLM作为工具使用者的范式问题：
添加显式判断提示：
Prompt template:
"After getting tool output, ask yourself:
1. Is this output reasonable?
2. Does it match your prior knowledge?
3. Should you accept, reject, or modify it?"
多工具交叉验证：
置信度校准：
不确定性传播：
Probability of defarence:
P(defer) = f(model_strength, tool_confidence, task_difficulty)
其中：
- model_strength ↑ → defer ↑
- tool_confidence ↑ → defer ↑
- task_difficulty ↑ → defer ↑↑ (agent更依赖工具)
Judgment exercised when:
P(judgment) = 1 - P(defer)
P(judgment) ↑ when:
- Tool output uncertainty ↑
- Multiple tools disagree
- Task within agent's native capability
| Metric | Blind Agent | Judgment Agent |
|---|---|---|
| Deference Rate | 80% | 30% |
| Error Propagation | High | Low |
| Tool Correction | 0% | 20-40% |
工具盲从的安全风险：
增强推理 vs 替代推理：
Agent-Tool信任动力学：
使用此skill当：
Key Insight: LLM agent的工具使用能力≠工具判断能力。添加工具不等于添加判断。工具盲从现象警示：在agent系统中，必须显式设计判断机制，而非假设agent自动会"聪明地使用工具"。更强的LLM反而更盲从，揭示了训练中习得的"专家工具应被信任"的策略可能成为陷阱。