메뉴
使用 DeepSeek V3 BPE tokenizer 计算 token 数量，附带 Claude Code chars/N 粗略估算对比。 触发词："计算token"、"token数"、"token计数"、"统计token"、"token占用"、"提示词大小"、"prompt大小"。 用于计算 skill、agent、command、CLAUDE.md、hooks 等 Claude Code 配置文件占用的 token 数量。
Codex 또는 Claude로 설치 이 Prompt를 복사해 Codex, Claude 또는 다른 어시스턴트에 붙여 넣으면 Skill 페이지를 검토하고 설치를 진행할 수 있습니다.
SOC 직업 분류 기준
垂直领域搜索和批量并行搜索。当通用搜索（tavily）无法满足时使用。 触发场景： 1. 金融数据——股票代码、汇率、行情（finance.us_stock / cn_stock / forex） 2. 学术检索——论文、DOI（academic.search / academic.biomedical） 3. 安全漏洞——CVE、文件哈希、IP/域名扫描（security.scan / security.cve） 4. 法律、专利、教育、健康等其他垂直领域 5. 批量并行搜索——同时查 2-5 个独立问题 6. 中国国内信息——A 股、国内资讯（需 zone=cn） 触发词："股票"、"行情"、"汇率"、"CVE"、"漏洞"、"论文"、"DOI"、 "学术"、"专利"、"批量搜索"、"A股"、"anysearch"。 不触发场景：通用 web 搜索、新闻浏览、代码搜索、网页内容提取、网站爬取—— 这些由 tavily skill 处理。
Use when starting a new Remotion video project, adding scenes to an existing video, or converting a script into a video. Handles creative direction, script review, scene planning, pronunciation pre-check, segment-based voiceover generation, subtitle-based timeline calculation, and produces a complete design spec. Required before remotion-video-development. Also handles voiceover generation and timeline alignment via remotion-tools scripts.
Use when implementing Remotion video scenes from an approved design spec. Executes scene-by-scene with flex-first layout, subtitle-based timing, multi-segment audio playback, and per-scene verification. Requires completed design from remotion-video-design. Also use when regenerating voiceover segments, fixing pronunciation, or re-aligning timeline.
思维框架，帮助跳出局部修补的循环。两种触发模式。 模式一（用户主动）：当用户说"rethink"、"重新思考"、 "跳出来看"、"全局视角"、"这个问题我们是不是想错了"时加载， 直接进入完整分析。 模式二（AI 提议）：当你检测到以下信号时， 在回复末尾加一句提议 "我觉得我们可能在局部修补，要不要退一步重新看？"： 你对同一个文件做了 3 次以上修改仍未解决， 或用户连续 2 次否定你的方案， 或你发现方案里 workaround 和 edge case 越来越多。 用户同意后再执行完整分析。用户说不用则继续正常工作。
本地语义代码搜索。当需要按意图定位代码、查找实现、理解代码结构时使用，优先于 grep/read 用于探索性搜索。触发词："搜代码"、"code search"、"find implementation"、"理解代码实现"、"semble"、"语义搜索"、"search code"。
通用 Web 搜索、URL 内容提取、网站爬取。这是默认的搜索工具。 当用户需要：快速查事实、搜索新闻、fact-checking、提取网页内容、 爬取网站、深度研究（advanced 模式）时使用。 触发词："搜索"、"查一下"、"搜一下"、"lookup"、"search"、"research"、 "fact-check"、"联网搜索"、"查资料"、"提取网页"、"爬取网站"、 "tavily"、"网页内容"。 不触发场景：股票/金融数据查询、学术论文检索、CVE/安全漏洞查询、 批量并行搜索——这些场景由 anysearch skill 处理。
| name | token-counter |
| description | 使用 DeepSeek V3 BPE tokenizer 计算 token 数量，附带 Claude Code chars/N 粗略估算对比。 触发词："计算token"、"token数"、"token计数"、"统计token"、"token占用"、"提示词大小"、"prompt大小"。 用于计算 skill、agent、command、CLAUDE.md、hooks 等 Claude Code 配置文件占用的 token 数量。 |
| user-invocable | true |
| argument-hint | [文件或目录路径] |
计算 Claude Code 相关文件（skills、agents、commands、hooks、CLAUDE.md 等）的 token 占用。
Claude Code 源码中没有本地 tokenizer，采用三层回退策略：
| 优先级 | 方式 | 精度 |
|---|---|---|
| 1 | API countTokens() | 精确 |
| 2 | Haiku 发最小请求回退 | 精确（花一次 API 调用） |
| 3 | chars / 4（JSON: chars / 2） | 粗略 |
本工具使用 DeepSeek V3 BPE tokenizer 做本地计数（精度介于 1 和 3 之间），同时输出 Claude Code 风格的 chars/N 粗略估算供对比。
claude-code-tool/custom-tools/deepseek_tokenizer/count_tokens.py
pip3 install transformers
python3 claude-code-tool/custom-tools/deepseek_tokenizer/count_tokens.py --file <文件路径>
python3 claude-code-tool/custom-tools/deepseek_tokenizer/count_tokens.py --files <文件1> <文件2> ...
python3 claude-code-tool/custom-tools/deepseek_tokenizer/count_tokens.py --dir <目录路径>
python3 claude-code-tool/custom-tools/deepseek_tokenizer/count_tokens.py --text "要计算的文本"
echo "some text" | python3 claude-code-tool/custom-tools/deepseek_tokenizer/count_tokens.py --stdin
| 字段 | 含义 |
|---|---|
bpe | DeepSeek V3 BPE tokenizer 计算的 token 数 |
chars | 字符数 |
rough | Claude Code 风格的 chars/N 估算（括号内为与 bpe 的偏差百分比） |
ratio | bpe / chars，反映 token 密度 |
当用户要求计算 token 时：
明确统计范围 — 确定用户想统计哪些文件：
--file--dir skills/<skill-name>--dir skills/--dir agents/--files 列出执行命令 — 使用 Bash 工具运行 count_tokens.py
结果解读 — 向用户报告各文件 token 数、总占用、上下文窗口占比（按 200K 上下文估算）
python3 claude-code-tool/custom-tools/deepseek_tokenizer/count_tokens.py --dir claude-code-tool/skills/
python3 claude-code-tool/custom-tools/deepseek_tokenizer/count_tokens.py --dir claude-code-tool/agents/
python3 claude-code-tool/custom-tools/deepseek_tokenizer/count_tokens.py --files CLAUDE.md .claude/rules/*.md
python3 claude-code-tool/custom-tools/deepseek_tokenizer/count_tokens.py --dir claude-code-tool/skills/<skill-name>/
DeepSeek V3 BPE tokenizer（128K 词表）与 Claude 实际 tokenizer 有差异，但作为估算工具：
rough 列展示 Claude Code 源码中 chars/N 估算与 BPE 计数的偏差