kevintsengtw/rtk_samples

Profil kevintsengtw

Dernière activité source enregistrée: 1 juin 2026 à 02:43

Catalogue SkillsMP mis à jour: 17 octobre 2026 à 00:09

skills collectés: 12

Étoiles GitHub: 0
Forks GitHub: 0

README du dépôt

Fichier source du README : README.md

Lire le README source

Afficher le README complet

# RTK × GitHub Copilot — Token 壓縮成效實驗本工作區是一個**實驗專案**，用來量測 [RTK (Rust Token Killer)](https://github.com/TokenFleet-AI/rtk) 對 GitHub Copilot 在實際 AI agent 工作流程中的 token 壓縮效益。 --- ## 實驗主題 > 在 Windows 原生環境下，RTK 是否能有效降低 GitHub Copilot 執行「.NET 測試 orchestration」工作流程時的 token 消耗？ - **工作負載**：[dotnet-testing-agent-orchestration v2.0.0](https://github.com/kevintsengtw/dotnet-testing-agent-orchestration)，以四階段（Analyzer → Writer → Executor → Reviewer）為 `TemperatureConverter` 類別自動建立單元測試。 - **受測工具**：RTK 0.40.0（注入模式 / `copilot-instructions.md`）。 - **環境**：Windows 11 原生（非 WSL）、VS Code 1.122+、GitHub Copilot 0.50+、.NET SDK 9.0、GPT-5.3-Codex。 --- ## 實驗目的 1. 驗證 RTK 宣稱的「60–90% token 壓縮」是否能在真實 agent orchestration 工作流程中重現。 2. 以對照實驗（有 / 無 RTK）量化 RTK 對總輸入 token、輸出 token、LLM 請求數、延遲與耗時的影響。 3. 進一步推算此工作流程在 Copilot 新版計費（usage-based / AI Credits）下的實際成本，並評估 RTK、prompt caching、SkillOpt 等手段的省錢效益。 --- ## 實驗設計 | 階段 | RTK 狀態 | 執行方式 | 輪數 | |---|---|---|---:| | **Stage A**（對照組） | Off | orchestrator 主 agent，固定 prompt | 3 | | **Stage C**（實驗組） | On（注入模式） | 同上，相同 prompt | 3 | 每輪流程：重置 workspace → 四階段 orchestration → 從 Copilot 的 JSONL debug log 收集 metrics。 --- ## 最終實驗結果 **RTK 對此工作流程的 token 節省量有限，未達官方宣稱的 60–90%。** | 指標 | Stage A 中位數 | Stage C 中位數 | Δ | |---|---:|---:|---:| | 總輸入 token | 2,450,216 | 2,448,379 | **-0.1%** | | 總輸出 token | 48,959 | 38,576 | -21.2% | | LLM 請求次數 | 63 | 51 | -19.0% | | 工具呼叫數 | 83 | 78 | -6.0% | **關鍵發現：** - **總輸入 token 幾乎無變化（-0.1%）**——最關鍵指標證明 RTK 沒有施力點。 - 輸出 token、請求數的下降主要來自 **agent 行為的隨機波動**（input 變異 2.2M–3.68M 大於組間差異），而非 RTK 的直接效果；n=3 樣本下不具統計顯著性。 - `rtk gain` 整場實驗只攔截到 **10 個指令、累計節省 107 tokens**，相對數百萬 token 的工作量可忽略。 - RTK 槓桿小的原因：核心輸出已用 `WarningLevel=0 /clp:ErrorsOnly` 壓低；大宗 token 在 skill RAG 與 agent prompt（不經 RTK）；Windows 原生無 auto-rewrite hook。 **延伸結論（成本面）：** - 在 6/1 後的 **usage-based billing** 下，省錢關鍵是 **prompt caching**（cached input 僅 1/10 價，單次約可省 64%），而非 RTK。 - **SkillOpt** 適合「固定知識 + 可自動評分的推理任務」，不適合本工作流程的開放型測試生成。 > 完整數據、計費換算與三方手段對照請見 [results/experiment-conclusion.md](results/experiment-conclusion.md)。 --- ## 工作區結構 ``` rtk_samples/ ├── README.md # 本檔案 ├── rtk-experiment-plan.md # 原始實驗計畫書（Stage A/B/C 方法論） ├── REPRODUCE.md # 從零重現指南（含 RTK Windows 安裝步驟與踩坑紀錄） ├── orchestrator-timing.log # 各階段與各輪計時事件 ├── .github/ # orchestrator agents + skills + copilot-instructions ├── .vscode/ # VS Code 工作區設定（agents、debug log、MCP） ├── .mcp/ .orchestrator/ # MCP 設定與 orchestrator 階段交接檔 ├── samples/ # 驗證專案（practice / integration / aspire / tunit） ├── scripts/ │ ├── collect-metrics.py # 解析 debug log，彙整單輪 metrics │ └── compare.py # 產生 Stage A vs C 對照表 ├── results/ │ ├── experiment-conclusion.md # 實驗結論報告（主要產出） │ ├── comparison.md # 自動產生的 A vs C 對照表 │ ├── stageA-*.json (×3) # Stage A 原始 metrics │ └── stageC-*.json (×3) # Stage C 原始 metrics ├── shims/ # （原計畫的 dotnet shim 攔截器，實驗未採用） └── targets/ # reference clone（orchestration + skills repo） ``` --- ## 如何重現詳細步驟（環境前置、RTK 安裝、執行各 Stage、收集與比較 metrics）請見 [REPRODUCE.md](REPRODUCE.md)。 ```pwsh # 收集單輪 metrics python scripts/collect-metrics.py --stage C --note "run description" # 產生 A vs C 對照 python scripts/compare.py ```

Chargement du README du dépôt…

Skills dans ce dépôt

Analystes en assurance qualité des logiciels et testeurs

1 catégories métier · 42% classifié

skill

métier

description

mis à jour

dotnet-testing-advanced-aspire-testing

Analystes en assurance qualité des logiciels et testeurs

.NET Aspire Testing 整合測試框架完整指南。當需要測試 .NET Aspire 分散式應用程式、設定 AppHost 測試或從 Testcontainers 遷移至 Aspire 測試時使用。涵蓋 DistributedApplicationTestingBuilder、容器生命週期管理、多服務編排、Respawn 配置與時間可測試性設計。 Make sure to use this skill whenever the user mentions .NET Aspire, AppHost…