메뉴
使用 LiteLLM Python SDK 建立或審查 completion、streaming、structured output、tool calling、Responses API 與基礎成本追蹤。當任務是在 Python 程式內直接呼叫 LiteLLM 而非管理 Proxy 時使用；Proxy、virtual key、集中式預算或 gateway 維運改用對應專門技能。
Codex 또는 Claude로 설치 이 Prompt를 복사해 Codex, Claude 또는 다른 어시스턴트에 붙여 넣으면 Skill 페이지를 검토하고 설치를 진행할 수 있습니다.
SOC 직업 분류 기준
設計或審查 LiteLLM virtual keys、spend tracking、budgets、rate limits、request tags 與 provider budget routing。當任務涉及用量限制、模型 allowlist、成本歸因或報表時使用；一般 Proxy 拓樸與觀測平台設定改用對應專門技能。
設定或審查 LiteLLM 內容安全、PII masking、prompt injection、tool permission、MCP guardrails 與 call hooks。當任務需要修改、拒絕或限制 LLM／tool／MCP 請求時使用；MCP server 註冊與一般 virtual-key 預算改用對應專門技能。
設計或審查 LiteLLM MCP Gateway、MCP permissions、toolsets、MCP REST API、Skills Gateway 與官方管理 skills。當任務要註冊工具來源、授權 agent 工具或發布 skills 時使用；一般 tool calling 與 guardrail 規則分別搭配 SDK 或安全技能。
設定或審查 LiteLLM callbacks、logging、OpenTelemetry、request correlation、spend logs 與故障診斷。當任務要追蹤延遲、tokens、cost、provider、fallback 或 guardrail 事件時使用；權限政策與 guardrail 規則改用安全技能。
建立或審查 LiteLLM Proxy 的基礎拓樸、model alias、config.yaml、啟動方式與 OpenAI-compatible client。當任務是架設集中式模型入口或遷移既有 OpenAI client 時使用；成本治理、觀測、安全、可靠性與 MCP 細節必須搭配對應專門技能。
設計或審查 LiteLLM Router、load balancing、retry、timeout、fallback、rate-limit routing 與 health checks。當任務要求多 deployment、跨 provider 備援或可靠性測試時使用；預算政策交由成本治理技能，trace 後端交由觀測技能。
| name | litellm-sdk-basics |
| description | 使用 LiteLLM Python SDK 建立或審查 completion、streaming、structured output、tool calling、Responses API 與基礎成本追蹤。當任務是在 Python 程式內直接呼叫 LiteLLM 而非管理 Proxy 時使用；Proxy、virtual key、集中式預算或 gateway 維運改用對應專門技能。 |
需要程式範例、測試案例或版本注意事項時，讀取 實驗與參考。
