python-performance

Use when profiling Python code, reducing memory usage, optimizing hot paths, choosing concurrency patterns, or reviewing performance regressions in Python services and scripts.

インストールへ移動

リポジトリ: seaworld008/Commonly-used-high-value-skills
ソースの最終更新活動: 2026年6月29日 02:54
検出された SKILL.md の言語: 複数言語
スター: 64
フォーク: 10

インストール方法

デフォルトでは、最初にソースを確認する Prompt が選択されています。直接コマンドに切り替えるか、ローカルコピーをダウンロードすることもできます。

ソースファイルを確認

インストールを決める前に、SKILL.md と SkillsMP に表示されている付属ファイルをお読みください。

検索に戻るインストールに戻る

name	python-performance
description	Use when profiling Python code, reducing memory usage, optimizing hot paths, choosing concurrency patterns, or reviewing performance regressions in Python services and scripts.
zh_description	用于 Python 性能分析、内存优化、热点路径调优和并发模式评审。
version	1.0.0
author	seaworld008
source	skills.sh
source_url	https://skills.sh/wshobson/agents/python-performance-optimization
license	MIT
tags	["development", "performance", "python"]
created_at	2026-03-27
updated_at	2026-06-29
quality	4
complexity	intermediate

Python Performance Optimization

Python is an incredibly productive language, but it can be slow if not handled correctly. This skill provides a systematic approach to identifying bottlenecks, optimizing memory usage, and choosing the right concurrency model.

触发条件

应用程序在生产环境中响应缓慢。
系统处理大量数据流时，CPU 或内存占用极高。
后台任务队列堆积，吞吐量无法满足业务需求。
需要针对特定的核心逻辑进行性能压测与调优。
项目正在从原型向高并发、高性能生产环境迁移。

核心能力

1. 性能分析 (Profiling)

在优化之前，必须先进行测量。

cProfile: 使用标准库进行全局函数调用分析，找出耗时最长的函数。
line_profiler: 对单个函数进行行级别的分析，精确定位热点代码行。
Py-spy: 生产环境非侵入式采样分析，生成火焰图。

2. 内存分析与泄漏排查

Memory Profiler: 逐行监测脚本的内存增量。
Objgraph: 可视化内存中的对象引用关系，追踪无法回收的循环引用。
tracemalloc: 标准库提供的内存分配追踪工具，定位泄露源头。

3. asyncio 异步编程

针对 I/O 密集型任务（网络请求、数据库操作、文件读写）。

Event Loop 管理: 理解单线程并发机制，避免在协程中编写阻塞性代码。
Gather/Wait/As_completed: 并发调度多个协程的模式。
第三方库选择: 优先选择 aiohttp, httpx, motor 等原生支持异步的客户端库。

4. 多进程与多线程选型

Multi-threading: 适用于 I/O 密集型，受限于 GIL，无法利用多核 CPU 处理计算任务。
Multi-processing: 适用于 CPU 密集型，通过派生进程绕过 GIL，利用多核计算资源。
Thread/Process Pool Executor: 标准库提供的池化管理，简化并发逻辑。

5. Cython 与 Numba 加速

当纯 Python 无法满足性能要求时。

Numba (@jit): 即时编译器，特别适合含有大量循环的数值计算（NumPy 场景）。
Cython: 将 Python 代码编译为 C/C++ 扩展，显式定义类型，性能可提升数十倍。

6. GIL (Global Interpreter Lock) 理解

原理解析: 理解 GIL 为什么存在及其对并发的影响。
绕过手段: 使用 C 扩展释放 GIL、使用多进程、或将计算任务下沉到 Rust/C++ 编写的底层库（如 Pandas/Polars）。

7. 数据结构选择与算法优化

Built-in Collections: 合理使用 dict 的哈希查找、set 的去重、deque 的高效双端队列。
List Comprehensions: 优先于传统的 for 循环追加。
Generator: 使用生成器处理海量数据，减少内存占用。

常用命令/模板

使用 cProfile 分析

python -m cProfile -s cumtime script.py

# 采样 30 秒并生成 svg 火焰图
py-spy record -o profile.svg --duration 30 --pid <PID>

import asyncio
import httpx

async def fetch_url(client, url):
    response = await client.get(url)
    return response.status_code

async def main(urls):
    async with httpx.AsyncClient() as client:
        tasks = [fetch_url(client, url) for url in urls]
        results = await asyncio.gather(*tasks)
        print(f"Finished {len(results)} requests")

if __name__ == "__main__":
    urls = ["https://example.com" for _ in range(100)]
    asyncio.run(main(urls))

from numba import jit
import numpy as np

@jit(nopython=True)
def sum_of_squares(arr):
    res = 0
    for i in range(len(arr)):
        res += arr[i] ** 2
    return res

data = np.random.rand(10_000_000)
# 第一次调用会有编译开销，后续飞快
print(sum_of_squares(data))