メニュー
Use when configuring, deploying, or troubleshooting pegaflow-server/pegaflow-metaserver. Covers CLI flags, pool sizing, SSD cache, NUMA, metrics, and multi-node setup.
デフォルトでは、最初にソースを確認する Prompt が選択されています。直接コマンドに切り替えるか、ローカルコピーをダウンロードすることもできます。
インストールを決める前に、SKILL.md と SkillsMP に表示されている付属ファイルをお読みください。
SOC 職業分類に基づく
Codex または Claude でインストール この Prompt をコピーして Codex、Claude、または他のアシスタントに貼り付けると、Skill ページを確認してインストールできます。
直接コマンドでは確認用 Prompt が省略されます。実行前にソースを確認してください。
npx skills add https://github.com/novitalabs/pegaflow --skill server-opsコマンドは1行のまま表示されます。コピー前に横へスクロールして全体を確認してください。
ローカルで確認しますか？SkillsMP が現在取得できるファイルをダウンロードできます。
SKILL.md を表示中
Use when modifying python/src/lib.rs (PyO3 bindings), python/pegaflow/connector/ (vLLM KV connector), python/pegaflow/sglang/ (SGLang radix cache), .pyi type stubs, or building with maturin.
Bump pegaflow-llm package version. Use when the user asks to bump version, release a new version, increment version, or update package version.
Debug vLLM async KV loading and PegaFlow connector behavior. Use when investigating async KV loads, WAITING_FOR_REMOTE_KVS states, load/save intents, connector metadata flow, prefetch behavior, or preemption interactions in vLLM scheduler/worker code.
| name | server-ops |
| description | Use when configuring, deploying, or troubleshooting pegaflow-server/pegaflow-metaserver. Covers CLI flags, pool sizing, SSD cache, NUMA, metrics, and multi-node setup. |
# Auto-detect all GPUs (default)
cargo run -r --bin pegaflow-server -- --addr 0.0.0.0:50055 --pool-size 30gb
# Specify devices
cargo run -r --bin pegaflow-server -- --addr 0.0.0.0:50055 --devices 0,2,4 --pool-size 30gb
uv run python examples/basic_vllm.py
uv run python examples/bench_kv_cache.py --model /path/to/model --num-prompts 10
| Flag | Default | Description |
|---|---|---|
--addr | 127.0.0.1:50055 | Bind address |
--devices | auto-detect all | CUDA device IDs, comma-separated |
--pool-size | 30gb | Pinned memory pool size |
--hint-value-size | — | Hint for typical value size to tune cache/allocator |
--use-hugepages | false | Use huge pages (requires /proc/sys/vm/nr_hugepages) |
--enable-lfu-admission | false | Enable TinyLFU admission (default: plain LRU) |
--disable-numa-affinity | false | Disable NUMA-aware allocation |
--http-addr | 0.0.0.0:9091 | HTTP server for health check and Prometheus |
--enable-prometheus | true | Enable /metrics endpoint |
--metrics-otel-endpoint | — | OTLP metrics export endpoint |
--metrics-period-secs | 5 | Metrics export period (OTLP only) |
--log-level | info | trace/debug/info/warn/error |
--ssd-cache-path | — | Enable SSD cache with file path |
--ssd-cache-capacity | 512gb | SSD cache capacity |
--ssd-write-queue-depth | 8 | Max pending write batches |
--ssd-prefetch-queue-depth | 2 | Max pending prefetch batches |
--ssd-write-inflight | 2 | Max concurrent block writes |
--ssd-prefetch-inflight | 16 | Max concurrent block reads |
--max-prefetch-blocks | 800 | Backpressure for SSD prefetch |
--trace-sample-rate | 1.0 | Sampling rate 0.0–1.0 (requires --features tracing) |
--metaserver-addr | — | MetaServer gRPC address for cross-node discovery (requires --addr to be routable) |
pegaflow-server/src/service.rs: gRPC service implementationpegaflow-server/src/bin/pegaflow-router.rs: P/D request routerpegaflow-metaserver/src/lib.rs: MetaServer entry point and CLIpegaflow-metaserver/src/service.rs: MetaServer gRPC servicepegaflow-metaserver/src/store.rs: Multi-owner block hash store with TTL sweep (backed by DashMap)PEGAFLOW_ENGINE_ENDPOINT: gRPC endpoint (default: 127.0.0.1:50055)RUST_LOG: Rust logging (e.g., info,pegaflow_core=debug,pegaflow_server=debug)