PaddlePaddle/FastDeploy

Latest recorded source activity: April 28, 2026 at 04:21

SkillsMP catalog refreshed: November 5, 2026 at 19:57

skills collected: 1

GitHub stars: 3,724
GitHub forks: 758

Install with an AI assistant

Copy this prompt into the AI assistant you're using.

Follow https://skillsmp.com/skill-install/prompt.md to install Agent Skills from https://github.com/PaddlePaddle/FastDeploy.

Repository README

Repository README source: README.md

Read the source README

Expand full README

[English](README_EN.md) | 简体中文 <a href="https://github.com/PaddlePaddle/FastDeploy/releases"><img src="https://github.com/user-attachments/assets/42b0039f-39e3-4279-afda-6d1865dfbffb" width="500"></a> <a href=""><img src="https://img.shields.io/badge/python-3.10-aff.svg"></a> <a href=""><img src="https://img.shields.io/badge/os-linux-pink.svg"></a> <a href="https://github.com/PaddlePaddle/FastDeploy/graphs/contributors"><img src="https://img.shields.io/github/contributors/PaddlePaddle/FastDeploy?color=9ea"></a> <a href="https://github.com/PaddlePaddle/FastDeploy/commits"><img src="https://img.shields.io/github/commit-activity/m/PaddlePaddle/FastDeploy?color=3af"></a> <a href="https://github.com/PaddlePaddle/FastDeploy/issues"><img src="https://img.shields.io/github/issues/PaddlePaddle/FastDeploy?color=9cc"></a> <a href="https://github.com/PaddlePaddle/FastDeploy/stargazers"><img src="https://img.shields.io/github/stars/PaddlePaddle/FastDeploy?color=ccf"></a> <a href="https://trendshift.io/repositories/4046" target="_blank"><img src="https://trendshift.io/api/badge/repositories/4046" alt="PaddlePaddle%2FFastDeploy | Trendshift" style="width: 250px; height: 55px;" width="250" height="55"/></a> <a href="https://paddlepaddle.github.io/FastDeploy/zh/get_started/installation/nvidia_gpu/"> 安装指导 </a> | <a href="https://paddlepaddle.github.io/FastDeploy/zh/get_started/quick_start"> 快速入门 </a> | <a href="https://paddlepaddle.github.io/FastDeploy/zh/supported_models/"> 支持模型列表 </a> -------------------------------------------------------------------------------- # FastDeploy 飞桨大模型高效部署套件 ## 最新活动 **[2026-03] FastDeploy v2.5 全新发布!** 新增Qwen3-VL与Qwen3-VL MoE模型部署支持，新增W4AFP8量化方法，增强强化学习训练支持能力，包含170+项Bug修复与性能优化，升级全部内容参阅 [v2.5 ReleaseNote](https://github.com/PaddlePaddle/FastDeploy/releases/tag/v2.5.0)。 **[2026-01] FastDeploy v2.4**: 新增 DeepSeek V3 与 Qwen3-MoE 模型的 PD 分离部署，增强MTP 投机解码能力，全面优化多硬件平台上的 MoE 推理与多模态前缀缓存性能，升级全部内容参阅 [v2.4 ReleaseNote](https://github.com/PaddlePaddle/FastDeploy/releases/tag/v2.4.0)。 **[2025-11] FastDeploy v2.3**: 新增[ERNIE-4.5-VL-28B-A3B-Thinking](docs/zh/get_started/ernie-4.5-vl-thinking.md)与[PaddleOCR-VL-0.9B](docs/zh/best_practices/PaddleOCR-VL-0.9B.md)两大重磅模型在多硬件平台上的部署支持，进一步优化全方位推理性能，以及带来更多部署功能和易用性的提升，升级全部内容参阅[v2.3 ReleaseNote](https://github.com/PaddlePaddle/FastDeploy/releases/tag/v2.3.0)。 **[2025-09] FastDeploy v2.2**: HuggingFace生态模型兼容，性能进一步优化，更新增对[baidu/ERNIE-21B-A3B-Thinking](https://huggingface.co/baidu/ERNIE-4.5-21B-A3B-Thinking)支持! **[2025-08] FastDeploy v2.1**:全新的KV Cache调度策略，更多模型支持PD分离和CUDA Graph，昆仑、海光等更多硬件支持增强，全方面优化服务和推理引擎的性能。 ## 关于 **FastDeploy** 是基于飞桨（PaddlePaddle）的大语言模型（LLM）与视觉语言模型（VLM）推理部署工具包，提供**开箱即用的生产级部署方案**，核心技术特性包括： - 🚀 **负载均衡式PD分解**：工业级解决方案，支持上下文缓存与动态实例角色切换，在保障SLO达标和吞吐量的同时优化资源利用率 - 🔄 **统一KV缓存传输**：轻量级高性能传输库，支持智能NVLink/RDMA选择 - 🤝 **OpenAI API服务与vLLM兼容**：单命令部署，兼容[vLLM](https://github.com/vllm-project/vllm/)接口 - 🧮 **全量化格式支持**：W8A16、W8A8、W4A16、W4A8、W2A16、FP8等 - ⏩ **高级加速技术**：推测解码、多令牌预测（MTP）及分块预填充 - 🖥️ **多硬件支持**：NVIDIA GPU、昆仑芯XPU、海光DCU、天数智芯GPU、燧原GCU、沐曦GPU、英特尔Gaudi等 ## 要求 - 操作系统: Linux - Python: 3.10 ~ 3.12 ## 安装 FastDeploy 支持在**英伟达（NVIDIA）GPU**、**昆仑芯（Kunlunxin）XPU**、**天数（Iluvatar）GPU**、**燧原（Enflame）GCU**、**海光（Hygon）DCU** 以及其他硬件上进行推理部署。详细安装说明如下： - [英伟达 GPU](./docs/zh/get_started/installation/nvidia_gpu.md) - [昆仑芯 XPU](./docs/zh/get_started/installation/kunlunxin_xpu.md) - [天数 CoreX](./docs/zh/get_started/installation/iluvatar_gpu.md) - [燧原 S60](./docs/zh/get_started/installation/Enflame_gcu.md) - [海光 DCU](./docs/zh/get_started/installation/hygon_dcu.md) - [沐曦 GPU](./docs/zh/get_started/installation/metax_gpu.md) - [英特尔 Gaudi](./docs/zh/get_started/installation/intel_gaudi.md) ## 入门指南通过我们的文档了解如何使用 FastDeploy： - [10分钟快速部署](./docs/zh/get_started/quick_start.md) - [ERNIE-4.5 部署](./docs/zh/get_started/ernie-4.5.md) - [ERNIE-4.5-VL 部署](./docs/zh/get_started/ernie-4.5-vl.md) - [离线推理](./docs/zh/offline_inference.md) - [在线服务](./docs/zh/online_serving/README.md) - [最佳实践](./docs/zh/best_practices/README.md) ## 支持模型列表通过我们的文档了解如何下载模型，如何支持torch格式等： - [模型支持列表](./docs/zh/supported_models.md) ## 进阶用法 - [量化](./docs/zh/quantization/README.md) - [分离式部署](./docs/zh/features/disaggregated.md) - [投机解码](./docs/zh/features/speculative_decoding.md) - [前缀缓存](./docs/zh/features/prefix_caching.md) - [分块预填充](./docs/zh/features/chunked_prefill.md) - [负载均衡调度Router](./docs/zh/online_serving/router.md) - [全局Cache池化](./docs/zh/features/global_cache_pooling.md) ## 致谢 FastDeploy 依据 [Apache-2.0 开源许可证](./LICENSE). 进行授权。在开发过程中，我们参考并借鉴了 [vLLM](https://github.com/vllm-project/vllm) 的部分代码，以保持接口兼容性，在此表示衷心感谢。

Loading the repository README…

Skills in this repository

Software Developers

1 occupation category · 100% classified

skill

occupation

description

updated

nsys-capture

Software Developers

通用 GPU 推理服务 nsys 性能抓取工具。根据用户的启动脚本自动注入 nsys 命令、构建带 nsys 的启动脚本，完成完整的 GPU profiling 抓取流程，输出 .nsys-rep 文件。

Source text: Chinese

2026-04-28

Showing 1 of 1 collected skill.