minicpm5-deploy-sglang

Serve MiniCPM5-1B via SGLang as an OpenAI-compatible HTTP server with RadixAttention prefix cache and built-in MiniCPM5 tool-call parsing. Use when the user asks for "SGLang", "RadixAttention", "prefix cache", batch evaluation, tool calling, or wants a high-concurrency NVIDIA-GPU server alternative to vLLM.

الانتقال إلى التثبيت

المستودع: OpenBMB/MiniCPM
آخر نشاط في المصدر: ٣١ مايو ٢٠٢٦ في ٠٩:٢٥
لغة SKILL.md المكتشفة: الإنجليزية
النجوم: ١٠٬٢٧١
التفرعات: ٦٩٤

خيارات التثبيت

يُحدَّد Prompt الذي يراجع المصدر أولًا بشكل افتراضي. يمكنك التبديل إلى أمر مباشر أو تنزيل نسخة محلية.

التثبيت باستخدام Codex أو Claude انسخ هذا Prompt والصقه في Codex أو Claude أو مساعد آخر ليراجع صفحة Skill ويثبّتها لك.

يتجاوز الأمر المباشر Prompt المخصّص للمراجعة. افحص المصدر قبل تشغيله.

npx skills add https://github.com/OpenBMB/MiniCPM --skill minicpm5-deploy-sglang

يبقى الأمر في سطر واحد. مرّر أفقيًا لمراجعته كاملًا قبل النسخ.

تفضّل نسخة محلية؟ نزّل الملفات المتاحة حاليًا لدى SkillsMP.

مراجعة ملفات المصدر

اقرأ SKILL.md وأي ملفات مرافقة يعرضها SkillsMP قبل أن تقرر التثبيت.

SKILL.md

تعليمات المصدر · معاينة للقراءة فقط

العودة إلى البحث العودة إلى التثبيت

pip install "git+https://github.com/sgl-project/sglang.git@main#subdirectory=python"

export VLLM_WORKER_MULTIPROC_METHOD=spawn
export SGLANG_ALLOW_OVERWRITE_LONGER_CONTEXT_LEN=1
export SGLANG_DISABLE_CUDNN_CHECK=1

CUDA_VISIBLE_DEVICES=${GPU_ID} python -m sglang.launch_server \
    --model-path "${MODEL_PATH}" \
    --served-model-name MiniCPM5-1B \
    --dtype bfloat16 \
    --context-length ${CTX_LEN} \
    --mem-fraction-static ${MEM_FRAC} \
    --tool-call-parser ${TOOL_PARSER} \
    --host 0.0.0.0 \
    --port ${PORT}

curl http://localhost:${PORT}/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "MiniCPM5-1B",
        "messages": [{"role": "user", "content": "1+1=?"}],
        "temperature": 0.7, "top_p": 0.95, "max_tokens": 64,
        "chat_template_kwargs": {"enable_thinking": false}
    }'

curl http://localhost:${PORT}/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "MiniCPM5-1B",
        "messages": [{"role": "user", "content": "What is the weather in Beijing?"}],
        "tools": [{
            "type": "function",
            "function": {
                "name": "get_weather",
                "description": "Get current weather for a city",
                "parameters": {
                    "type": "object",
                    "properties": {"city": {"type": "string"}},
                    "required": ["city"]
                }
            }
        }],
        "tool_choice": "auto",
        "temperature": 0.7,
        "max_tokens": 256
    }'

import sglang as sgl

llm = sgl.Engine(model_path="${MODEL_PATH}", tp_size=1, mem_fraction_static=0.8, context_length=131072)

outputs = llm.generate(
    ["用一句话解释什么是 GQA。"],
    sampling_params={"temperature": 0.9, "top_p": 0.95, "max_new_tokens": 1024,
                     "skip_special_tokens": False},
)
print(outputs)

Var	Example	Default
`MODEL_PATH`	`openbmb/MiniCPM5-1B`	required
`PORT`	`30000`	`30000`
`GPU_ID`	`0`	`0`
`CTX_LEN`	`131072` (128 K)	`131072`
`MEM_FRAC`	`0.85`	`0.85`
`TOOL_PARSER`	`minicpm5`	`minicpm5`; use `auto` if you want template detection

Var	Example	Default
`MODEL_PATH`	`openbmb/MiniCPM5-1B`	required
`PORT`	`30000`	`30000`
`GPU_ID`	`0`	`0`
`CTX_LEN`	`131072` (128 K)	`131072`
`MEM_FRAC`	`0.85`	`0.85`
`TOOL_PARSER`	`minicpm5`	`minicpm5`; use `auto` if you want template detection

minicpm5-deploy-sglang

خيارات التثبيت

مراجعة ملفات المصدر

Deploy MiniCPM5-1B with SGLang

Required input

Steps

1. Install (once)

Deploy MiniCPM5-1B with SGLang

Required input

Steps

1. Install (once)

2. Recommended runtime env vars

3. Launch

4. Validate

Tool calling

Offline / batched (Engine API)

Common pitfalls

When NOT to use

Reference

name	minicpm5-deploy-sglang
description	Serve MiniCPM5-1B via SGLang as an OpenAI-compatible HTTP server with RadixAttention prefix cache and built-in MiniCPM5 tool-call parsing. Use when the user asks for "SGLang", "RadixAttention", "prefix cache", batch evaluation, tool calling, or wants a high-concurrency NVIDIA-GPU server alternative to vLLM.

minicpm5-deploy-sglang

معلومات المصدر

خيارات التثبيت

مراجعة ملفات المصدر

المزيد من هذا المستودع

المزيد من هذا المستودع

Deploy MiniCPM5-1B with SGLang

Required input

Steps

1. Install (once)

Deploy MiniCPM5-1B with SGLang

Required input

Steps

1. Install (once)

2. Recommended runtime env vars

3. Launch

4. Validate

Tool calling

Offline / batched (Engine API)

Common pitfalls

When NOT to use

Reference