メニュー
vllm-mlx expert guidance — Apple Silicon native LLM inference server with MLX backend, OpenAI/Anthropic API, continuous batching, and model setup (LLM/VLM/Audio/Embeddings/Reasoning).
デフォルトでは、最初にソースを確認する Prompt が選択されています。直接コマンドに切り替えるか、ローカルコピーをダウンロードすることもできます。
インストールを決める前に、SKILL.md と SkillsMP に表示されている付属ファイルをお読みください。
Codex または Claude でインストール この Prompt をコピーして Codex、Claude、または他のアシスタントに貼り付けると、Skill ページを確認してインストールできます。
直接コマンドでは確認用 Prompt が省略されます。実行前にソースを確認してください。
npx skills add https://github.com/zeero/dotfiles --skill vllm-mlx-expertコマンドは1行のまま表示されます。コピー前に横へスクロールして全体を確認してください。
ローカルで確認しますか？SkillsMP が現在取得できるファイルをダウンロードできます。
Use when launching a long-running CLI in the background (external review CLIs, builds, batch jobs) or deciding how to capture its output; when a subagent is stalled, its completion is overdue, or its completion notification arrives while the work it launched may still be running; before stopping or re-issuing a background task, especially on suspicion of a wrong working directory; when /exit is blocked with "Background work is running"; when dispatching a subagent into a worktree or isolated directory where it will commit or write reports; and when setting up a standing subagent you delegate to repeatedly, including how it must report back. Fire at launch time, not only after trouble.
Use when asking an external agent or subagent to review something or give a second opinion, applying review feedback, deciding whether to accept a finding, running two reviews at once, or before calling work "reviewed" and merging it. Triggers: 「外部レビューを依頼」「codex にレビューさせて」「レビュー指摘を反映」「この指摘は採用すべきか」「レビュー済みか確認」「マージ前レビュー」. Fire even when the work feels already reviewed — that false sense is the failure this skill prevents.
Moomoo API (ex-Futu) Python SDK reference. Use for stock prices, orders, positions, or OpenQuoteContext/OpenTradeContext usage.
SOC 職業分類に基づく
SKILL.md を表示中
| name | vllm-mlx-expert |
| description | vllm-mlx expert guidance — Apple Silicon native LLM inference server with MLX backend, OpenAI/Anthropic API, continuous batching, and model setup (LLM/VLM/Audio/Embeddings/Reasoning). |
Apple Silicon 向けの vLLM ライクな推論サーバー。MLX バックエンドで GPU 加速し、OpenAI / Anthropic 互換 API を提供する。
GitHub: https://github.com/waybarrios/vllm-mlx
ローカルリポジトリ: /Users/zeero/dev/vllm-mlx
git clone https://github.com/waybarrios/vllm-mlx.git
cd vllm-mlx
uv pip install -e . # uv 推奨
# オプション依存
pip install -e ".[vision]" # 動画処理
pip install mlx-audio # TTS/STT
pip install mlx-embeddings # Embeddings
動作確認:
vllm-mlx --help
uname -m # arm64 であること
# 基本
vllm-mlx serve mlx-community/Llama-3.2-3B-Instruct-4bit --port 8000
# Continuous Batching（高スループット・並列リクエスト向け）
vllm-mlx serve mlx-community/Llama-3.2-3B-Instruct-4bit --port 8000 --continuous-batching
# API キー設定
vllm-mlx serve mlx-community/Llama-3.2-3B-Instruct-4bit --port 8000 --api-key your-secret-key
# Reasoning モデル
vllm-mlx serve mlx-community/Qwen3-8B-4bit --reasoning-parser qwen3
# Embeddings 同時起動
vllm-mlx serve mlx-community/Llama-3.2-3B-Instruct-4bit \
--embedding-model mlx-community/all-MiniLM-L6-v2-4bit
from openai import OpenAI
client = OpenAI(base_url="http://localhost:8000/v1", api_key="not-needed")
response = client.chat.completions.create(
model="default",
messages=[{"role": "user", "content": "Hello!"}],
)
from anthropic import Anthropic
client = Anthropic(base_url="http://localhost:8000", api_key="not-needed")
response = client.messages.create(
model="default",
max_tokens=256,
messages=[{"role": "user", "content": "Hello!"}]
)
Claude Code から接続:
export ANTHROPIC_BASE_URL=http://localhost:8000
export ANTHROPIC_API_KEY=not-needed
claude
詳細は references/models.md を参照（モデル選択・VLM・Reasoning・Audio・Embeddings）。
サーバー詳細設定・MCP・パフォーマンスは references/server.md を参照。
vllm_mlx/
├── server.py # FastAPI サーバー（エントリポイント）
├── engine.py # 推論エンジン抽象レイヤー
├── mllm.py # マルチモーダル処理
└── models/ # モデル別ハンドラー
docs/
├── getting-started/ # インストール・クイックスタート
├── guides/ # 機能別ガイド
└── reference/ # CLI・設定リファレンス
| 問題 | 対処 |
|---|---|
| MLX not found | uname -m が arm64 か確認 |
| OOM | より小さい量子化モデルに変更（例: 4bit → 3bit） |
| HuggingFace ダウンロード失敗 | huggingface-cli login で認証 |
| Gemma 3 VLM エラー | GEMMA3_SLIDING_WINDOW=8192 環境変数を設定 |
| MLLM message null エラー | exclude_none=True が適用されているか確認（mllm.py） |