Skip to main content

mlx-vlm-inference

Usa a inferir VLM en Apple Silicon con MLX-VLM.

跳到安装

来源信息

仓库
Ntizar/MasterMind
最近来源活动
2026年9月5日 21:40
检测到的 SKILL.md 语言
西班牙语
星标
2
分支
0

安装方式

默认使用会先检查来源的 Prompt;你也可以切换为直接命令,或下载本地副本。

检查来源文件

决定是否安装前,请先阅读 SKILL.md,以及 SkillsMP 当前展示的配套文件。

正在显示 SKILL.md

SKILL.md
来源说明 · 只读预览
name
mlx-vlm-inference
description
Usa a inferir VLM en Apple Silicon con MLX-VLM.
version
2.0.0
tags
["mlx","vlm","vision-language","apple-silicon","mlx-vlm","inference"]
related_skills
["moondream-vlm","mlx-vlm-inference","huggingface-hub"]
# MLX-VLM — inference de Vision-Language en Apple Silicon > ⚠️ Corrección 2026-09-05 (auditoría): los módulos CLI `mlx_vlm.chat`/`mlx_vlm.gradio` **no existen**; el real es `mlx_vlm.generate` / `mlx_vlm.chat_ui`. Flags de server: `APC_ENABLED=1` y `--kv-bits` (no `--apc` ni `--kv-cache-quantization`); batching automático. **Repo:** `https://github.com/Blaizzy/mlx-vlm` (Python, ~5.5K⭐). ## When to Use - Cuando pidas **inferir un VLM** (texto+imagen) en Apple Silicon (MLX) de forma local y eficiente. ## Uso (API real) ```bash pip install mlx-vlm # CLI de generación: mlx_vlm.generate --model <modelo> --image img.jpg --prompt "..." # UI/servidor: mlx_vlm.chat_ui ... # (no mlx_vlm.gradio) # server con APC enable: APC_ENABLED=1 mlx_vlm.server ... --kv-bits 8 # (no --apc ni --kv-cache-quantization) ``` ## Pitfalls - Módulos: **`mlx_vlm.generate`** / **`mlx_vlm.chat_ui`**, no `chat` / `gradio`. - Server: `APC_ENABLED=1` y `--kv-bits`, no `--apc`/`--kv-cache-quantization`. - Modelos en constante evolución (Gemma 3→4); consultar el README. ## Verificación - `mlx_vlm.generate` con una imagen y un prompt sobre la imagen.
在 GitHub 查看