Skip to main content

multimodal-llm

调用文心一言多模态大模型,支持文本与图片混合输入,以 SSE 流式方式返回 AI 生成内容。适用于图文分析、拍照解题、智能客服等多模态 AI 场景。

Source facts

Repository
qq5855144/GitHubM
Last source activity
May 30, 2026 at 04:51
Detected SKILL.md language
Chinese
Stars
29
Forks
8

Install options

The review-first prompt is selected by default. You can switch to a direct command or download a local copy.

Review the source files

Read SKILL.md and any companion files shown by SkillsMP before deciding whether to install.

File Explorer
2 files

Showing SKILL.md

SKILL.md
Source instructions · Read-only preview
name
multimodal-llm
description
调用文心一言多模态大模型,支持文本与图片混合输入,以 SSE 流式方式返回 AI 生成内容。适用于图文分析、拍照解题、智能客服等多模态 AI 场景。
license
MIT
## 能力概述 调用百度千帆平台文心一言多模态大模型(ERNIE 4.5 Turbo VL),通过统一 Chat Completions 接口,支持将文本与图片混合传入,以 SSE 流式方式逐块返回模型生成内容。 | 维度 | 说明 | |------|------| | Endpoint | `POST https://app-bo4w33bsdqm9-api-k93RZBjPykEa-gateway.appmiaoda.com/v2/chat/completions` | | 认证模式 | `platform_managed`(密钥由平台注入,无需用户配置) | | 流式协议 | SSE(Server-Sent Events),每块为 `data: {...}` 格式 | | 图片格式 | JPG / JPEG / PNG / BMP,单图不超过 10 MB | | 上下文限制 | 32k token(单次最大 27k token) | | 计费单价 | 原价 ¥0.60 / 千次,优惠价 ¥0.45 / 千次 | Auth Header 为 `X-Gateway-Authorization: Bearer ${INTEGRATIONS_API_KEY}`(注意不是标准的 `Authorization`)。 **多平台实现差异:** | 平台 | 图片处理方式 | 流式接收方式 | |------|------------|------------| | Web | 原生 `fetch` + `eventsource-parser` 解析 SSE | `sendStreamRequest` 工具函数 | | MiniProgram | `imageToBase64` 转 Base64(H5/weapp 双环境兼容) | `sendChatStream`(`miaoda-taro-utils`) | | App | `expo-image-picker` 获取图片 → base64 传入 | `expo/fetch` + `eventsource-parser` 处理 SSE(必须使用 `expo/fetch`,RN 原生 fetch 不支持流式 `response.body`) | 完整实现代码、参数表及各平台 Edge Function 详见 `references/chat-completions-api.md`。 --- ## 生成期用法(Agent 直接调用) 在生成期脚本中直接调用上游 API,适用于快速验证或服务端批处理场景。 详细生成期代码(含完整参数、响应解析)见 `references/chat-completions-api.md` → **生成期代码** 小节。 --- ## 生成后用法(应用内通过 Edge Function 调用) 应用运行期通过 Supabase Edge Function 代理上游 SSE 流。Edge Function 负责注入 `INTEGRATIONS_API_KEY`,前端通过 SSE 工具库实时接收流式内容。 - **Web 端**:`sendStreamRequest`(`ky` + `eventsource-parser`) - **MiniProgram 端**:`sendChatStream`(`miaoda-taro-utils`),图片必须先用 `imageToBase64` 转为 Base64 详细 Edge Function 代码、前端调用代码及平台特有注意事项见 `references/chat-completions-api.md` → **Edge Function 代码** 和 **前端调用代码** 小节。
View on GitHub