ARTICLE · INTELLIGENCE

战地情报 · 详情页

来自尧图项目组的一线实战观察与深度解析

如何用官方 Chat Completions API 调用 MiniCPM-V 4.6 完成图像与视频理解请求?

如何用官方 Chat Completions API 调用 MiniCPM-V 4.6 完成图像与视频理解请求? 如何用官方 Chat Completions API 调用 MiniCPM-V 4.6 完成图像与视频理解请求【免费下载链接】MiniCPM-VA Pocket-Sized MLLM for Ultra-Efficient Image and Video Understanding on Your Phone项目地址: https://gitcode.com/GitHub_Trending/mi/MiniCPM-V如果你希望在不部署本地模型的情况下直接使用 MiniCPM-V 4.6可以调用项目提供的托管 Chat Completions API。官方 API 指南 docs/api.md 说明了完整的调用方式通过POST /chat/completions发起请求用image_url/video_url内容项分别传入 base64 编码的图片和视频即可完成图像理解与视频理解任务。前提条件是能访问https://api.modelbest.cn/v1并持有可用的 API Key。准备端点、请求头与模型名所有请求都发往同一个端点文档给出的调用参数如下Base URL: https://api.modelbest.cn/v1 Chat API: POST /chat/completions Authorization: Bearer API_KEY Content-Type: application/json其中API_KEY替换为你自己的 API Key。文档提供了一个可免费试用该服务的公开 Keysk-live-kmwPsO1yz9kJfbp8c6az72I-BjfZBX-5V5CmI9yTsXw与 MiniCPM-V 4.6 相关的模型 ID 有两个MiniCPM-V-4.6-1B标准 4.6 模型MiniCPM-V-4.6-ThinkingThinking 版本可能在message.reasoning中返回中间推理过程。端点、Key 和模型名确认无误后先用纯文本请求验证链路是否可用再进入图像和视频请求。先用纯文本请求验证链路是否可用文档给出的文本请求示例如下把$API_KEY换成你的 Key 后执行curl https://api.modelbest.cn/v1/chat/completions \ -H Authorization: Bearer $API_KEY \ -H Content-Type: application/json \ -d { model: MiniCPM-V-4.6-1B, messages: [ { role: user, content: Introduce yourself in one sentence. } ] }判断请求是否成功的方法参照文档中的 Python 示例响应是一个 JSON 对象模型回复位于choices[0].message.content。如果这一步能拿到回复文本说明端点、认证和模型名都正确接下来只需替换model与content结构即可。发送图像理解请求图像以 base64 data URL 的形式放在image_url内容项中。文档示例为curl https://api.modelbest.cn/v1/chat/completions \ -H Authorization: Bearer $API_KEY \ -H Content-Type: application/json \ -d { model: MiniCPM-V-4.6-1B, messages: [ { role: user, content: [ { type: text, text: Describe this image. }, { type: image_url, image_url: { url: data:image/png;base64,BASE64_IMAGE } } ] } ] }注意BASE64_IMAGE是占位符必须替换为你要发送的图片的 Base64 字符串即把文档中的整个url值改写成data:image/png;base64,加 Base64 串的形式。text项里可以写具体的任务指令文档示例用的是 Describe this image.。本地图片需要先编码成 Base64 才能拼进请求体这一步属于你本地的文件准备工作非文档命令可用任意标准 Base64 编码工具完成编码前注意去掉换行保证拼进 JSON 后是一个连续的字符串。文档示例以 PNG 演示MIME 前缀按你实际图片格式填写。发送视频理解请求视频采用同样的 Chat Completions 接口把内容项类型换成video_urlURL 使用 base64 data URL文档示例curl https://api.modelbest.cn/v1/chat/completions \ -H Authorization: Bearer $API_KEY \ -H Content-Type: application/json \ -d { model: MiniCPM-V-4.6-1B, messages: [ { role: user, content: [ { type: text, text: Describe this video briefly. }, { type: video_url, video_url: { url: data:video/mp4;base64,BASE64_VIDEO } } ] } ] }BASE64_VIDEO同样是占位符替换为 MP4 视频的 Base64 字符串。文档明确说明同一video_urlbase64 格式对MiniCPM-V-4.5-9B、MiniCPM-V-4.6-1B、MiniCPM-V-4.6-Thinking和MiniCPM-O-4.5-9B都有效因此这个请求体可以直接复用到其他模型 ID 上。用 Python 发起请求并读取结果如果不用 curl 而想在脚本中调用文档给出了一个仅依赖标准库urllib.request的完整示例import json import urllib.request api_key API_KEY payload { model: MiniCPM-V-4.6-1B, messages: [ { role: user, content: List three use cases for MiniCPM-V., } ], } request urllib.request.Request( https://api.modelbest.cn/v1/chat/completions, datajson.dumps(payload).encode(utf-8), headers{ Authorization: fBearer {api_key}, Content-Type: application/json, }, methodPOST, ) with urllib.request.urlopen(request) as response: data json.loads(response.read().decode(utf-8)) print(data[choices][0][message][content])示例中API_KEY替换为你的 Key要发图像或视频请求时把payload里content从字符串改成上面图像/视频示例中的列表结构即可。最后一行print(data[choices][0][message][content])打印第一个候选回复的正文这就是文档给出的读取结果方式程序能正常打印出模型回复内容即表示调用成功。Thinking 模型的额外说明如果需要观察模型的中间推理把请求体中的model换成MiniCPM-V-4.6-Thinking即可请求格式不变。文档说明 Thinking 模型可能在message.reasoning中返回中间推理过程因此解析响应时除了读取message.content还可以留意message.reasoning字段。边界与注意事项文档示例请求体均以 PNG 图片和 MP4 视频演示 data URL 的 MIME 前缀换成其他格式时按实际文件类型调整前缀。图像理解用image_url视频理解用video_url两者内容项结构一致只是类型名和 MIME 前缀不同。视频 base64 请求体的可用模型范围以文档说明为准MiniCPM-V-4.5-9B、MiniCPM-V-4.6-1B、MiniCPM-V-4.6-Thinking、MiniCPM-O-4.5-9B。完整接口说明与更多模型调用示例见 docs/api.mdREADME 中Supported Inference and Training Frameworks and API一节也指向该指南。【免费下载链接】MiniCPM-VA Pocket-Sized MLLM for Ultra-Efficient Image and Video Understanding on Your Phone项目地址: https://gitcode.com/GitHub_Trending/mi/MiniCPM-V创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
RELATED READING

延伸阅读

更多一线实战笔记与深度复盘,助您持续精进