JoyAI-Image图像理解实战用inference_und.py实现图片描述与多图对比的详细指南【免费下载链接】JoyAI-ImageJoyAI-Image is the unified multimodal foundation model for image understanding, text-to-image generation, and instruction-guided image editing.项目地址: https://gitcode.com/gh_mirrors/jo/JoyAI-ImageJoyAI-Image 是一个统一的多模态基础模型覆盖图像理解、文生图生成与指令式图像编辑三大能力。本文聚焦它的图像理解部分手把手教你用仓库自带的 inference_und.py 脚本快速完成 AI 图片描述、多图对比和空间问答。即使你是第一次接触多模态大模型只要跟着本指南操作几分钟就能跑出自己的第一条图片描述。 什么是 JoyAI-Image一个模型搞定看懂图、生成图、编辑图JoyAI-Image 由一个8B 的多模态大语言模型MLLM和一个16B 的多模态扩散变换器MMDiT组成两者通过统一的接口协作形成理解 → 生成 → 编辑的闭环更强的空间理解让生成和编辑更精准而视角变换等生成能力又反过来辅助空间推理。其中图像理解由JoyAI-Image-Und模型负责支持图片描述Captioning看图生成详细中文/英文描述多图对比一次输入多张图片进行跨图比较空间问答回答人与柱子距离多远包有多高这类空间关系问题。️ 环境配置三步快速上手 JoyAI-Image硬件与系统要求Python ≥ 3.10 一块 CUDA GPU。第一步获取代码仓库git clone https://gitcode.com/gh_mirrors/jo/JoyAI-Image cd JoyAI-Image第二步创建虚拟环境并安装依赖conda create -n joyai python3.10 -y conda activate joyai pip install -e .第三步准备模型权重从官方开源平台下载JoyAI-Image-Und理解模型权重到本地。inference_und.py 会自动在--ckpt-root指定的目录下查找JoyAI-Image-Und/文件夹找不到就会报错因此目录名务必保持一致。 依赖版本要求见 requirements.txt 与 pyproject.tomltorch ≥ 2.8、transformers ≥ 4.57.0。Flash Attention 3 会通过kernels库自动拉取预编译版本无需本地编译。 单图描述一条命令生成图片解说词inference_und.py最省事用法是不给--prompt参数——代码内部会自动补上默认指令 Describe this image in detail.见 build_conversation 函数直接对图片做详细描述python inference_und.py \ --ckpt-root /path/to/ckpts_infer \ --image test_images/test_1.jpg以仓库自带的 test_images/test_1.jpg 为例模型会输出一段关于画面中蛋糕、装饰与构图细节的完整描述。想自己提问也行加一个--prompt即可例如python inference_und.py \ --ckpt-root /path/to/ckpts_infer \ --image test_images/test_1.jpg \ --prompt 这张图片里有哪些物体请分点列出 \ --output outputs/caption.txt加--output后回答文本会保存到指定文件方便后续处理保存逻辑见 inference_und.py。 多图对比用逗号一次传入多张图片inference_und.py的--image参数支持逗号分隔的多图路径load_images 会依次读取并全部送入模型这是做多图对比的关键python inference_und.py \ --ckpt-root /path/to/ckpts_infer \ --image test_images/test_2.jpg,test_images/test_3.png \ --prompt Compare these two images. \ --max-new-tokens 1024下面就是仓库里的两张示例图一张是峡谷背景下的粉色别墅航拍另一张是简洁人像。模型会同时看到两张图输出它们在场景、构图、主体上的异同 提示词建议多图对比时指令越具体越好例如比较两张图的拍摄视角和主体比Compare these two images能得到更有针对性的回答。⚙️ inference_und.py 参数速查表参数类型默认值说明--ckpt-rootstr必填权重根目录需包含JoyAI-Image-Und/--imagestr必填图片路径多图用逗号分隔--promptstrDescribe this image in detail.提问或指令缺省即图片描述--max-new-tokensint2048生成 Token 上限--temperaturefloat0.7采样温度0表示贪心解码--top-pfloat0.8核采样阈值--top-kint50Top-k 采样阈值--outputstrNone保存回答文本的文件路径️ 调节生成质量采样参数怎么选采样逻辑集中在 main--temperature 0时关闭随机采样do_sampleFalse输出最稳定、可复现保持默认temperature 0.7 top-p 0.8 top-k 50则更适合开放式的图片描述。常见组合批量打标签、要求稳定--temperature 0 --max-new-tokens 512开放式描述、希望更丰富保持默认采样参数适当调大--max-new-tokens运行结束时脚本还会打印输出 Token 数与推理速度tok/s方便你评估本地 GPU 的性能。 进阶玩法用图像理解做空间问答JoyAI-Image-Und 的一大亮点是空间理解——不仅能描述图里有什么还能回答距离、高度、方位等空间关系问题这正是理解反哺编辑闭环的感知基础。你可以这样提问python inference_und.py \ --ckpt-root /path/to/ckpts_infer \ --image test_images/test_1.jpg \ --prompt 估计画面中蛋糕的高度并说明装饰物的空间布局✅ 常见问题排查报Image not found--image中的每个路径都会被逐一校验检查逗号分隔后是否有多余空格或相对路径错误报Expected text_encoder/ directory--ckpt-root下缺少JoyAI-Image-Und/目录核对权重解压路径输出太短被截断调大--max-new-tokens输出不稳定加上--temperature 0使用贪心解码。 小结本文带你完整走通了 JoyAI-Image 的图像理解实战从环境配置、单图描述到用逗号分隔实现多图对比再到采样参数调优与空间问答。核心就一条命令——python inference_und.py --ckpt-root 权重目录 --image 图片路径 --prompt 你的问题。理解了这张图之后你也可以继续探索 inference.py 的图像编辑与文生图能力体验理解 生成的完整闭环。更多背景资料可参考 README.md 与 src/infer_runtime/ 下的推理运行时源码。【免费下载链接】JoyAI-ImageJoyAI-Image is the unified multimodal foundation model for image understanding, text-to-image generation, and instruction-guided image editing.项目地址: https://gitcode.com/gh_mirrors/jo/JoyAI-Image创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考