多模态大模型实战：让 AI 看懂图片

唐唐老师2025/01/16565 阅读

多模态大模型（VLM）让 AI 从"只读文字"变成"能看图片"。我接了一轮，说说它实际能干什么、有什么坑。

能干什么：

图片理解：看图回答问题、描述场景。GPT-4o、Qwen-VL、Claude 都支持。
文档 OCR：扫描件、截图转文字。这个场景比传统 OCR 强太多——带版式的文档、手写体、表格都能处理。
图表分析：给一张折线图，问"哪个月增长最快"，模型能答。对数据分析场景有用。
截图问答：网页截图、软件界面截图，问"这个按钮在哪""这个报错是什么意思"。

接入（OpenAI 格式）：

Python

client.chat.completions.create(
    model="gpt-4o",
    messages=[{
        "role": "user",
        "content": [
            {"type": "text", "text": "这张图里有什么？"},
            {"type": "image_url", "image_url": {"url": "data:image/png;base64,..."}}
        ]
    }]
)

坑：

图片压缩。图片太大（几 MB）上传慢且 token 贵。上传前压缩到合理尺寸（长边 1024 左右），清晰度够用就行。
Base64 vs URL。API 支持传图片 URL 或 base64。本地图片要转 base64，注意大小限制（OpenAI 单图有限制）。
token 消耗高。图片是按 token 算的，一张图可能几百到上千 token。批量处理图片成本要算清楚。
细节识别。VLM 对小字、模糊图片识别有限。要识别精确文本（比如票据上的数字），先用传统 OCR 放大预处理，再喂给 VLM。
中文场景。Qwen-VL 中文效果好，GPT-4o 中文也不错。选模型要看你的图片内容语言。

实测：

文档转结构化数据：准确率 90%+（配合版式分析）
截图问答：很好用，适合做"AI 助手帮你看报错"
复杂图表精确读数：一般，数字多的场景容易看错

总结：VLM 的能力边界在"理解"很强、"精确"偏弱。做理解类功能（描述、问答）放心用，做精确提取（票据数字）要加预处理。

还没有评论，来抢沙发～

评论0