多模态 RAG 实战：让 AI 能读懂图片、表格和扫描件

企业里的知识大量藏在PDF、扫描件、PPT、图表里。传统 RAG 把这些文件转成纯文本，结果表格错乱、图表丢失、扫描件直接空白。多模态 RAG 就是要解决这个问题——让检索系统真正读懂文档的”样子”。

一、为什么文本 RAG 会失效

把一份财报 PDF 转成文本，你大概会得到：

• 表格被拆成错位的数字流，行列关系全丢。
• 图表变成”图 1”三个字，内容全无。
• 扫描件因为没文字层，直接是空的。

于是模型检索到的是残缺且误导的信息。多模态 RAG 的核心，就是保留文档的视觉结构。

二、三条技术路线

路线一：OCR + 版面还原

用 OCR 识别文字，同时用版面分析恢复表格结构、标题层级。

• 优点：成本低，可解释，表格能还原成结构化数据。
• 缺点：复杂图表、手写稿效果差；版面还原规则多，维护烦。

路线二：多模态嵌入

用多模态模型把页面图像直接编码成向量，检索时图文一起匹配。

• 优点：保留视觉信息，图表、版式都能被理解。
• 缺点：向量质量依赖模型；存储和检索成本更高；可解释性弱。

路线三：VLM 直接理解

把页面图直接交给视觉语言模型，让它回答或抽取内容。

• 优点：理解力最强，能处理复杂图表和版面。
• 缺点：推理贵且慢，海量文档下成本高；难以做大规模检索。

三、务实做法：三路混合

现实中很少只用一条路线。比较成熟的架构是混合：

1. 路由：先判断文档类型（纯文本、表格为主、扫描件、图文混排）。
2. 处理：纯文本走 OCR；表格走版面还原；扫描件和图表走多模态嵌入。
3. 检索：文本向量和图像向量分库或统一索引，查询时并行召回。
4. 生成：把检索到的图文内容拼给 VLM 生成答案。

关键是根据内容形态分流，而不是一套流程打天下。

四、切分策略是多模态的难点

传统 RAG 按字符切，多模态不能这么干：

• 按语义块切：标题、段落、表格、图片各自成块，别把一个表格切两半。
• 保留上下文：每个块附上所在章节标题、页码，检索时能定位。
• 图文成对：图要和它的标题、说明文字绑在一起，不能拆散。

切分好坏，直接决定检索能不能召回正确内容。

五、检索时的两个增强

• 混合检索：向量召回语义，关键词召回精确术语，再用重排模型提纯。
• 多路召回：文本块和图像块分别召回，去重后统一排序。

六、成本实话

多模态 RAG 比纯文本贵，主要贵在：

• 存储：图像向量维度高、体积大。
• 推理：VLM 调用比纯文本模型贵。
• 处理：OCR 和版面分析的预处理开销。

所以别对所有文档都上多模态。先分流：能转文本的走文本，只有图文混排和扫描件才上多模态。

七、落地步骤建议

1. 盘点文档：统计哪类文档占比最高、最影响业务。
2. 单点突破：挑最痛的一类（通常是扫描合同或财务报表）做试点。
3. 混合架构：按类型路由，别追求一套通吃。
4. 评估闭环：建一个问答评测集，持续测召回率和答案正确率。

多模态 RAG 的价值，是让 AI 从”读文字”进化到”看文档”。 当你库里一半是图表和扫描件时，这一步迟早要走。