01. 多模态大模型¶

纯文本模型：
- 无法直接理解图像内容（"百闻不如一见"）
- 需要极其复杂的文字描述才能传达视觉信息
- 空间关系、颜色、布局等理解困难

纯视觉模型：
- 缺乏语义理解和逻辑推理能力
- 无法用自然语言解释所见内容
- 难以进行复杂的多步决策

1. 信息互补
   - 图像提供细节感知，文本提供抽象语义
   - 结合后理解更全面、更准确

2. 跨模态推理
   - "图中的人在做什么？" → 视觉感知 + 语义推理
   - "这段描述对应哪张图？" → 文本理解 + 图像匹配

3. 更自然的交互
   - 看图说话（Image Captioning）
   - 根据描述搜索图像（Text-to-Image Retrieval）
   - 视觉问答（Visual Question Answering）
   - 视频理解与对话（Video Understanding）

2019: ViLBERT / LXMERT          → 双塔融合结构，早期跨模态交互
2020: CLIP / ALIGN               → 对比学习范式，大规模图文对齐
2021: DALL-E / VQGAN             → 图像生成，文本到图像
2022: Flamingo / OFA             → 上下文学习，统一序列建模
2023: GPT-4V / LLaVA / Qwen-VL  → 统一架构，视觉-语言深度融合
2024: Gemini 2.0 / GPT-4o       → 原生多模态，端到端训练
2025: Gemini 2.5 Pro / GPT-5.4  → 多模态推理 + 长视频理解
2026: 多模态 Agent 全面落地       → 视觉理解 + 推理 + 行动闭环

图像编码器          文本编码器
    ↓                  ↓
  [ViT]             [BERT]
    ↓                  ↓
 图像特征           文本特征
    ↓                  ↓
    └──── 对比学习 ────┘

代表：CLIP, ALIGN, SigLIP

特点：
✅ 分别编码后对齐，推理效率高
✅ 适合检索任务（以图搜文 / 以文搜图）
❌ 不适合生成任务（缺乏跨模态深度融合）

图像编码器          文本编码器
    ↓                  ↓
  [ViT]             [BERT]
    ↓                  ↓
    └──── 交叉注意力 ──┘
           ↓
        融合特征
           ↓
       [Transformer]
           ↓
         输出

代表：ViLBERT, LXMERT, ALBEF

特点：
✅ 早期/中期融合，跨模态交互充分
✅ 适合理解任务（VQA、视觉推理）
❌ 计算量大，不适合大规模部署

图像编码器
    ↓
  [ViT/CNN]
    ↓
 图像特征 ──────┐
                ↓
文本编码器   [交叉注意力]
    ↓           ↓
  [BERT]      [解码器]
    └───────────┘
                ↓
              输出

代表：BLIP, BLIP-2, SimVLM, InstructBLIP

特点：
✅ 编码器理解输入，解码器生成输出
✅ 适合图像描述、VQA 等生成任务
✅ BLIP-2 引入 Q-Former 架构，高效桥接冻结 LLM

统一的 Transformer 架构
       ↓
[模态无关的 Token 序列]
       ↓
[图像Token | 文本Token | 音频Token]
       ↓
     [Transformer]
       ↓
[统一的输出空间]

代表：GPT-4o → GPT-5.4, Gemini 2.5, Claude 4.6, Chameleon

特点：
✅ 所有模态统一表示，架构最简洁
✅ 原生多模态能力，可任意模态输入输出
✅ 训练效率高，无需额外对齐模块
⚠️ 需要海量多模态数据支撑

ViT 核心思想：将图像视为 Token 序列（与 NLP 对齐）

图像 (H × W × C)
    ↓
[Patch Embedding]     # 将图像切分为固定大小的 patch
    ↓
[Flatten + Linear]    # 每个 patch 线性映射为向量
    ↓
[Add CLS Token]       # 添加分类 token（类似 BERT 的 [CLS]）
    ↓
[Add Position Embedding]  # 添加位置信息（ViT 本身无位置感知）
    ↓
[Transformer Encoder] × N  # N 个标准 Transformer 层
    ↓
特征表示

关键参数：
- Patch size: 16×16 或 14×14
- 对于 224×224 图像：
  - 16×16 patch → (224/16)² = 196 个 patch
  - 序列长度 = 196 + 1 (CLS) = 197

τ 小 → 分布更尖锐 → 更关注 hard negative（难区分的负样本）
τ 大 → 分布更平滑 → 训练更稳定，但区分度降低

CLIP 中 τ 设为可学习参数，初始值 0.07，训练中自动调整

方法1：线性投影（LLaVA v1）
  图像特征 ──[Linear]──> 共享空间
  文本特征 ──[已对齐]──> 共享空间
  特点：简单高效，参数少

方法2：非线性投影（LLaVA v1.5+）
  图像特征 ──[MLP]──> 共享空间
  文本特征 ──[已对齐]──> 共享空间
  特点：更强的表达能力

方法3：查询机制（BLIP-2 的 Q-Former）
  图像特征 ──[可学习 Query]──┐
                              ├──> 共享空间
  文本特征 ──[Key/Value]─────┘
  特点：冻结 LLM 和视觉编码器，只训练 Q-Former

目标：学习图像和文本的联合表示
输入：图像-文本对
输出：相似度分数
损失：InfoNCE / 对称交叉熵损失

目标：判断图像和文本是否语义匹配
输入：图像 + 文本
输出：二分类（匹配 / 不匹配）

实现：
  [图像特征] ──┐
               ├──> [跨模态融合] ──> [二分类器]
  [文本特征] ──┘

目标：根据图像上下文预测被掩码的文本词
输入：图像 + 部分掩码的文本
输出：预测被掩码的词

示例：
  图像：[一只猫在沙发上]
  文本："一只 [MASK] 在沙发上"
  预测：[MASK] = "猫"

关键：结合视觉信息辅助文本预测（比纯文本 MLM 更强）

目标：根据图像生成描述文本
输入：图像
输出：图像描述（自回归生成）

概率模型：
  P(y_t | y_1, ..., y_{t-1}, image)

这是最接近实际应用的预训练任务

预训练模型：
- 学会了图像-文本关联
- 但不知道如何遵循用户指令回答问题
- 输出格式不可控

指令微调：
- 教会模型遵循指令（"描述这张图片" vs "图中有什么危险"）
- 学会多轮对话格式
- 提升实用性和可控性

1. 大规模对比学习
   - 4 亿图像-文本对，从互联网收集
   - 证明了对标学习 + 大数据的强大威力

2. 零样本分类（Zero-shot Classification）
   - 不需要任何训练数据
   - 用文本描述作为类别标签即可分类

3. 强大的迁移能力
   - 视觉编码器可直接用于下游任务
   - 成为后续 VLM 的标准视觉骨干

图像编码器 (CLIP ViT-L/14 @ 336px)
    ↓
投影层 (两层 MLP)
    ↓
大语言模型 (Vicuna-7B / 13B)
    ↓
文本输出

核心思想：将视觉 Token 当作"外语"输入给 LLM
- 简单高效，仅需训练投影层
- 充分利用预训练 LLM 的推理能力
- 开源友好，社区生态丰富

阶段 1：特征对齐预训练
  - 冻结视觉编码器和 LLM
  - 只训练投影层（MLP）
  - 数据：CC3M 等 ~595K 图像-文本对
  - 目标：让视觉特征适配 LLM 的输入空间
  - 训练成本：约 1-2 小时（8×A100）

阶段 2：端到端指令微调
  - 冻结视觉编码器
  - 训练投影层 + LLM
  - 数据：158K 指令跟随数据（LLaVA-Instruct）
  - 目标：学会多轮对话和复杂推理
  - 训练成本：约 3-4 小时（8×A100）

冻结的视觉编码器 (ViT)
    ↓
[Q-Former] ← 可学习的 Query 向量
    ↓                ↓
  [与图像交叉注意力] [与文本自注意力]
    ↓
冻结的 LLM (Flan-T5 / OPT)
    ↓
文本输出

关键优势：
- 视觉编码器和 LLM 都冻结，只训练 Q-Former（~188M 参数）
- 大幅降低训练成本
- 可灵活切换不同 LLM 骨干

1. 原生多模态（Native Multimodal）
   - 不是后期拼接的模块，而是统一架构处理所有模态
   - GPT-4o 开始实现真正的端到端多模态训练

2. 强大的视觉推理能力
   - 数学问题求解（从图片读取题目并解答）
   - 图表数据分析（理解趋势、比较、异常）
   - 文档理解（OCR + 结构化提取）

3. 多模态上下文学习
   - 多图推理（比较两张图的异同）
   - 跨图推理（基于多张图进行逻辑推理）
   - 视频理解（GPT-5.4 支持实时视频流）

原生多模态设计：
- 从预训练阶段就是多模态（非后期拼接）
- 图像、视频、音频、文本统一建模

多尺度模型家族：
- Ultra:  最强能力，复杂推理任务
- Pro:    平衡性能与成本，通用场景
- Flash:  高速推理，实时应用
- Nano:   端侧部署，移动设备

2025-2026 关键进展：
- Gemini 2.5 Pro: 小时级视频理解 + 原生多模态推理
- Gemini 2.5 Flash: 高性价比多模态推理
- 100+ 语言支持，多语言多模态能力领先

1. 中英双语优势
   - 中文理解能力强，中文场景优化
   - 同时保持英文能力

2. 多粒度视觉理解
   - 检测框输出（Bounding Box）
   - 指代表达理解（Referring Expression）
   - 文档 OCR + 结构化理解

3. Qwen2.5-VL (2025)
   - 支持超过 1 小时的长视频理解
   - 端侧部署优化（Qwen2.5-VL-3B/7B）
   - 多图像比较与推理

VLM：输入 → [视觉 + 文本] → 输出 → [文本/描述]
      ↑                           ↑
      └── 理解世界（感知）─────────┘

VLA：输入 → [视觉 + 文本 + 状态] → 输出 → [文本/动作指令]
      ↑                                        ↑
      └── 理解世界（感知） ──→ 决策 ──→ 执行 ──→ ┘

VLM → VLA 的演进逻辑：

1. 理解 → 行动
   VLM："我看到了一个红色的杯子"
   VLA："我看到了一个红色的杯子 → 伸手 → 抓住它"

2. 感知 → 决策 → 执行
   - 感知层：视觉编码器理解环境
   - 决策层：语言模型推理任务
   - 执行层：动作解码器输出控制信号

3. 关键突破
   - RT-2 (2023)：首次将 VLM 能力泛化到机器人控制
   - PaLM-E (2023)：77B 参数模型接入机器人经验
   - OpenVLA (2024)：开源 VLA，推动学术研究
   - π₀ (2024)：通用机器人大模型，处理多任务

输入：图像
输出：描述文本

典型应用：
- 辅助视障人士（实时场景描述）
- 图像检索（自动生成标签）
- 内容审核（自动描述 + 审核）
- 社交媒体（自动生成图片说明）

输入：图像 + 自然语言问题
输出：答案

示例：
  Q: "图中有几个人？"
  A: "3 个人"

  Q: "左边的人穿什么颜色？"
  A: "红色"

  Q: "这张图是在室内还是室外？"
  A: "室外，可以看到天空和树木"

任务 1：以图搜文（Image-to-Text Retrieval）
  输入：图像
  输出：最相关的文本描述

任务 2：以文搜图（Text-to-Image Retrieval）
  输入：文本描述
  输出：最相关的图像

典型应用：
- 搜索引擎（Google Images, 百度识图）
- 电商平台（拍照购物）
- 素材库管理（智能标签 + 搜索）

输入：图像 + 指代表达（自然语言描述）
输出：目标物体的边界框

示例：
  表达："穿红色衣服的女孩"
  输出：[x, y, w, h]  # 边界框坐标

应用：
- 智能相册（"找到所有包含猫的照片"）
- 机器人抓取（"拿起桌上的红色杯子"）

用户：描述这张图片
模型：这是一张海滩照片，蓝天白云，有几个人在沙滩上玩耍。

用户：他们在做什么？
模型：他们似乎在打排球，周围还有一些人在晒太阳。

用户：天气看起来怎么样？
模型：天气看起来很好，阳光明媚，适合户外活动。从光影角度判断，可能是下午 3-4 点。

输入：文档图像（PDF、扫描件、照片）
输出：结构化信息提取

能力：
- OCR：文字识别（多语言、手写体）
- 表格理解：提取表格结构和数据
- 图表分析：理解柱状图、折线图、饼图
- 版面分析：识别标题、正文、注释、页眉页脚

代表模型：
- GPT-5.4：复杂文档推理
- Qwen2.5-VL：中文文档理解领先
- Gemini 2.5 Pro：多页文档处理

挑战 1：主观性
  - 图像描述没有唯一正确答案
  - 需要语义相似度评估（CIDEr, SPICE）

挑战 2：幻觉（Hallucination）
  - 模型生成图像中不存在的内容
  - 例如：图中只有 2 只猫，模型说"3 只猫"
  - 需要专门检测方法（CHAIR, POPE）

挑战 3：细粒度理解
  - 小物体识别（远处的文字、微小物体）
  - 复杂空间关系理解（"A 在 B 的左上方"）

挑战 4：多图推理
  - 跨图比较和推理
  - 时序理解（视频帧之间的关系）

核心挑战：
- 时序建模：理解动作、事件的时间演变
- 长视频处理：分钟级甚至小时级视频
- 计算效率：视频帧数远多于图像（1 分钟 = 1800 帧@30fps）
- 多模态融合：视频 + 音频 + 字幕 + 文本

主要方法：
- 采样关键帧：均匀采样、场景检测采样、自适应采样
- 时序注意力：Temporal Attention, TimeSformer, VideoMAE
- 视频-文本预训练：WebVid, InternVid, HD-VILA
- 3D ViT：将视频视为时空立方体

2025-2026 最新进展：
- Gemini 2.5 Pro: 原生支持小时级视频理解
- Qwen2.5-VL: 超过 1 小时视频理解
- LLaVA-Video: 开源视频对话模型
- GPT-5.4: 实时视频流理解 + 工具调用

核心能力：
- 多图像比较：找出两张图的异同
- 跨图推理：基于多张图进行逻辑推理
- 相册理解：分析图片之间的关系和故事线

技术实现：
1. 图像拼接：将多图拼接为网格（简单但有效）
2. 独立编码：每张图独立提取特征后交互
3. 交叉注意力：图间信息交互（计算量大但效果好）
4. 序列建模：多图作为有序序列处理

应用场景：
- 医疗影像对比（CT/MRI 序列对比分析）
- 卫星图时序分析（变化检测）
- 漫画/表情包理解（多图叙事）
- 图表跨年份对比（趋势分析）

方向 1：模型压缩
  - 知识蒸馏（大 VLM → 小 VLM）
  - 量化（INT8/INT4 推理）
  - 剪枝（结构化/非结构化剪枝）

方向 2：高效架构
  - 稀疏注意力（减少视觉 Token 数量）
  - 状态空间模型（Mamba 替代 Transformer）
  - 混合专家（MoE，只激活部分参数）
  - Token 压缩（PruMerge, ToMe 等方法）

方向 3：端侧部署
  - 移动端优化（Qwen2.5-VL-3B 可在手机运行）
  - NPU 加速（利用手机端 AI 芯片）
  - 模型量化 + 编译优化

愿景：构建能够理解和预测物理世界的模型

核心能力：
- 理解物理规律（重力、碰撞、遮挡）
- 预测未来状态（视频预测、场景推演）
- 支持规划和决策（具身智能）

技术路线：
- 视频生成模型（Sora, Genie, VideoPoet）
- 3D 场景理解（NeRF, 3D Gaussian Splatting）
- 具身智能（VLA 模型 + 世界模型）
- 仿真环境（Isaac Sim, Habitat）

2025-2026 进展：
- 视频生成质量大幅提升（Sora, Kling, Gen-3）
- 世界模型开始用于机器人训练（减少真实世界数据需求）
- 3D 理解与生成融合（LRM, InstantMesh）

答：
CLIP 的对比学习有效的原因：
1. 大规模数据（4 亿图文对）提供了丰富的负样本
2. InfoNCE 损失天然支持多分类对比
3. 双编码器结构使推理高效（预计算特征）

温度参数 τ 的作用：
- τ 控制 softmax 分布的尖锐程度
- τ 小：更关注 hard negative，但训练不稳定
- τ 大：训练稳定，但区分度降低
- CLIP 将 τ 设为可学习参数，自动寻找最优值

答：
两阶段训练有效的原因：
1. 阶段 1（特征对齐）：让视觉特征适配 LLM 输入空间
   - 只训练投影层，成本低（~1 小时）
   - 相当于教 LLM "看懂"图像

2. 阶段 2（指令微调）：教会模型遵循指令
   - 训练投影层 + LLM，提升对话能力
   - 相当于教模型 "回答问题"

不能跳过第一阶段：
- 直接训练会导致视觉特征和语言空间不匹配
- LLM 无法理解输入的视觉 Token
- 训练不稳定，容易发散

答：
核心区别：
- VLM 输出文本，VLA 输出动作指令
- VLM 是开环（一次性输出），VLA 是闭环（观测→决策→执行→反馈）
- VLA 需要实时性（毫秒级控制），VLM 通常秒级响应

VLA 的独特挑战：
1. 数据稀缺：机器人轨迹数据远少于图文对
2. 安全性：错误动作可能导致物理损坏
3. 实时性：需要毫秒级推理延迟
4. 泛化性：从训练环境迁移到新环境困难
5. 多任务：同一模型需处理不同机器人和任务

答：
多模态幻觉的主要类型：
1. 描述了图像中不存在的物体
2. 错误描述了物体的属性（颜色、数量、位置）

评估方法：
1. CHAIR (Caption Hallucination Assessment for Image Description)
   - 计算描述中包含的幻觉物体比例
2. POPE (Polling-based Object Probing Evaluation)
   - 询问模型图像中是否存在特定物体
3. LLaVA-Bench / MMHal-Bench
   - 专门的多模态幻觉评测基准

缓解方法：
- 使用更精确的指令微调数据
- 引入对象级别的监督信号
- 后处理验证（用检测器验证描述中的物体）