知识点深化 · 多模态
多模态模型：CLIP 图文对齐与视觉语言模型 VLM
让模型从「只认字」变成「能看图」。多模态的核心难题是图文对齐：让一张图和它的文字描述在向量空间里靠在一起。这一页讲透 CLIP、视觉编码器和 VLM 三段结构，以及它擅长什么、不擅长什么。
① 小白第一课怎么学（4 步走，约 60 分钟）
让模型从"只认字"变成"能看图"：多模态就是把图片和文字翻译到同一个世界：
1建立直觉（10 分钟）
读②③：核心难题是"图文对齐"——让图片和它的描述在向量空间靠在一起。
2记结构（15 分钟）
读④：视觉编码器 + 对齐 + 语言模型（VLM）三段。
3跟例题（20 分钟）
精读⑤，看 CLIP 怎么做图文检索。
4刷题纠错（15 分钟）
做⑦⑩，错题回⑥。
本课小目标学完你要能：① 说清 CLIP 在做什么；② 解释 VLM 的三段结构；③ 区分视觉编码器和语言模型的分工。
② 一图看懂：多模态模型结构
读法：图片先被视觉编码成特征，通过对齐/连接层喂给语言模型，让它"看懂图"并回答。
③ 本质直觉：让图片和它的"文字描述"坐同一班飞机
纯语言模型只认文字。想让它看图，第一步是把图片也变成它能处理的向量/特征。
核心难题是对齐：一张"狗在草地上跑"的图，和它的文字描述，要在向量空间里离得很近；和"猫睡觉"离得远。
CLIP 的做法：用海量"图片+描述"对训练，让匹配的图文向量相似度高、不匹配的低。训完后，你用文字"找金毛犬"就能检索到对应图片——这就是图文跨模态检索。
VLM（视觉语言模型）：在 CLIP 这类对齐基础上，把图像特征接到大语言模型，让它直接看图回答问题（"这张图里几个人？"）。
对比学习的直觉CLIP 训练时把成对的图文拉近、不成对的推远，像"配对游戏"。训完文字就能当图片检索的钥匙。
④ 完整体系：VLM 三段结构与对照
| 组件 | 作用 | 类比 |
|---|
| 视觉编码器 ViT/CNN | 把图片压成特征向量 | 眼睛，负责"看" |
| 对齐/投影层 | 把图像特征映射到语言模型能吃的维度 | 视神经 |
| 大语言模型 | 根据图像特征+问题生成文字 | 大脑，负责"想和说" |
CLIP 能做什么 / 不能做什么
| 擅长 | 不擅长 |
|---|
| 图文跨模态检索、图像分类（零样本） | 精细计数、空间关系、读小字 |
| 判断图片大致主题 | 复杂视觉推理（需更强 VLM） |
视觉编码器常冻结很多 VLM 训练时冻结预训练视觉编码器，只训练投影层和微调语言模型，省算力又稳。
⑤ 用法场景与典型例题
例1（CLIP 检索）用户搜"日落海滩"，怎么找到相关图片？
文字和图片映射到同一空间。
① CLIP 把查询文字编码成向量。
② 图片库里每张图也预先编码成向量。
③ 算相似度取最相近的图。
答案：图文同一空间，文字直接检索图片。
例2（VLM 看图问答）用户上传一张报表问"销售额最高的是哪个月"，模型靠什么？
视觉编码器读图+语言模型推理。
① 视觉编码器读出图表特征。
② 连接层喂给语言模型。
③ 语言模型结合问题作答。
答案：VLM 把视觉理解和语言推理合一。
例3（对齐重要性）图片和描述配对错了会怎样？
对齐被污染。
① 模型学到错误的图文对应。
② 检索和问答都会出错。
答案：配对数据质量决定对齐质量。
零样本分类CLIP 可以不给训练样本，直接用类别名当文本提示，对图片分类——这是它出圈的能力。
⑥ 高频错误诊断（4 条）
错误 1：以为 VLM 能精确读数/计数它对小字、精细数字、复杂空间关系仍易错，不能盲信。
错误 2：把 CLIP 当万能问答模型CLIP 主要做对齐和检索/零样本分类，深度问答要 VLM。
错误 3：忽视图像分辨率低分辨率图细节丢失，文字/图表任务要喂足够清晰的图。
错误 4：图文配对脏数据错配会直接破坏对齐效果，清洗配对数据很关键。
⑦ 考点真题演练（4 题）
考点分布
| 考法 | 出题形式 | 应对 |
|---|
| CLIP 作用 | 问图文对齐/检索 | 把匹配图文向量拉近 |
| VLM 结构 | 问三段分工 | 编码器+连接+语言模型 |
| 能力边界 | 问它不擅长什么 | 精细计数/读小字 |
真题基础1. CLIP 这类模型核心解决的是？
真题中档2. VLM（视觉语言模型）通常由哪三部分组成？
真题中档3. 用文字"金毛犬"直接检索相关图片，靠的是？
真题拔高4. 关于 VLM 能力边界，正确的是？
⑧ 必背知识点卡
核心难题：图文对齐——匹配图文向量靠近 同一空间
CLIP：对比学习拉匹配图文，做图文检索/零样本分类 文字搜图
视觉编码器：ViT/CNN 把图片变特征 眼睛
连接层：图像特征映射到语言模型维度 视神经
VLM：图像特征+问题，语言模型看图作答 大脑
对比学习：拉近配对、推远不配对 配对游戏
边界：精细计数/读小字易错，配对数据要干净 别盲信
⑨ 应用输出：做一个"以文搜图"的图库
实战场景：用户用自然语言搜公司图库
① 建库：用 CLIP 视觉编码器把每张图预编码成向量入库。
② 查询：用户输入"去年团建的海边合影"，文本编码器把它也编码成向量。
③ 检索：算余弦相似度，返回最相近的几张图。
④ 问答增强：用户还想问"这张图里几个人"，交给 VLM 回答。
⑤ 验收：复杂图表/小字场景加 OCR 兜底，不盲信 VLM。
口述"图片先经视觉编码器变成特征，通过对齐喂给语言模型；CLIP 让图文在同一空间可比，所以能用文字搜图；精细任务要留个心眼。"
⑩ 分层练习 16 题（基础 6 + 中档 5 + 拔高 5）
▍基础 6 题
基础1多模态主要指模型能处理哪些模态？
文字+图片（还可扩展音频/视频）。
基础2CLIP 主要解决什么？
图文对齐，让匹配图文向量靠近。
基础3把图片变成特征向量的模块叫？
视觉编码器（ViT/CNN）。
基础4VLM 中负责"说话"的是？
大语言模型。
基础5用文字检索图片靠什么相似度？
图文向量在同一空间的相似度。
基础6CLIP 著名的零样本能力是？
不给样本、直接用类别名对图片分类。
▍中档 5 题
中档7对比学习在 CLIP 里做什么？
拉近图文对、推远不配对的图文。
中档8连接/投影层的作用？
把图像特征映射到语言模型能接受的维度。
中档9为什么视觉编码器常冻结？
预训练特征已很好，冻结省算力、更稳。
中档10图文配对数据错配会怎样？
对齐被污染，检索和问答都会出错。
中档11CLIP 和 VLM 的分工？
CLIP 偏对齐/检索；VLM 偏看图问答。
▍拔高 5 题
拔高12为什么 VLM 读小字仍不可靠？
视觉分辨率和下采样会丢失细节，微小文字特征弱。
拔高13图像 token 太多为什么要压缩？
图片 patch 转 token 后数量大，会撑爆语言模型上下文，需压缩/采样。
拔高14零样本图像分类怎么做？
把每个类别名编成文本向量，和图片向量比相似度，取最高类别。
拔高15图文跨模态检索和纯向量检索关系？
本质都是向量相似度，只是跨了图文两种模态。
拔高16为什么提高图像分辨率有帮助？
细节更清晰，对文字、图表、小物体识别更准。
⑪ 记忆口诀 + 7 天复习计划
三句口诀
① 多模态核心是图文对齐：匹配的图文向量靠在一起。
② CLIP 做对齐和图文检索，VLM 看图问答。
③ 视觉编码器是眼睛，语言模型是大脑，精细任务别盲信。
| 天 | 任务 | 自检 |
|---|
| 第 1 天 | 读②③④，画 VLM 三段图 | 说清各段分工 |
| 第 2 天 | 背知识点卡 + 基础 1-6 | 基础全对 |
| 第 3 天 | 做中档 7-11 | 懂对比学习 |
| 第 4 天 | 做拔高 12-16 | 懂能力边界 |
| 第 5 天 | 做⑦真题 4 题 | 限时每题 2 分钟 |
| 第 6-7 天 | 合上书口述三段结构 | 不看资料全说对 |
← 返回算法与AI总览