多模态与扩散：文本、图像和声音的不同生成路线

多模态不只是把图片贴在聊天里

纸桥故事馆希望上传一张虚构纸船画，让系统描述颜色，再为故事生成一张配图。多模态指模型或系统能够处理多种信息形式，例如文字、图像、声音或视频；能看图不等于能生成图，能转写声音不等于能识别所有声音事件。不同能力可能由一个模型提供，也可能由多个组件协作。应先明确输入与输出：描述图片属于理解任务，生成配图属于生成任务，不因都发生在聊天界面就具有相同机制或可靠性。

跨模态表示怎样建立联系

图像可以被编码为局部图块或其他数值表示，声音可以表示为特征序列，再与文本表示建立可学习联系。训练可能利用图文配对、对比目标或其他任务，使相关内容在表示空间中形成可用对应。这个对齐不保证图片每个细节都被正确读取，尤其小字、数量、空间关系和模糊区域仍需核查。模型说看到了三只纸鸟，不等于精确计数证据；图文相似度也不是图片真实或描述完全准确的证明。

扩散模型的去噪直觉

一种常见图像生成路线是扩散模型。训练时把清晰样本逐渐加噪，让模型学习在给定噪声程度与条件下估计如何减少噪声；生成时从随机噪声开始，多步调整，逐渐形成符合条件的内容。文本提示可以作为生成条件引导过程，不是去数据库取一张现成匹配图片。某些模型在压缩后的潜在表示中去噪，再解码成图像，这叫潜在扩散。不同实现预测的量可能不同，所以去噪是帮助理解的总直觉，而非每个模型都一模一样的公式。

其他路线与常见误解

生成图像还可以使用自回归等方式，生成声音或视频也有不同结构，不能把所有生成式人工智能都叫扩散。提示写红色纸船旁有两只蓝鸟，不保证数量与相对位置完全遵守；视觉好看也不证明信息准确。随机种子在固定模型与配置下有助于复现生成过程，但跨版本不保证同图。生成结果可能反映训练材料偏差或与已有作品相似，使用时要查模型和素材许可，不把技术上的生成当成自动获得全部使用权。

为故事馆建立人工复核

工坊先把配图规格写成主题、对象、数量、颜色和不包含内容，生成后逐项检查；图中文字如需精确，可由后续设计流程添加并复查，而不是期待一次生成完全正确。描述输入图片时应区分可直接观察、合理猜测和无法判断，不能推断画外事实。教学练习只写提示与验收表，不在本页实际生成媒体。多模态扩展了输入输出方式，但依然需要证据、范围与人工核对，生成图尤其不能被当作真实事件的照片证据。