E1第 1 / 6 节 · 约 35 分钟

输入如何进入模型:词元、上下文与嵌入

本节目标
  • 准确解释Token不等于汉字
  • 区分当前上下文、数字表示与永久记忆

先拆开看似连续的文字

纸桥故事馆保存虚构故事设定,例如纸船喜欢雨后出发。语言模型通常不会直接把整句话作为一个不可分割对象处理,而是先由分词器拆成词元,也叫Token。词元可能对应一个字、几个字、部分单词、标点或其他符号,具体取决于分词器。不同模型对同一句中文可能得到不同数量,因此不能把一千Token简单说成一千汉字,也不能根据页面字符数精确推算所有模型的输入成本。

词元编号与嵌入各做什么

每个词元先对应词表里的编号,编号只是索引,数字较大不代表意义更强。嵌入把编号映射为一组可学习的数值,供后续网络计算。可以把它理解为表示空间中的坐标,但不是人人都能直接读懂的中文释义。相近表示可能反映训练中某些用法或语义关系,不能保证事实相同,更不能把两个向量接近当作完全同义。检索用的句子嵌入与生成模型内部的词元嵌入也不必是同一种表示或同一个模型。

上下文是当前可用材料

上下文包括一次推理中实际送给模型的指令、历史消息、资料和已经生成的部分内容。上下文窗口限制可处理的长度,计算通常按词元而非汉字计量。系统可能截断、摘要或筛选历史,但这些是应用的安排,不等于模型内部永远记住了对话。参数里学到的模式、当前输入材料和应用另存的记忆是不同层次。关闭窗口后是否保存历史取决于产品设计与设置,不能从模型能引用上一句推出它拥有永久个人记忆。

同一词在不同句子里会怎样

纸桥可以是一座故事里的桥,也可以指纸制桥梁模型。起初词元嵌入提供输入表示,经过多层上下文计算后,同一词元位置的表示会受周围内容影响。位置也重要:纸船追着纸鸟与纸鸟追着纸船包含相同对象,但关系不同。嵌入让数字计算成为可能,注意力等结构则在上下文中组合信息;不要把输入嵌入本身当作完整理解,也不要把长上下文理解成模型会平均认真使用每段材料。

实际使用时如何整理材料

工坊把任务说明、故事资料与输出要求分开,删去无关重复文本,保留来源标题和版本。若资料超过窗口,应选择相关片段或分步处理,而不是不断增加输入并假设永远有效。即使没超长度,远处材料也可能被忽略或混淆,需要检查关键条件是否被正确使用。练习先在纸上估计材料结构,不需要真实分词接口。核心是知道长度限制、语义表示和保存机制各不相同,为后续理解生成与检索打好基础。

本节要点

  • Token由分词器决定,不等于一个汉字
  • Embedding是可计算表示,不是事实正确性的证明
  • 上下文是当前输入范围,不等于永久记忆

动手练习:给一次故事问答整理上下文

  1. 写出任务说明、故事设定和输出格式三个区块,各一到两句
  2. 标出哪些属于当前输入材料,哪些只是你希望未来保存的笔记
  3. 说明为什么无法只凭这几句的汉字数精确给出所有模型的Token数量

自查清单

  • 区分任务、资料与输出要求
  • 明确保存记忆需要应用机制
  • 不把汉字数等同于固定Token数
先自己做,再查看参考答案

示例任务是只根据纸桥故事馆资料回答纸船何时出发;资料写故事版本一中纸船喜欢雨后出发,但未说明具体钟点;格式要求两句话,先给依据再注明未知。三个区块都可以进入当前上下文,用户想在下次对话继续使用的笔记则需要应用显式保存与重新提供,不能假设模型自行永久记住。汉字数无法精确推算词元数,因为分词器可能把若干字合成一个词元,也可能拆分符号与生僻字符,不同模型规则不同。答案示范应说雨后出发,具体时间资料未给出,不把嵌入相近的其他故事设定混入当前版本。

本节自测

学完了吗?

标记后会记录在本机浏览器,课程首页显示你的进度。