全国科学技术名词审定委员会推荐的 AI 领域标准中文术语
词元是什么？常说的token；常用于AI大模型；
全国科学技术名词审定委员会推荐的 AI 领域标准中文术语，用来翻译英文 token
词元 ≠ 汉字、≠词语。
一个词元可以是：汉字、词语、偏旁片段、英文单词、词根词缀、标点、数字符号等，由模型分词器决定怎么切分
词元的作用：
1.计算单元：模型的神经网络只对词元序列做预测，不是直接读人类文字
2.长度设置：上下文窗口，就是最多能容纳多少个词元；输入 + 输出词元不能超限
3.计费单位：大模型 API 大多按消耗的词元数量收费（提问输入词元 + AI 回答输出词元）
大模型处理文本的最小离散符号单元，文本先被分词器切分成词元，再转为数字 ID 送入模型运算；输出时再把词元还原成文字
