基础概念理解 AI 与大模型必备的基础术语

Token(词元)

模型处理文本的最小单位,可能是单词、子词或字符。

Token 是模型计费与上下文计量的基础单位:输入输出按 Token 数计费,上下文窗口容量也以 Token 衡量。中文在多数分词器下约 1 字对应 1~2 个 Token,英文约 1 词对应 1~2 个,实际以各模型为准。

相关术语