基础概念理解 AI 与大模型必备的基础术语
Token(词元)
模型处理文本的最小单位,可能是单词、子词或字符。
Token 是模型计费与上下文计量的基础单位:输入输出按 Token 数计费,上下文窗口容量也以 Token 衡量。中文在多数分词器下约 1 字对应 1~2 个 Token,英文约 1 词对应 1~2 个,实际以各模型为准。
模型处理文本的最小单位,可能是单词、子词或字符。
Token 是模型计费与上下文计量的基础单位:输入输出按 Token 数计费,上下文窗口容量也以 Token 衡量。中文在多数分词器下约 1 字对应 1~2 个 Token,英文约 1 词对应 1~2 个,实际以各模型为准。