训练方法预训练、微调与对齐技术

训练数据

用于训练模型的海量文本、图像等语料。

训练数据的规模与质量直接决定模型能力:知识截止由数据日期决定,偏见与版权问题也源于数据。当前头部模型训练语料已达数十万亿 Token 级。

相关术语