模型架构Transformer、注意力与混合专家等模型结构

上下文学习

不更新权重,仅通过提示中的示例让模型学会新任务。

上下文学习是少样本能力的理论解释:模型在预训练中见过大量「示例-任务」模式,推理时把提示中的示例当作参考完成同类任务。它也是提示工程有效的根本原因。

相关术语