训练方法预训练、微调与对齐技术

微调

在预训练模型基础上用特定数据继续训练,适配专门任务。

微调可以调整模型的行为风格、领域知识与输出格式,比预训练成本低得多。全量微调更新所有参数,参数高效微调(LoRA 等)只更新少量适配器参数。

相关术语