大模型微调实测报告：数据顺序、教师模型重要吗？

图片

本期，中电达通数据科学事业部围绕Qwen2.5-1.5B-instruct 模型展开了一场有趣的微调测试：

✅ 不同数据生成方式对训练效果有没有差异？

✅ 教师模型水平对结果影响大不大？

✅ 外部策略如何影响模型泛化能力？

数据来源：教育行业教材 + 顶级大模型出题

我们选用了教育行业教材作为基础内容，由六大教师模型生成100轮问答：

  • GPT-4.1

  • DeepSeek-V3

  • Qwen-max-latest

  • Doubao 1.5pro / thinking

  • DeepSeek-R1

团队成员包括：资深AI工程师一组、高质量数据标注一组（建立问题数据集和回答数据集）。三个测试小组对大模型进行相似度进行人工打分。

训练环境配置

PyTorch 2.5.1、Python 3.12在Ubuntu 22.04系统上，CUDA：12.4，GPU：RTX 4090 24GB单卡，CPU：Intel Xeon Platinum 8358P，16vCPU，内存120GB，系统盘30GB和数据盘70GB。

数据评估：六大模型谁更稳？

路智深AI正式接入最新GPT-4.1系列模型，引领智能应用全面进阶：

一致性评估测试：

  • GPT-4.1 平均生成 85.2 题

  • DeepSeek-V3 平均生成 84 题

→ 问题数量波动很小，说明生成稳定性优秀。

利用GPT-4.1、DeepSeek-V3生成问题的平均值分别为85.2、84。

人工评价结果也很亮眼：

结论：微调训练只改数据，不动模型参数

使用六组问答数据分别对 Qwen2.5-1.5B-instruct 进行微调，并观察结果变化。

训练结果核心发现：

  • 训练后的模型输出与数据相似度普遍 > 0.995

  • 训练步数、数据顺序、教师模型差异 → 几乎没影响

  • 相似度差异最大仅 0.003

整体来看，模型最终性能主要由自身参数决定，外部因素如数据顺序和教师模型类型对效果影响很小，说明该模型具备较强的稳定性和泛化能力。

非常感谢关注本次微调实测报告，本文由中电达通数据科学事业部出品。我们将持续探索更多大模型微调实战场景，包括低空安全、教育、政务、医疗、金融等多个行业应用，敬请期待！