---

一、评估思路

评估一个微调后的模型，是微调流程中最容易被低估、但极其关键的一步。

核心问题是：怎么知道微调是真的有效，而不是过拟合、记忆或评估幻觉？

评估需要覆盖多个维度：

• 任务效果：在目标任务上是否真的变好；
• 通用能力：是否发生灾难性遗忘；
• 泛化能力：在未见数据上是否同样好；
• 鲁棒性：对扰动、对抗、分布外输入是否稳定；
• 安全性：是否产生有害、偏见、违规内容；
• 效率：推理速度、显存、成本是否可接受。

一句话总结：评估不是看 loss，而是看模型在真实场景下是否真的更好，并且没有变坏。

---

二、除了 loss 和 perplexity，还有哪些指标

1、任务特定指标

针对具体任务：

• 分类：准确率、F1、AUC、召回率；
• 生成：BLEU、ROUGE、METEOR、BERTScore；
• 问答：EM（精确匹配）、F1；
• 摘要：ROUGE、事实一致性；
• 代码：pass@k、编译通过率、单元测试通过率；
• 数学：准确率、步骤正确性；
• 检索：Recall@k、MRR、NDCG。

2、指令跟随指标

• 指令遵循率：是否按指令格式输出；
• 约束满足率：是否满足长度、格式、关键词等约束；
• MT-Bench：多轮对话质量，用强模型打分；
• AlpacaEval：指令跟随胜率；
• IFEval：指令遵循的细粒度评估。

3、通用能力指标

• MMLU：多任务知识；
• C-Eval：中文知识；
• GSM8K：数学推理；
• HellaSwag：常识推理；
• ARC：科学推理；
• TruthfulQA：真实性；
• 多语言：MGSM、XLSum。

4、人类评估

• ** pairwise 比较**：A 和 B 哪个好；
• Likert 量表：1–5 分打分；
• 人工评分维度：有用性、准确性、流畅性、安全性、完整性；
• A/B 测试：线上对比。

5、模型评估

• LLM-as-a-Judge：用强模型打分；
• GPT-4 评估：常见做法；
• 奖励模型打分：用 RM 评估；
• 多模型投票：减少偏差。

6、安全和鲁棒性指标

• 有害输出率：违规内容比例；
• 偏见指标：性别、种族、地域偏见；
• 越狱成功率：对抗 prompt 下的表现；
• 分布外性能：OOD 数据上的表现；
• 扰动鲁棒性：输入扰动下的稳定性。

7、效率和成本指标

• 推理延迟：首 token 延迟、每 token 延迟；
• 吞吐：tokens/s；
• 显存占用；
• 成本：每千 token 成本；
• 模型大小。

8、指标汇总表

维度	指标
任务特定	准确率、F1、BLEU、ROUGE、pass@k
指令跟随	遵循率、MT-Bench、AlpacaEval、IFEval
通用能力	MMLU、C-Eval、GSM8K、HellaSwag
人类评估	pairwise、Likert、A/B
模型评估	LLM-as-a-Judge、RM 打分
安全鲁棒	有害率、偏见、越狱、OOD
效率成本	延迟、吞吐、显存、成本

---

三、如何判断模型是真正学会了任务，还是只是记住了训练数据

这是评估中最核心的问题。

1、划分独立测试集

最基本的方法：

• 训练集、验证集、测试集严格分离；
• 测试集不能出现在训练数据中；
• 检查数据泄露。

如果测试集和训练集有重叠：

• 评估结果虚高；
• 无法判断泛化。

2、检查数据泄露

• 用 n-gram 重叠检测；
• 用 embedding 相似度；
• 检查 prompt 和回答是否在训练集中；
• 检查测试集是否来自同一来源。

3、分布外测试

• 在训练分布之外的数据上测试；
• 换领域、换任务、换语言；
• 换 prompt 风格；
• 换难度。

如果模型只在同分布上好，说明可能记忆。

4、扰动测试

• 改变 prompt 措辞；
• 改变顺序；
• 加入无关信息；
• 改变格式。

如果模型对扰动敏感，说明没真正学会。

5、组合泛化测试

• 训练中见过的元素，新组合；
• 新任务组合；
• 新指令组合。

真正学会的模型能组合泛化。

6、反事实测试

• 改变关键条件；
• 看模型是否能正确推理；
• 如果模型只是记忆，会输出训练中的答案。

7、少样本和零样本测试

• 在没见过的任务上测试；
• 看模型是否能泛化；
• 记忆型模型表现差。

8、检查输出多样性

• 同一 prompt 多次采样；
• 记忆型模型输出高度相似；
• 真正学会的模型输出多样但合理。

9、检查对指令的敏感性

• 改变指令，看输出是否相应改变；
• 记忆型模型可能忽略指令；
• 真正学会的模型会响应指令。

10、错误分析

• 分析错误类型；
• 如果错误集中在训练数据没覆盖的地方，说明泛化；
• 如果错误集中在训练数据覆盖的地方，说明记忆不牢或过拟合。

11、训练数据消融

• 移除部分训练数据；
• 看模型是否还能完成任务；
• 如果性能大幅下降，说明依赖特定数据。

12、检查 loss 曲线

• 训练 loss 持续下降，验证 loss 上升：过拟合；
• 两者都下降：正常；
• 验证 loss 远高于训练 loss：泛化差。

---

四、评估流程建议

1、建立评估集

• 任务测试集；
• 通用能力测试集；
• 安全测试集；
• 鲁棒性测试集。

2、自动化评估

• 任务指标；
• 通用 benchmark；
• LLM-as-a-Judge；
• 定期跑，跟踪变化。

3、人工评估

• 抽样人工打分；
• pairwise 比较；
• 校准自动评估。

4、线上评估

• A/B 测试；
• 用户反馈；
• 业务指标。

5、持续监控

• 训练中评估；
• 发布后监控；
• 发现问题及时调整。

---

五、常见评估陷阱

1、数据泄露

• 测试集混入训练集；
• 评估虚高。

2、评估集偏差

• 评估集不能代表真实场景；
• 指标好看但实际差。

3、指标单一

• 只看一个指标；
• 忽略其他维度。

4、过拟合评估集

• 反复调参直到评估集好；
• 评估集失去意义。

5、LLM-as-a-Judge 偏差

• 偏好长回答；
• 偏好特定风格；
• 位置偏差。

6、忽视安全

• 只看效果；
• 忽略有害输出。

7、忽视效率

• 效果好了，但太慢太贵；
• 无法部署。

---

六、一个实际评估方案

1、任务效果

• 任务测试集：准确率、F1、BLEU；
• 人工评估：100–200 条抽样。

2、通用能力

• MMLU、C-Eval、GSM8K；
• 和基座对比，看下降幅度。

3、指令跟随

• IFEval；
• MT-Bench；
• 自定义指令测试集。

4、泛化

• OOD 测试集；
• 扰动测试；
• 组合泛化。

5、安全

• 有害输出检测；
• 越狱测试；
• 偏见测试。

6、效率

• 延迟、吞吐、显存、成本。

7、对比

• 基座 vs SFT vs DPO；
• 不同 LoRA 配置；
• 不同数据配比。

---

七、简单评价这道面试题

1、这道题的价值

• 这是大模型微调中非常实战的一道题；
• 一道题能考察评估指标、泛化判断、数据泄露和评估陷阱；
• 区分度好，初级可能只知道 loss 和准确率，中级能说清多维度评估，高级能系统设计评估方案并判断记忆 vs 泛化；
• 贴近实战，微调后必须评估。

2、这道题的不足

• 题目偏综合，如果没有实际评估经验，容易答得空泛；
• 没有涉及具体 benchmark 的细节；
• 对 LLM-as-a-Judge 的偏差考察不够；
• 没有涉及评估和训练的迭代关系。

3、建议的追问方向

• 怎么检测数据泄露？
• LLM-as-a-Judge 有哪些偏差？怎么缓解？
• 怎么判断模型是记忆还是泛化？
• 评估集怎么构建？
• 通用能力下降多少算严重？
• 怎么评估安全性？

4、总体评价

这是一道很好的大模型微调评估面试题，适合考察候选人对评估体系和泛化判断的理解。它既能考察多种评估指标，也能延伸到数据泄露、分布外测试和记忆 vs 泛化的判断。如果候选人能把任务、通用、泛化、安全、效率多个维度都讲清楚，并能给出系统的评估方案和记忆判断方法，基本可以判断其具备大模型微调评估的扎实基础。

---

---