问题1：为什么我们需要对大模型进行压缩？仅仅是为了减少存储空间吗？
回答要点：
存储空间：确实是原因之一，动辄上百GB的模型文件不利于分发和部署。
推理速度/延迟：这是最关键的原因之一。参数越多，计算量越大，响应时间越长，无法满足高并发或实时性要求（如对话、翻译）。
内存占用：模型权重和中间激活值都需要加载到内存（通常是GPU显存）中。大模型会耗尽硬件资源，导致无法运行。
功耗与成本：巨大的计算量带来高额的电力成本和云计算成本。
部署环境：让大模型能够运行在资源受限的边缘设备（如手机、嵌入式设备）上。
问题2：请解释一下计算量（FLOPs）和参数量（Parameters）的区别，并说明哪个更能直接反映推理速度？
回答要点：
参数量：模型中所有需要学习的权重和偏置的总数。它主要决定了模型的大小和内存占用。
计算量：完成一次前向传播所需的浮点运算次数。它衡量的是计算复杂度。
与推理速度的关系：计算量是更相关的指标，但不是唯一决定因素。推理速度还受到：
内存带宽：如果模型参数量巨大，从内存中加载权重的时间可能成为瓶颈（即“内存墙”问题）。
硬件并行度：GPU/TPU等硬件对密集矩阵运算（如大卷积）的优化程度远高于稀疏或不规则运算。
软件和框架优化：算子融合、内核优化等。
结论：一个计算量低但参数量大的模型，其推理速度可能反而不如一个计算量稍高但参数更少的模型