动态量化与混合精度推理——延迟与吞吐的最优平衡策略

一、量化决策的两难：一刀切方案为什么在生产中翻车

模型量化是把 FP32 或 FP16 的模型权重转换到更低精度（INT8、INT4、甚至 INT2）表示的过程。从理论上讲，量化能在几乎不损失精度的前提下将模型大小缩减为原来的 1/4 到 1/8，推理速度提升 2~4 倍。但在生产系统中，"一刀切"的量化策略往往以失败告终。

原因在于不同层的权重分布、激活值范围和对精度损失的敏感度差异巨大。以典型的 Transformer 架构为例：Feed-Forward Network 的权重分布集中在 -0.1 到 0.1 之间，量化到 INT8 几乎没有信息丢失；而 attention 层的 Q/K/V 投影矩阵的权重分布具有长尾特征，少数权重值远离均值 3~5 个标准差，量化后这些关键权重被截断，导致 attention scores 的分布偏移，最终表现为模型输出质量的可感知下降。

本文探讨如何通过动态量化和混合精度策略，在保持推理质量的前提下最大化压缩收益。

二、混合精度推理的架构：不是所有层都必须降级

graph TB
    A[原始 FP16 模型] --> B{每层敏感度分析}
    B -->|Hessian 谱分析| C[Attention 层<br/>高敏感度]
    B -->|Hessian 谱分析| D[FFN 层<br/>中等敏感度]
    B -->|Hessian 谱分析| E[Embedding 层<br/>低敏感度]
    B -->|Hessian 谱分析| F[LM Head<br/>中等敏感度]
    
    C -->|保持| C1[FP16 精度<br/>确保 Attention 质量]
    D -->|量化| D1[INT4 量化<br/>最大压缩率]
    E -->|量化| E1[INT8 量化<br/>精度与压缩平衡]
    F -->|量化| F1[INT8 量化<br/>保持输出分布]
    
    C1 --> G[混合精度推理引擎]
    D1 --> G
    E1 --> G
    F1 --> G
    
    G --> H{运行时动态反量化}
    H --> I[INT4→FP16 动态转换]
    H --> J[INT8→FP16 动态转换]
    
    I --> K[FP16 计算核心]
    J --> K
    C1 --> K
    
    style C fill:#ffcdd2
    style D fill:#fff3e0
    style E fill:#c8e6c9
    style F fill:#fff3e0
    style G fill:#e1f5fe

2.1 敏感度分析：量化前的必经步骤

在决定每层的量化位宽之前，必须对模型进行敏感度分析。常用的两种方法：

Hessian 矩阵迹分析：观察每层权重矩阵的 Hessian 矩阵特征值分布。特征值越分散（条件数越高），说明该层对权重扰动越敏感。实验数据表明，BERT-Large 的中间层 FFN 权重矩阵的条件数约为 120 200，适合 INT4 量化；而 attention 的 Q/K/V 矩阵条件数高达 8001500，需要保留至少 FP16。

逐层精度评估：逐层进行量化→推理→精度评估，测量每层量化后的困惑度（perplexity）下降。如果某层量化导致困惑度上升超过 3%，则不适合该位宽。在一个 Llama-7B 模型的评估中，前 4 层和最后 2 层的 FFN 可以安全量化到 INT4，但中间 24 层中约有 6 层的 FFN 在 INT4 下困惑度上升 5%~8%，需要降回 INT8。

2.2 动态量化：运行时根据输入数据自适应调整

传统的静态量化在模型加载时确定量化参数（scale 和 zero point），运行时不再改变。这种做法在激活值分布稳定的场景中工作良好，但在输入数据变化剧烈时会导致较大的量化误差。

动态量化在每次前向传播时，根据当前 batch 的激活值范围动态计算 scale 和 zero point。额外开销约为总推理时间的 0.5%~1%，但能将激活量化误差降低 30%~50%。

三、GPTQ 与 AWQ 的生产调优对比

3.1 GPTQ——逐列贪心量化

# GPTQ 量化的核心思想：逐列量化权重矩阵，每量化一列后
# 用 Hessian 信息更新剩余未量化列的权重，补偿量化误差
# 这是一种贪心算法，时间复杂度 O(d_col * d_row^2)，
# 适合离线一次性完成，不适合在线调整

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

# 加载并量化 Llama-3-8B 模型到 INT4
# 注意：GPTQ 需要标定数据（calibration data）来估计 Hessian 矩阵
# 标定数据的质量直接影响量化效果——需要与推理数据同分布
model = AutoModelForCausalLM.from_pretrained(
    "meta-llama/Llama-3-8B-Instruct",
    torch_dtype=torch.float16,
    device_map="auto",
)

# GPTQ 量化——group_size 控制量化粒度
# group_size=128 表示每 128 个权重共享一个 scale 值
# 较小的 group_size → 更好精度 → 更多元数据 → 更大内存占用
from auto_gptq import AutoGPTQForCausalLM, BaseQuantizeConfig

quantize_config = BaseQuantizeConfig(
    bits=4,  # INT4 量化，每权重占用 4 bits
    group_size=128,  # 128 列一组，共享量化参数
    # desc_act=True 表示按激活值从大到小排序后再量化
    # 这会让大激活值对应的权重列先被量化并优先补偿
    # 代价是推理时 GPU kernel 需要处理非连续内存访问
    desc_act=False,  # 生产环境建议 False（False → 连续内存访问更高效）
)

model_quantized = AutoGPTQForCausalLM.from_pretrained(
    model,
    quantize_config=quantize_config,
)

# 保存量化后的模型供后续直接加载
model_quantized.save_quantized("./llama-3-8b-gptq-int4")

3.2 AWQ——基于激活感知的权重舍入

与 GPTQ 不同，AWQ 不做逐列贪心量化补偿，而是识别出对激活值影响最大的 1% 权重通道，在量化前对这些通道乘以一个放大因子（scale），量化后再除以对应因子。这种做法的计算成本远低于 GPTQ，且不需要 Hessian 矩阵估计。

实测对比：在 Llama-2-70B 模型上，AWQ INT4 的困惑度劣化约 0.3（从 3.12 到 3.42），而 GPTQ INT4 约 0.15。但 AWQ 的量化速度是 GPTQ 的 30 倍（20 分钟 vs 10 小时），且不需要显式的标定数据集。

四、量化方案的矩阵式决策框架

不同场景的选型路径

混合精度量化的"踩坑"记录

1. LM Head 层不可量化到 INT4：输出层的词表投影矩阵（vocab_size × hidden_dim）是产生最终 token 概率分布的关键。量化到 INT4 后 softmax 分布的 argmax 可能产生偏移，造成 token 预测错误。建议保留 FP16 或最低 INT8。

2. Embedding 层量化到 INT8 需要重新校准：词嵌入矩阵量化后与后续层的交互行为会改变。量化后建议用少量数据（1000 5000 条）进行 12 个 epoch 的微调，使模型适应量化后的嵌入分布。

3. KV Cache 不应参与权重量化：KV Cache 是在推理时动态生成的，与模型权重是两套存储。KV Cache 的压缩应使用 KIVI、CacheGen 等专门方案，与权重量化分开评估。

五、总结

混合精度量化的核心思路是"好钢用在刀刃上"：对精度敏感的层保留高精度，对鲁棒的层大胆压缩。这一策略的实现前提是对模型每层的敏感度有清晰的量化认知——没有数据支撑的"直觉"是不可靠的。

推荐的实践路径：(1) 使用 SensitiveLayerProbe 等工具跑一遍逐层敏感度分析，耗时约 1~2 小时但一劳永逸；(2) 优先尝试 AWQ——量化速度快、内存开销小、与 vLLM 等推理引擎的兼容性最好；(3) 如果 AWQ 精度不满足要求，再投入 GPTQ——用时间换精度；(4) 建立量化的 CI 评估流水线，每次模型升级后自动重跑量化并对比 benchmark 结果，防止量化方案的"静默退化"。