0. 资源链接
-
论文: FoldGPT: Simple and Effective Large Language Model Compression Scheme
-
项目: to be released.
1. 背景动机
现有的大语言模型推理存在以下问题：
-
LLM 模型因为有大量的参数，以及 next token 的预测方式，导致 LLM 模型推理慢，计算消耗大。
-
模型压缩，量化和蒸馏等技术用来加速 LLM 模型推理；以及目前有许多端侧 LLM 推理的需求对大模型推理时延很高，需要尽可能降低 LLM 的推理时延，目前的加速技术仍然存在挑战。
-
目前压缩模型技术主要分析，剪枝模型宽度存在的冗余性，但是模型的finetune 仍然需要消耗较多算力。
-
目前有一些工作如 ShortGPT 等工作发现 LLM 在深度存在冗余计算，在深度剪枝取得不错的效果。
2. 内容提要
-
本文分析了LLM blocks 输出的值的相似度，发现在深度维度上存在大量冗余。
-
本文提出一个叫做 FoldGPT 方法，主要由模块去除和模块共享技术。
-
本文设计一种可学习的重要度度量来对 LLM block 重要性排序，用于去除不重要模块。
-
本文通过大量实验验证了 FoldGPT 的有效性，在不少模型上取得 SOTA 压缩效果。
3. 技术细节
FoldGPT 包含4个主要部分：Redundancy analysis，Gated block removal，Grouped parameter sharing 和 Distillation fine-tuning。
3.1 Redundancy analysis
通过分析 block 输入输出的相似度，可以发现不同 model 都存在深度的冗余性。
3.2 Gated block removal
-
由于之前 ShortGPT BI score 方法忽略模块之间的影响，所以不能找到全局最优的模块去除策略。
-
本文通过引入学习的门控系数来学习模块之间去除影响重要性。
-
通过实验对比发现 FoldGPT 效果要远好于 ShortGPT BI score。
3.3 Grouped parameter sharing
-
通过 group方式，让group 内的block share weights，为了保持精度，增加少量可学习参数来微调模型。
3.4 Distillation fine-tuning
-
通过 Lora 微调提高精度。
4. 实验结果
-
FoldGPT 效果要好于 ShortGPT，同时通过 finetune 压缩效果会更好。
5. 一些思考
-
FoldGPT 针对 ShortGPT BI score 存在的问题，提出可学习的 Gated block score 来找出 less import blocks。
-
通过参数共享和微调的技术进一步提高模型推理速度。
