[论文笔记] LLM大模型剪枝篇——2、剪枝总体方案
https://github.com/sramshetty/ShortGPT/tree/main
My剪枝方案（暂定）：
剪枝目标：1.5B —> 100～600M
剪枝方法：
层粒度剪枝
1、基于BI分数选择P%的冗余层，P=60~80
2、对前N%冗余层，直接删除full layer。N=20（N：剪枝崩溃临界点，LLaMA2在45%，Mistral-7B在35%，Qwen在20%，Phi-2在25%）
对后(P-N)%冗余层，删除attention layer。
参考：