当前位置： 首页 > article >正文

[论文笔记] LLM端侧小模型篇——1、剪枝量化的latency

article 2024/11/15 0:41:02

接 LLM大模型剪枝篇，开启LLM端侧小模型篇的极致0成本部署之路～！！！！

剪枝效果

量化效果

推理框架

        MLC-LLM：编译器方式推理，跨平台可用推理框架

        https://huggingface.co/mlc-ai


http://www.kler.cn/a/311078.html

相关文章：

  • 【Linux】-学习笔记03
  • 《新智慧》期刊的征稿范围主要包括哪些方面？
  • 如何用C#和Aspose.PDF实现PDF转Word工具
  • 万字长文解读深度学习——ViT、ViLT、DiT
  • 《MYSQL45讲》kill不掉的线程
  • 【真题笔记】21年系统架构设计师案例理论点总结
  • MySQl篇（基本介绍）（持续更新迭代）
  • Leetcode—删除有序数组的重复项
  • 408算法题leetcode--第七天
  • Llama 3.1 大模型指令微调提升中文能力
  • 【系统架构设计师-2019年真题】案例分析-答案及详解
  • Scikit-learn 学习笔记
  • 尚品汇-秒杀商品存入缓存、Redis发布订阅实现状态位（五十一）
  • 全球首个！复旦大学冯建峰团队开发数字孪生脑平台，具备 860 亿神经元规模
  • 旷视轻量化网络shufflenet算法解读
  • MySQL——数据库的高级操作（二）用户管理（3）删除普通用户
  • 机器学习1--概述
  • Linux创建虚拟磁盘并分区格式化
  • 「Netmarble 小镇」活动来了：踏上穿越标志性世界的旅程！
  • OpenHarmony鸿蒙（ Beta5.0）智能门铃开发实践
  • Unity-Transform-坐标转换
  • k8s环境下的相关操作
  • （SERIES12）DM性能优化
  • Bandicam简体中文版下载与安装百度网盘资源
  • 多路径文件批量下载工具V1.0.3-支持批量下载文件到单独文件夹的工具-供大家学习研究参考
  • 攻防世界——simple_php（NO.GFSJ0485）