当前位置： 首页 > article >正文 大模型LLM 在线量化；GPTQ\AWQ量化及推理 article 2025/1/11 12:35:48 1、大模型LLM 在线量化 参考：https://www.cnblogs.com/bruceleely/p/17348782.html ##8bit model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).quantize(8).half( 查看全文 http://www.kler.cn/a/136551.html 相关文章： 前端用json-server来Mock后端返回的数据处理 springmvc前端传参，后端接收 Git最便捷的迁移方式 STM32+WIFI获取网络时间+8位数码管显示+0.96OLED显 MySQL insert or update方式性能比较 python常见绘图及代码 Windows 安装 Docker PostgreSQL数据库结合内网穿透实现公网远程连接 2023年中职“网络安全“—Linux系统渗透提权③ 如何快速将txt类型的日志文件转换为excel表格并进行数据分析报表统计图（如：饼图、折线图、柱状图）？ WPS或Excel查找A列中有B列没有的值 synchronized锁膨胀过程 第四代智能井盖传感器，实时守护井盖位安全 IF：9.0+期刊被踢除，11月SCI/SSCI期刊目录已更新！ 上下文切换 基于龙格-库塔算法优化概率神经网络PNN的分类预测 - 附代码 RESTful API 设计指南——为什么要用（上） Ubuntu——卸载、安装CUDA Linux编辑器-gcc/g++使用 C#的类型转换 代码随想录算法训练营第六十天 | LeetCode 84. 柱状图中最大的矩形 Android13 新增 Stable AIDL接口 海外服务器相较于国内服务器有何特点？亚马逊海外服务器为何零跑全球 电池管理系统设计与实现 uniapp小程序相关记录 React Native项目接入Sentry指南
1、大模型LLM 在线量化 参考：https://www.cnblogs.com/bruceleely/p/17348782.html ##8bit model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).quantize(8).half( 查看全文 http://www.kler.cn/a/136551.html 相关文章： 前端用json-server来Mock后端返回的数据处理 springmvc前端传参，后端接收 Git最便捷的迁移方式 STM32+WIFI获取网络时间+8位数码管显示+0.96OLED显 MySQL insert or update方式性能比较 python常见绘图及代码 Windows 安装 Docker PostgreSQL数据库结合内网穿透实现公网远程连接 2023年中职“网络安全“—Linux系统渗透提权③ 如何快速将txt类型的日志文件转换为excel表格并进行数据分析报表统计图（如：饼图、折线图、柱状图）？ WPS或Excel查找A列中有B列没有的值 synchronized锁膨胀过程 第四代智能井盖传感器，实时守护井盖位安全 IF：9.0+期刊被踢除，11月SCI/SSCI期刊目录已更新！ 上下文切换 基于龙格-库塔算法优化概率神经网络PNN的分类预测 - 附代码 RESTful API 设计指南——为什么要用（上） Ubuntu——卸载、安装CUDA Linux编辑器-gcc/g++使用 C#的类型转换 代码随想录算法训练营第六十天 | LeetCode 84. 柱状图中最大的矩形 Android13 新增 Stable AIDL接口 海外服务器相较于国内服务器有何特点？亚马逊海外服务器为何零跑全球 电池管理系统设计与实现 uniapp小程序相关记录 React Native项目接入Sentry指南
