当前位置： 首页 > article >正文 大模型LLM 在线量化；GPTQ\AWQ量化 article 2025/1/30 16:31:08 1、大模型LLM 在线量化 参考：https://www.cnblogs.com/bruceleely/p/17348782.html ##8bit model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).quantize(8).half( 查看全文 http://www.kler.cn/a/133410.html 相关文章： Deepseek技术浅析（一） 代码随想录算法训练营第三十八天-动态规划-完全背包-279.完全平方数 能说说MyBatis的工作原理吗？ AndroidCompose Navigation导航精通2-过渡动画与路由切换 群晖docker获取私有化镜像http: server gave HTTP response to HTTPS client]. 【Leetcode 每日一题】119. 杨辉三角 II 记录将excel表无变形的弄进word里面来 【Oracle 客户端连接数据库过程解析】 云计算和跨境电商：数字化未来的基石 科研小白成长记37——换档 使用Pandas进行时间重采样，充分挖掘数据价值 详细步骤记录：持续集成Jenkins自动化部署一个Maven项目 gittee启动器 【网络奇遇记】那年我与计算机网络的浅相知 数据结构及八种常用数据结构简介 公共字段自动填充-@TableField的fill实现（2） Qt/C++ 获取QProcess启动的第三方软件的窗体标题 「Verilog学习笔记」根据状态转移表实现时序电路 Linux_安装docker TS的函数如何定义类型 【手写数据库toadb】SQL解析器的实现架构，create table/insert 多values语句的解析树生成流程和输出结构分析 如何将vscode和Linux远程链接： 节点导纳矩阵 redis命令记录 【cpolar】Ubuntu本地快速搭建web小游戏网站，公网用户远程访问 【开源】基于JAVA的大学兼职教师管理系统
1、大模型LLM 在线量化 参考：https://www.cnblogs.com/bruceleely/p/17348782.html ##8bit model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).quantize(8).half( 查看全文 http://www.kler.cn/a/133410.html 相关文章： Deepseek技术浅析（一） 代码随想录算法训练营第三十八天-动态规划-完全背包-279.完全平方数 能说说MyBatis的工作原理吗？ AndroidCompose Navigation导航精通2-过渡动画与路由切换 群晖docker获取私有化镜像http: server gave HTTP response to HTTPS client]. 【Leetcode 每日一题】119. 杨辉三角 II 记录将excel表无变形的弄进word里面来 【Oracle 客户端连接数据库过程解析】 云计算和跨境电商：数字化未来的基石 科研小白成长记37——换档 使用Pandas进行时间重采样，充分挖掘数据价值 详细步骤记录：持续集成Jenkins自动化部署一个Maven项目 gittee启动器 【网络奇遇记】那年我与计算机网络的浅相知 数据结构及八种常用数据结构简介 公共字段自动填充-@TableField的fill实现（2） Qt/C++ 获取QProcess启动的第三方软件的窗体标题 「Verilog学习笔记」根据状态转移表实现时序电路 Linux_安装docker TS的函数如何定义类型 【手写数据库toadb】SQL解析器的实现架构，create table/insert 多values语句的解析树生成流程和输出结构分析 如何将vscode和Linux远程链接： 节点导纳矩阵 redis命令记录 【cpolar】Ubuntu本地快速搭建web小游戏网站，公网用户远程访问 【开源】基于JAVA的大学兼职教师管理系统
