当前位置: 首页 > article >正文

AI软件栈:推理框架(二)-Llama CPP1

Llama CPP的主要构造,GGUF和GGML为两个主要部分,包括模型描述文件和模型参数存储文件

文章目录

  • GGUF
  • 构建图
  • 读取权重

GGUF

  • llama.cpp 的作者 Georgi Gerganov 提出的新一代大模型描述文件 GPT-Generated Unified Format,继承自GGML,但是克服了GGML的一些缺点
    • 例如,缺少版本信息难以向后兼容;信息增加或者修改不变,手动修改模型信息不方便等;

构建图

  • 通过llma_bulid_graph在不同的基础模型之上进行参数设计(例如 llama、baichuan、MINICPM 、GEMMA、STARCODER、BERT、QW、QW2等,甚至还有MEMBA)
  • 在每个类GPT之中,通过基函数描述了计算流,同时通过暴露层数、token维度等参数作为可调模型

读取权重

  • 设计了基于分块的tensor组装,同时使用描述文件将对每个tensor及其size进行区分

http://www.kler.cn/a/589301.html

相关文章:

  • Qt 窗口以及菜单栏介绍
  • embedding技术
  • Cascadeur 技术浅析(五):碰撞避免算法
  • 【python web】一文掌握 Flask 的基础用法
  • 黑龙江有多线IDC服务器托管机房吗?
  • 输入:0.5元/百万tokens(缓存命中)或2元(未命中) 输出:8元/百万tokens
  • vulhub/log4j2漏洞靶场----反弹shell
  • 【图片批量转换合并PDF】多个文件夹的图片以文件夹为单位批量合并成一个PDF,基于wpf的实现方案
  • Python爬虫:playwright的使用
  • python爬虫笔记(一)
  • 【MATLAB例程】AOA(到达角度)法,多个目标定位算法,三维空间、锚点数量自适应(附完整代码)
  • 01-1 音视频知识学习(音频)
  • QT入门笔记2
  • MySQL的基本使用
  • vue 识别word表格中的图片
  • 纳米压印原理,仪器以及在AR眼镜中的应用
  • 鸿蒙的 Stage 模型
  • Spring(5)——IoC DI
  • 学习路之TP6 --重写vendor目录下的文件(服务覆盖command---优点:命令前后一致)
  • PentestGPT 下载