当前位置: 首页 > article >正文

如何查看下载到本地的大模型的具体大小?占了多少存储空间:Llama-3.1-8B下载到本地大概15GB

这里介绍一下tree命令,可以方便的查看文件目录结构和文件大小。
命令行tree的具体使用,请参考笔者的另一篇博客:深入了解 Linux tree 命令及其常用选项:Linux如何显示目录结构和文件大小,一言以蔽之,sudo apt-get install tree 安装之后就是tree -h命令即可显示。

下面是展示下载到本地的Llama-3.1-8B模型的具体存储空间占用:

首先说一下这里的 model-00001-of-00004.safetensors等是软连接,指向blobs中真正的模型。所以直接在blobs中查看模型大小即可。

这里总共是: 4.7G+4.6G+1.1G+4.6G = 15G,当然其他的json文件很小,我没计算。这就是Llama-3.1-8B下载到本地的具体大小。

$ tree -h ~/.cache/huggingface/hub/models--meta-llama--Llama-3.1-8B
[4.0K]  ~/.cache/huggingface/hub/models--meta-llama--Llama-3.1-8B
├── [4.0K]  blobs
│   ├── [ 23K]  0fd8120f1c6acddc268ebc2583058efaf699a771
│   ├── [4.7G]  c28b25e7541751056ee126627e007f8d4288319733285e9f7b17b9ff6eb313f0
│   ├── [ 49K]  cb9ec25536e44d86778b10509d3e5bdca459a5cf
│   ├── [ 826]  cccf055d6f8f210387a248c91dc40e0c7a4bafab
│   ├── [  73]  d8cd5076496dbe4be2320312abc10adc43097b81
│   ├── [4.6G]  d8e9504dd4e4a146d484c52a97584ec14dac92237c46b064934af67a85e7d383
│   ├── [1.1G]  e4486f35c040f683f7d790354f66c169c109eb9fa0954a4a35d7c458a108405d
│   ├── [4.6G]  f8b9704ab09cdeb097aa4a0a24bca96f906eec36bad63ab495bc21475058601b
│   ├── [8.7M]  f916e71031fa08f3c6ef1680a590c15b52d3cdd9
│   └── [ 185]  fc9506438b7b55383dc04c0816561442324846c3
├── [4.0K]  refs
│   └── [  40]  main
└── [4.0K]  snapshots
    └── [4.0K]  d04e592bb4f6aa9cfee91e2e20afa771667e1d4b
        ├── [  52]  config.json -> ../../blobs/cccf055d6f8f210387a248c91dc40e0c7a4bafab
        ├── [  52]  generation_config.json -> ../../blobs/fc9506438b7b55383dc04c0816561442324846c3
        ├── [  76]  model-00001-of-00004.safetensors -> ../../blobs/f8b9704ab09cdeb097aa4a0a24bca96f906eec36bad63ab495bc21475058601b
        ├── [  76]  model-00002-of-00004.safetensors -> ../../blobs/c28b25e7541751056ee126627e007f8d4288319733285e9f7b17b9ff6eb313f0
        ├── [  76]  model-00003-of-00004.safetensors -> ../../blobs/d8e9504dd4e4a146d484c52a97584ec14dac92237c46b064934af67a85e7d383
        ├── [  76]  model-00004-of-00004.safetensors -> ../../blobs/e4486f35c040f683f7d790354f66c169c109eb9fa0954a4a35d7c458a108405d
        ├── [  52]  model.safetensors.index.json -> ../../blobs/0fd8120f1c6acddc268ebc2583058efaf699a771
        ├── [  52]  special_tokens_map.json -> ../../blobs/d8cd5076496dbe4be2320312abc10adc43097b81
        ├── [  52]  tokenizer_config.json -> ../../blobs/cb9ec25536e44d86778b10509d3e5bdca459a5cf
        └── [  52]  tokenizer.json -> ../../blobs/f916e71031fa08f3c6ef1680a590c15b52d3cdd9

4 directories, 21 files

具体本地的截图如下:

在这里插入图片描述

如果对hf下载下来的这些文件是什么有疑问,请参考笔者的另一篇博客: HuggingFace 模型文件详解:如何加载本地模型?

后记

2024年12月30日15点51分于上海。


http://www.kler.cn/a/463558.html

相关文章:

  • 基于单片机的家庭智能垃圾桶(论文+源码)
  • 在Ubuntu 18.04.6 LTS安装OpenFace流程
  • Windows平台下如何手动安装MYSQL
  • 啥是大模型
  • xilinx的高速接口构成原理和连接结构及ibert工具的使用-以k7 GTX为例
  • 树莓派 Pico RP2040 教程点灯 双核编程案例
  • 系统架构风险、敏感点和权衡点的理解
  • MySQL数据库笔记——主从复制
  • Redis 实战篇 ——《黑马点评》(上)
  • 关于内网服务器依托可上网电脑实现访问互联网
  • MyBatis使用的设计模式
  • 【每日学点鸿蒙知识】输入法按压效果、web组件回弹、H5回退问题、Flex限制两行、密码输入自定义样式
  • GAMS安装和介绍、GAMS程序编写、GAMS程序调试、实际应用算例演示
  • Go语言学习路线
  • 硬件基础知识笔记(2)——二级管、三极管、MOS管
  • Lesson04 类与对象(3补充 友元、内部类)
  • Node 使用pkg打包部署
  • PyTorch中的autocast:混合精度训练的实现原理
  • Llama系列关键知识总结
  • Spring Boot项目中解决跨域问题(四种方式)
  • vue3配置caddy作为静态服务器,在浏览器地址栏刷新出现404
  • UE5.4_Slate代码研究(1)
  • 【笔记】在虚拟机中通过apache2给一个主机上配置多个web服务器
  • 【每日学点鸿蒙知识】低功耗蓝牙、指纹识别认证、读取raw文件示例、CommonEvent是否跨线程、定位参数解释等
  • Eureka使用总结(自用)
  • JS中批量创建对象的三种模式(小白笔记)