如何查看下载到本地的大模型的具体大小?占了多少存储空间:Llama-3.1-8B下载到本地大概15GB
这里介绍一下tree命令,可以方便的查看文件目录结构和文件大小。
命令行tree的具体使用,请参考笔者的另一篇博客:深入了解 Linux tree 命令及其常用选项:Linux如何显示目录结构和文件大小,一言以蔽之,sudo apt-get install tree
安装之后就是tree -h命令即可显示。
下面是展示下载到本地的Llama-3.1-8B模型的具体存储空间占用:
首先说一下这里的 model-00001-of-00004.safetensors等是软连接,指向blobs中真正的模型。所以直接在blobs中查看模型大小即可。
这里总共是: 4.7G+4.6G+1.1G+4.6G = 15G,当然其他的json文件很小,我没计算。这就是Llama-3.1-8B下载到本地的具体大小。
$ tree -h ~/.cache/huggingface/hub/models--meta-llama--Llama-3.1-8B
[4.0K] ~/.cache/huggingface/hub/models--meta-llama--Llama-3.1-8B
├── [4.0K] blobs
│ ├── [ 23K] 0fd8120f1c6acddc268ebc2583058efaf699a771
│ ├── [4.7G] c28b25e7541751056ee126627e007f8d4288319733285e9f7b17b9ff6eb313f0
│ ├── [ 49K] cb9ec25536e44d86778b10509d3e5bdca459a5cf
│ ├── [ 826] cccf055d6f8f210387a248c91dc40e0c7a4bafab
│ ├── [ 73] d8cd5076496dbe4be2320312abc10adc43097b81
│ ├── [4.6G] d8e9504dd4e4a146d484c52a97584ec14dac92237c46b064934af67a85e7d383
│ ├── [1.1G] e4486f35c040f683f7d790354f66c169c109eb9fa0954a4a35d7c458a108405d
│ ├── [4.6G] f8b9704ab09cdeb097aa4a0a24bca96f906eec36bad63ab495bc21475058601b
│ ├── [8.7M] f916e71031fa08f3c6ef1680a590c15b52d3cdd9
│ └── [ 185] fc9506438b7b55383dc04c0816561442324846c3
├── [4.0K] refs
│ └── [ 40] main
└── [4.0K] snapshots
└── [4.0K] d04e592bb4f6aa9cfee91e2e20afa771667e1d4b
├── [ 52] config.json -> ../../blobs/cccf055d6f8f210387a248c91dc40e0c7a4bafab
├── [ 52] generation_config.json -> ../../blobs/fc9506438b7b55383dc04c0816561442324846c3
├── [ 76] model-00001-of-00004.safetensors -> ../../blobs/f8b9704ab09cdeb097aa4a0a24bca96f906eec36bad63ab495bc21475058601b
├── [ 76] model-00002-of-00004.safetensors -> ../../blobs/c28b25e7541751056ee126627e007f8d4288319733285e9f7b17b9ff6eb313f0
├── [ 76] model-00003-of-00004.safetensors -> ../../blobs/d8e9504dd4e4a146d484c52a97584ec14dac92237c46b064934af67a85e7d383
├── [ 76] model-00004-of-00004.safetensors -> ../../blobs/e4486f35c040f683f7d790354f66c169c109eb9fa0954a4a35d7c458a108405d
├── [ 52] model.safetensors.index.json -> ../../blobs/0fd8120f1c6acddc268ebc2583058efaf699a771
├── [ 52] special_tokens_map.json -> ../../blobs/d8cd5076496dbe4be2320312abc10adc43097b81
├── [ 52] tokenizer_config.json -> ../../blobs/cb9ec25536e44d86778b10509d3e5bdca459a5cf
└── [ 52] tokenizer.json -> ../../blobs/f916e71031fa08f3c6ef1680a590c15b52d3cdd9
4 directories, 21 files
具体本地的截图如下:
如果对hf下载下来的这些文件是什么有疑问,请参考笔者的另一篇博客: HuggingFace 模型文件详解:如何加载本地模型?
后记
2024年12月30日15点51分于上海。