用 Python 从零开始构建 LLaMA 3
文章结尾有最新热度的文章，感兴趣的可以去看看。
本文是经过严格查阅相关权威文献和资料，形成的专业的可靠的内容。全文数据都有据可依，可回溯。特别申明：数据和资料已获得授权。本文内容，不涉及任何偏颇观点，用中立态度客观事实描述事情本身
文章有点长(字)，期望您能坚持看完，并有所收获。
编码自己的十亿参数 LLM
LLaMA 3 是继 Mistral 之后最有前途的开源模型之一，可以解决各种任务。下面介绍如何利用 LLaMA 架构从零开始创建一个拥有 230 多万个参数的 LLM。现在 LLaMA-3 发布了，我们将以更简单的方式重新创建它。
在本文章中，我们不会使用 GPU，但您需要至少 17 GB 的内存，因为我们将加载一些超过 15 GB 的文件。如果这对你来说是个问题，你可以使用 Kaggle 作为解决方案。由于我们不需要 GPU，Kaggle 可提供 30 GB 内存，同时只使用 CPU 内核作为加速器。
预备知识
我们不会使用面向对象编程（OOP）编码