论文解读＜CRAW4LLM: Efficient Web Crawling for LLM Pretraining＞
大家好，我是AI拉呱，一个专注于人工智领域与网络安全方面的博主，现任资深算法研究员一职，兼职硕士研究生导师；热爱机器学习和深度学习算法应用，深耕大语言模型微调、量化、私域部署。曾获多次获得AI竞赛大奖，拥有多项发明专利和学术论文。对于AI算法有自己独特见解和经验。曾辅导十几位非计算机学生转行到算法岗位就业。关注评审分享一起学习更多知识。
这篇论文《CRAW4LLM: Efficient Web Crawling for LLM Pretraining》提出了CRAW4LLM这种针对大语言模型（LLM）预训练的高效网页爬取方法，旨在解决当前网页爬取用于LLM预训练数据时效率低、资源浪费等问题 。
1. 研究背景：
网页数据是LLM预训练的主要数据来源，但当前网页爬虫收集的大部分数据因质量低未用于预训练，传统爬虫基于图连通性指标优先爬取的页面与预训练需求不匹配，造成资源浪费和增加法律风险。基于大语言模型预训练的偏好来探索网页图。具体来说，它利用网页在大语言模型预训练中的影响力作为网络爬虫调度器的优先级分数，取