Python爬虫：爬虫基础知识

爬虫（Web Crawler），又称网络蜘蛛（Spider）或网络机器人（Bot），是一种自动获取网页信息的程序或脚本。想象一下，一只蜘蛛在网上不断爬行，查找并收集各种信息。

     👉大礼包🎁：👈 

 01   爬虫是什么？ 

爬虫（Web Crawler）是一种自动获取网页信息的程序或脚本，也被称为网络蜘蛛（Spider）或网络机器人（Bot）。想象一下，一只蜘蛛在网上不断爬行，查找并收集各种信息。搜索引擎如Google、百度等正是通过爬虫来自动抓取网页内容，从而建立搜索引擎索引。

# 示例：一个简单的爬虫示例代码import requestsfrom bs4 import BeautifulSoupdef simple_crawler(url):    response = requests.get(url)    soup = BeautifulSoup(response.text, 'html.parser')    return soup.title.textprint(simple_crawler("https://www.example.com"))

 02   为什么要学习爬虫？

        学习爬虫的好处多多，它可以帮助我们快速、自动地获取互联网上的各种数据，比如新闻、价格、天气、股票数据等。这些数据对于研究、分析和决策都非常有用。例如，如果你想了解某个产品在各大电商平台上的价格，手动搜索会耗费大量时间和精力，但使用爬虫，就可以编写一个程序自动完成这些任务，大大节省时间和精力。

# 示例：获取某电商平台商品价格import requestsdef get_product_price(url):    response = requests.get(url)    if response.status_code == 200:        return response.json()  # 假设返回的是JSON格式    else:        return "Failed to fetch data"# 示例URL（需替换为实际商品页面API）url = "https://api.example.com/product?item_id=12345"print(get_product_price(url))

 03   爬虫的工作流程 

爬虫的工作流程主要包括以下几个步骤：

1. 发送请求：爬虫首先向目标网站发送HTTP请求。

2. 获取响应：获取请求返回的响应内容。

3. 解析响应，提取数据：爬虫解析响应内容，提取需要的信息，比如URL链接、文本数据等。

4. 存储数据：将提取的信息存储到本地文件或数据库中。

# 示例：爬取网页并存储数据import requestsfrom bs4 import BeautifulSoupdef crawl_and_save(url, filename):    response = requests.get(url)    soup = BeautifulSoup(response.text, 'html.parser')    with open(filename, 'w', encoding='utf-8') as f:        f.write(soup.prettify())    print(f"Data saved to {filename}")crawl_and_save("https://www.example.com", "example.html")

 04   爬虫的用途 

爬虫在互联网时代有着广泛的应用，主要包括以下几个方面：

1. 搜索引擎：利用爬虫收集网页信息，建立索引，帮助用户快速找到所需信息。

2. 数据分析：采集大量数据用于分析和展示，帮助企业了解市场趋势、用户行为等。

3. 舆情分析：收集网络上的舆情信息，分析舆情走向，为企业决策提供参考。

4. 信息监控：定时监控网页内容的变化，如监控竞争对手的价格变化、全网的热门话题信息数据。

5. 信息聚合：将不同来源的信息聚合到一起，为用户提供更便捷的信息获取方式。

6. 应用开发：为应用开发提供数据支持，如天气预报、股票信息等。

# 示例：监控某网站价格变化import requestsimport timedef monitor_price(url, interval=3600):    while True:        response = requests.get(url)        if response.status_code == 200:            print(f"Current price: {response.json()['price']}")        else:            print("Failed to fetch data")        time.sleep(interval)  # 每隔一定时间检查一次# 示例URL（需替换为实际商品页面API）url = "https://api.example.com/product?item_id=12345"monitor_price(url, interval=3600)  # 每小时检查一次

 05   爬虫的分类 

爬虫可以根据不同的需求和应用场景分为以下几类：

1. 通用爬虫

通用爬虫能够自动抓取互联网上各种网站的信息，不针对特定网站。它们通常用于搜索引擎等需要广泛收集网页信息的应用中，具有以下特点：

• 广泛性：可以访问和抓取互联网上的绝大多数网站。

• 自动化：自动发现和抓取网页，无需人工干预。

• 智能化：根据网页链接关系进行智能化抓取。

• 持续性：持续抓取网页信息，保持数据更新。

• 去重处理：避免重复抓取相同内容。

• 性能优化：针对不同类型的网站和网络环境进行优化。

2. 聚焦爬虫

聚焦爬虫是针对特定网站或特定类型网站开发的爬虫程序，抓取范围有限，主要用于特定需求的数据抓取。其特点包括：

• 定制性强：根据特定需求定制开发。

• 精准度高：精准抓取目标网站的特定信息。

• 效率高：只需抓取目标网站的特定内容，效率更高。

• 隐蔽性强：降低被目标网站封禁的风险。

• 数据处理：对抓取到的数据进行处理和分析。

• 定时更新：保持数据的新鲜性和有效性。

3. 增量式爬虫

增量式爬虫会在上一次抓取的基础上，只抓取新增或更新的数据，从而减少重复抓取，提高效率。它适用于需要频繁更新数据的场景，比如新闻网站、论坛等。

4. 深层网络爬虫

深层网络爬虫专门用来抓取互联网深层的页面，这些页面通常是非结构化的，需要通过特定的查询参数或请求才能访问。这类爬虫需要更多的技术和资源来实现高效的网页抓取。

# 示例：增量式爬虫（检查更新）import requestsdef check_updates(url, last_modified):    response = requests.head(url)    if response.headers.get('Last-Modified') != last_modified:        print("New updates available!")        return response.headers.get('Last-Modified')    else:        print("No updates.")        return last_modified# 示例URL（需替换为实际页面）url = "https://www.example.com/news"last_modified = Nonewhile True:    last_modified = check_updates(url, last_modified)    time.sleep(3600)  # 每小时检查一次

 06   Robots 协议 

Robots 协议（也称为robots.txt）是一个位于网站根目录下的文本文件，用于指示搜索引擎爬虫哪些页面可以访问，哪些页面不应该被访问。该文件包含一系列规则，定义了爬虫对网站的访问权限。

Robots 协议的基本语法：

• User-agent：指定爬虫的名称或标识符。

• Disallow：指定不允许访问的 URL 路径。

案例网站

• 百度：http://www.baidu.com/robots.txt

• 新浪：http://www.sina.com/robots.txt

• 腾讯：http://www.qq.com/robots.txt

• 淘宝：http://www.taobao.com/robots.txt

# 示例：读取robots.txt文件import requestsdef read_robots_txt(url):    response = requests.get(url + "/robots.txt")    if response.status_code == 200:        return response.text    else:        return "Failed to fetch robots.txt"# 示例网站url = "https://www.example.com"print(read_robots_txt(url))

 07    User-Agent 

User-Agent 是爬虫或浏览器向服务器发送的请求头信息，用于标识请求的来源。例如：

headers = {    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"}response = requests.get("https://www.example.com", headers=headers)print(response.text)

 08    爬虫的注意事项 

1. 隐私数据：不要采集涉及用户隐私的数据（如名字、电话、地址、身份证号）。

2. 会员数据：需要会员才能看到的数据，采集时需要登录凭证。仅供个人使用，不得用于商业盈利。

3. 政府数据：涉密数据绝对不能爬取，公开数据可以正常使用。

爬虫是互联网时代不可或缺的工具，能够帮助我们高效地获取和分析数据。无论是用于研究、分析还是商业决策，爬虫都能发挥巨大的作用。但同时，我们也需要遵守相关的规则和法律，尊重网站的隐私和数据安全。

 全套Python学习资料分享：

一、Python所有方向的学习路线

Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

二、全套PDF电子书

书籍的好处就在于权威和体系健全，刚开始学习的时候你可以只看视频或者听某个人讲课，但等你学完之后，你觉得你掌握了，这时候建议还是得去看一下书籍，看权威技术书籍也是每个程序员必经之路。

三、python入门资料大全

四、python进阶资料大全

五、python爬虫专栏

六、入门学习视频全套

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。

七、实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

八、python最新面试题

获取资料：