用Python编写一个Web爬虫：自动获取感兴趣的新闻

解锁Python编程的无限可能：《奇妙的Python》带你漫游代码世界

在当今信息化社会中，获取新闻信息的方式已变得多样化。除了传统的新闻订阅和新闻推送服务，使用编程技术自动抓取感兴趣的新闻也成为了许多开发者和技术爱好者的选择。本文将详细介绍如何使用Python编写一个简单的Web爬虫，定期从新闻网站抓取文章，并提取感兴趣的新闻信息。我们将使用Python中的requests和BeautifulSoup库来完成这一任务。

一、准备工作

在开始编写Web爬虫之前，我们需要做一些准备工作。主要包括安装所需的库以及选择我们想要抓取的新闻网站。

1.1 所需库

为了实现爬虫功能，我们需要用到以下两个Python库：

• requests：用于发送HTTP请求，获取网页内容。
• BeautifulSoup：用于解析HTML文档，并提取我们需要的数据。

在命令行中运行以下命令来安装这两个库：

pip install requests
pip install beautifulsoup4

1.2 确定目标网站

我们将选择一个新闻网站作为目标，并编写代码定期获取其中的新闻信息。在实际应用中，可以选择任何感兴趣的新闻网站，例如：BBC、CNN、纽约时报等。在本文中，我们以一个假设的新闻网站https://example.com/news为例进行说明。

二、编写爬虫

2.1 爬取网页内容

首先，我们需要编写代码来获取新闻网站的网页内容。使用requests库，我们可以非常方便地发送HTTP请求并获取网页的HTML代码。

import requests

def get_page_content(url):
    try:
        response = requests.get(url)
        # 判断请求是否成功
        if response.status_code == 200:
            return response.text
        else:
            print(f"请求失败，状态码：{
     response.status_code}")
    except requests.RequestException as e:
        print(f"请求出错：{
     e}")
    return None

在上面的代码中，get_page_content函数接收一个URL作为参数，使用requests.get方法发送HTTP请求。如果请求成功，返回网页的HTML内容。否则，输出错误信息。

2.2 解析HTML

获取网页内容后，下一步是解析HTML文档，提取出我们需要的新闻标题、摘要或链接。这时我们需要用到BeautifulSoup库。以下代码展示了如何解析网页内容并提取出新闻标题。

from bs4 import BeautifulSoup

def parse_news(html):
    soup = BeautifulSoup(html, 'html.parser')
    # 假设新闻标题位于每篇文章的 &l