使用python爬取某新闻网并进行数据分析

引言

在这个信息爆炸的时代，获取并分析特定网站上的信息变得越来越重要。本文将通过一个实例来展示如何使用Python编写一个简单的网络爬虫，抓取某新闻网上的新闻信息，并对这些数据进行基本的统计分析。我们将使用urllib、lxml、pandas以及matplotlib等库来完成这项任务。
目标网站

环境准备

在开始之前，请确保你的环境中已安装了以下Python库：

• urllib
• lxml
• pandas
• matplotlib
• fake_useragent

可以通过pip命令来安装这些库，例如：

pip install lxml pandas matplotlib fake_useragent

代码详解

1. 导入必要的库

首先，我们需要导入所有需要用到的Python库。这里包括了用于网络请求的urllib，解析HTML的lxml，处理数据的pandas，以及用于绘制图表的matplotlib。

import urllib.request
from urllib.parse import urlparse, urljoin
import pandas as pd
from fake_useragent import UserAgent
from lxml import etree
import re
import time
from datetime import datetime, timedelta
from matplotlib import pyplot as plt

2. 定义基础URL及标签页面

接下来定义我们要爬取的基础URL以及各个新闻标签对应的初始页面URL。这将帮助我们构建完整的新闻链接。

# 基础URL
base_url = 'https://news.tju.edu.cn'

# 各个标签的初始URL
tags = {
   
    '全部': 'https://news.tju.edu.cn/xnxw1/qb/1146.htm',
    '科研': 'https://news.tju.edu.cn/xnxw1/ky/124.htm',
    '教学': 'https://news.tju.edu.cn/xnxw1/jx/97.htm',
    '交流': 'https://news.tju.edu.cn/xnxw1/jl/165.htm',
    '校友': 'https://news.tju.edu.cn/xnxw1/xy/36.htm',
    '管理': 'https://news.tju.edu.cn/xnxw1/gl/292.htm',
    '活动': 'https://news.tju.edu.cn/xnxw1/hd/401.htm',
    '观点': 'https://news.tju.edu.cn/xnxw1/gd/15.htm',
    '人物': 'https://news.tju.edu.cn/xnxw1/rw/10.htm',
    '文化': 'https://news.tju.edu.cn/xnxw1/wh/3.htm'
}

3. 初始化存储列表

创建一个空列表all_news_data，用于存储所有抓取到的新闻数据。

# 存储所有新闻数据的列表
all_news_data = []