当前位置：首页 > article >正文

爬虫学习-爬取古诗

article 2025/4/1 8:55:12

流程讲解以及代码构建

1. get_html 函数

2. get_poem_data 函数

3. get_poem_links_by_type 函数

4. get_data 函数

5. save_data 函数

6. analyze_data 函数

7. visualize_data 函数

主程序逻辑

运行效果

完整代码

古诗网址：唐诗三百首全集_古诗文网

唐诗作为中国古典文学的巅峰之作，现存五万余首诗歌蕴含着丰富的历史文化信息。传统的人工整理方式效率低下，难以应对大规模文本分析需求。本项目通过构建自动化爬虫系统，实现对古诗数据的高效采集与多维度分析，为文学研究、文化传播提供数据支持。

系统目标

数据采集：实现五言绝句、七言绝句等典型诗体的全量爬取

信息结构化：建立包含诗歌标题、作者、朝代、正文、创作背景的标准化数据集

文本分析：揭示唐诗创作规律，挖掘高频词汇与作者分布特征

可视化呈现：通过词云图等形式直观展示统计结果

技术方案

网络爬虫：使用 requests 库实现 HTTP 请求

通过 BeautifulSoup 进行 HTML 解析

内置重试机制与延迟策略提升鲁棒性

数据处理：pandas 完成数据清洗与结构化存储

Counter 实现字符频率统计

可视化分析：matplotlib 进行基础图表绘制

wordcloud 生成词云可视化

流程讲解以及代码构建

1. get_html 函数

def get_html(url, params=None, timeout=3):
    """
    发送 HTTP 请求获取网页内容
    :param url: 请求的 URL
    :param params: 请求参数
    :param timeout: 超时时间
    :return: 网页内容，如果出错则返回 None
    """
    print(f"正在抓取: {url}, params = {params}")
    # 设置重试次数
    requests.DEFAULT_RETRIES = 3  # 增加重试次数，提高成功率
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36 Edg/124.0.0.0'
    }
    try:
        response = requests.get(url, params=params, headers=headers, timeout=timeout)
        # 检查请求是否成功
        response.raise_for_status()
        # 自动检测编码
        response.encoding = chardet.detect(response.content)['encoding']
        return response.text
    except Exception as e:
        print(f"请求出错: {e}")
        return None
    finally:
        # 延迟避免频繁请求
        time.sleep(3)

作用和逻辑

此函数的作用是发送 HTTP 请求并获取网页内容
首先打印出正在抓取的 URL 和参数信息
设置请求的重试次数为 3 次，以提高请求的成功率
构造请求头，模拟浏览器的 User-Agent，避免被网站识别为爬虫而拒绝请求
使用 requests.get 方法发送请求，设置了超时时间
通过 response.raise_for_status() 检查请求是否成功，如果请求失败会抛出异常
使用 chardet 库自动检测网页内容的编码，并设置 response 的编码
如果请求过程中出现异常，打印错误信息并返回 None
最后使用 time.sleep(3) 进行延迟，避免对目标网站造成频繁请求

扩展应用

可以添加更多的请求头信息，如 Referer 等，以更好地模拟浏览器行为
可以根据不同的错误类型进行不同的处理，例如当遇到 404 错误时可以记录该 URL 等

2. get_poem_data 函数

def get_poem_data(poem_html, poem_id):
    """
    从诗歌页面的 HTML 中提取诗歌信息
    :param poem_html: 诗歌页面的 HTML 内容
    :param poem_id: 诗歌的 ID
    :return: 诗歌标题、作者、朝代、内容、创作背景
    """
    poem_bs = BeautifulSoup(poem_html, 'lxml')
    
    # 提取标题
    title_tag = poem_bs.select_one(f'#zhengwen{poem_id} > h1')
    title = title_tag.text.strip() if title_tag else ''
    # 提取作者
    author_tag = poem_bs.select_one(f'#zhengwen{poem_id} > p.source > a')
    author = author_tag.text.strip() if author_tag else ''
    # 提取朝代
    dynasty_tag = poem_bs.select_one(f'#zhengwen{poem_id} > p.source > a:nth-child(2)')
    dynasty = dynasty_tag.text.strip() if dynasty_tag else ''
    # 提取诗歌内容
    content_tag = poem_bs.select_one(f'#zhengwen{poem_id} > div.contson')
    content = content_tag.text.strip() if content_tag else ''
    
    # 提取创作背景
    background = ""
    # 查找所有可能包含创作背景的元素
    background_divs = poem_bs.select('div.contyishang')
    for div in background_divs:
        # 查找标题中包含"创作背景"的元素
        title_element = div.select_one('p.title, div > h2')
        if title_element and '创作背景' in title_element.text:
            # 获取内容 - 可能在p标签或div.contson中
            content_elements = div.select('p:not(.title), div.contson')
            if content_elements:
                # 合并所有内容元素
                background = ' '.join([el.text.strip() for el in content_elements])
                break
    
    return title, author, dynasty, content, background

作用和逻辑

该函数用于从诗歌页面的 HTML 内容中提取诗歌的相关信息
使用 BeautifulSoup 库将 HTML 内容解析为可操作的对象
通过 CSS 选择器分别提取诗歌的标题、作者、朝代、内容和创作背景
对于创作背景的提取，先查找所有可能包含创作背景的 div 元素，然后在这些元素中查找标题包含 “创作背景” 的元素，最后提取其内容

扩展应用

可以提取更多的诗歌相关信息，如诗歌的赏析、注释等
可以对提取的内容进行进一步的清洗和处理，比如去除多余的空格、换行符等

3. get_poem_links_by_type 函数

def get_poem_links_by_type(html, poem_type):
    """
    从唐诗主页的 HTML 中提取特定类型诗歌的链接
    :param html: 唐诗主页的 HTML 内容
    :param poem_type: 诗歌类型，如"五言绝句"或"七言绝句"
    :return: 诗歌链接列表
    """
    bs = BeautifulSoup(html, 'lxml')
    poem_links = []
    
    # 根据提供的HTML结构调整选择器
    type_divs = bs.select('div.typecont')
    for div in type_divs:
        # 查找类型标题
        title_tag = div.select_one('div.bookMl > strong')
        if title_tag and poem_type in title_tag.text:
            # 找到对应类型的诗歌链接
            links = div.select('span > a')
            poem_links.extend(links)
    
    return poem_links

作用和逻辑

此函数用于从唐诗主页的 HTML 内容中提取特定类型诗歌的链接
使用 BeautifulSoup 库解析 HTML 内容
首先查找所有包含诗歌类型的 div 元素，然后在每个 div 元素中查找类型标题
如果类型标题中包含指定的诗歌类型，则提取该 div 元素下的所有诗歌链接

扩展应用

可以支持提取多种诗歌类型的链接，而不仅仅是一种
可以对提取的链接进行去重处理，避免重复爬取

4. get_data 函数

def get_data(html, base_url):
    """
    从唐诗主页的 HTML 中提取诗歌链接，并获取每首诗歌的信息
    :param html: 唐诗主页的 HTML 内容
    :param base_url: 基础 URL
    :return: 包含所有诗歌信息的列表
    """
    # 获取五言绝句和七言绝句的链接
    poem_types = ["五言绝句", "七言绝句"]
    all_poem_links = []
    
    for poem_type in poem_types:
        print(f"正在获取{poem_type}的链接...")
        links = get_poem_links_by_type(html, poem_type)
        all_poem_links.extend(links)
        print(f"获取到{len(links)}个{poem_type}链接")
    
    data = []
    for link in all_poem_links:
        poem_url = urljoin(base_url, link.get('href'))
        print(f"正在抓取: {poem_url}")
        # 获取诗歌页面的 HTML
        poem_html = get_html(poem_url)
        if poem_html:
            # 提取诗歌 ID
            poem_id = poem_url.split('_')[-1].split('.')[0]
            # 提取诗歌信息
            poem_data = get_poem_data(poem_html, poem_id)
            data.append(poem_data)
    
    return data

作用和逻辑

该函数用于从唐诗主页的 HTML 内容中提取五言绝句和七言绝句的链接，并获取每首诗歌的详细信息
定义了要提取的诗歌类型列表 poem_types
遍历诗歌类型列表，调用 get_poem_links_by_type 函数获取每种类型诗歌的链接，并将其添加到 all_poem_links 列表中
遍历 all_poem_links 列表，使用 urljoin 函数将相对链接转换为绝对链接
调用 get_html 函数获取诗歌页面的 HTML 内容
如果获取到 HTML 内容，则提取诗歌 ID，并调用 get_poem_data 函数提取诗歌的详细信息，将其添加到 data 列表中

扩展应用

可以支持提取更多类型的诗歌，只需修改 poem_types 列表即可
可以添加多线程或异步编程来提高爬取效率

5. save_data 函数

def save_data(data, file_name):
    """
    将诗歌信息保存到 CSV 文件中
    :param data: 包含诗歌信息的列表
    :param file_name: 保存的 CSV 文件名
    """
    df = pd.DataFrame(data, columns=['古诗', '作者', '朝代', '内容', '创作背景'])
    if not os.path.exists(file_name):
        # 如果文件不存在，创建并写入表头
        df.to_csv(file_name, encoding='utf-8-sig', header=True, index=False)
    else:
        # 如果文件存在，追加数据不写表头
        df.to_csv(file_name, encoding='utf-8-sig', header=False, index=False, mode='a')
    
    return df

作用和逻辑

此函数用于将包含诗歌信息的列表保存到 CSV 文件中
使用 pandas 库将数据转换为 DataFrame 对象
检查文件是否存在，如果文件不存在，则创建文件并写入表头；如果文件存在，则追加数据，不写入表头

扩展应用

可以支持保存到其他格式的文件，如 Excel、JSON 等
可以对数据进行进一步的处理，如数据清洗、数据转换等，再保存到文件中

6. analyze_data 函数

def analyze_data(df):
    """
    对诗歌数据进行统计分析
    :param df: 包含诗歌数据的DataFrame
    """
    # 统计作者创作数量
    author_counts = df['作者'].value_counts()
    print("\n作者创作数量排名:")
    print(author_counts)
    
    # 统计诗歌中出现最多的字
    all_content = ''.join(df['内容'].tolist())
    # 去除标点符号和空白字符
    all_content = re.sub(r'[^\u4e00-\u9fa5]', '', all_content)
    char_counts = Counter(all_content)
    print("\n诗歌中出现最多的字:")
    for char, count in char_counts.most_common():
        print(f"{char}: {count}次")
    
    return author_counts, char_counts

作用和逻辑

该函数用于对诗歌数据进行统计分析
使用 value_counts 方法统计每个作者的创作数量，并打印出作者创作数量排名
将所有诗歌的内容合并为一个字符串，使用正则表达式去除标点符号和空白字符
使用 Counter 类统计每个字符的出现次数，并打印出出现最多的字

扩展应用

可以进行更多的统计分析，如统计不同朝代的诗歌数量、不同类型诗歌的数量等
可以对统计结果进行进一步的处理，如筛选出出现次数超过一定阈值的字符等

7. visualize_data 函数

def visualize_data(author_counts, char_counts):
    """
    可视化诗歌数据
    :param author_counts: 作者创作数量统计
    :param char_counts: 字符出现频率统计
    """
    # 设置中文字体
    plt.rcParams['font.sans-serif'] = ['SimHei']  # 用来正常显示中文标签
    plt.rcParams['axes.unicode_minus'] = False  # 用来正常显示负号
    
    # 作者词云图
    plt.figure(figsize=(10, 8))
    # 将作者数据转换为词云所需的格式
    author_dict = author_counts.to_dict()
    # 创建词云对象
    author_wordcloud = WordCloud(
        font_path='simhei.ttf',  # 使用黑体字体，确保能显示中文
        width=800, 
        height=600,
        background_color='white',
        max_words=100,
        max_font_size=200,
        random_state=42
    ).generate_from_frequencies(author_dict)
    
    # 显示词云图
    plt.imshow(author_wordcloud, interpolation='bilinear')
    plt.axis('off')
    plt.title('唐诗作者创作数量词云图')
    plt.tight_layout()
    plt.savefig('F:\\爬虫实操\\pa_poems\\author_wordcloud.png')
    
    # 字符词云图
    plt.figure(figsize=(10, 8))
    # 创建词云对象
    char_wordcloud = WordCloud(
        font_path='simhei.ttf',  # 使用黑体字体，确保能显示中文
        width=800, 
        height=600,
        background_color='white',
        max_words=100,
        max_font_size=200,
        random_state=42
    ).generate_from_frequencies(char_counts)
    
    # 显示词云图
    plt.imshow(char_wordcloud, interpolation='bilinear')
    plt.axis('off')
    plt.title('唐诗中字符出现频率词云图')
    plt.tight_layout()
    plt.savefig('F:\\爬虫实操\\pa_poems\\char_wordcloud.png')
    
    print("\n统计图表已保存到 F:\\爬虫实操\\pa_poems\\author_wordcloud.png、F:\\爬虫实操\\pa_poems\\char_wordcloud.png")
    print("F:\\爬虫实操\\pa_poems\\author_wordcloud.png 和 F:\\爬虫实操\\pa_poems\\char_wordcloud.png")

作用和逻辑

此函数用于可视化诗歌数据，主要是生成作者创作数量和字符出现频率的词云图
设置中文字体，确保中文标签能正常显示
创建作者创作数量的词云图，将作者数据转换为词云所需的字典格式，使用 WordCloud 类生成词云对象，并显示和保存词云图
同样的方法创建字符出现频率的词云图，并显示和保存

扩展应用

可以使用其他可视化工具，如 seaborn 库绘制更美观的图表
可以生成更多类型的可视化图表，如柱状图、饼图等，以展示不同的统计信息

主程序逻辑

if __name__ == '__main__':
    # 唐诗主页的 URL
    url = 'https://so.gushiwen.cn/gushi/tangshi.aspx'
    # 获取唐诗主页的 HTML
    html = get_html(url)
    if html:
        # 提取诗歌信息
        data = get_data(html, url)
        # 保存诗歌信息到 CSV 文件
        df = save_data(data, 'F:\\爬虫实操\\pa_poems\\poems.csv')
        print(f"共爬取了 {len(data)} 首诗，数据已保存到 F:\\爬虫实操\\pa_poems\\poems.csv")
        
        # 数据分析与可视化
        author_counts, char_counts = analyze_data(df)
        visualize_data(author_counts, char_counts)

作用和逻辑

首先定义唐诗主页的 URL，调用 get_html 函数获取该页面的 HTML 内容
如果获取到 HTML 内容，则调用 get_data 函数提取诗歌信息
调用 save_data 函数将诗歌信息保存到 CSV 文件中
最后调用 analyze_data 函数进行数据分析，调用 visualize_data 函数进行数据可视化

运行效果

完整代码

import time
from urllib.parse import urljoin
import requests
import chardet
import pandas as pd
from bs4 import BeautifulSoup
import os
import re
from collections import Counter
import matplotlib.pyplot as plt
from wordcloud import WordCloud

def get_html(url, params=None, timeout=3):
    """
    发送 HTTP 请求获取网页内容
    :param url: 请求的 URL
    :param params: 请求参数
    :param timeout: 超时时间
    :return: 网页内容，如果出错则返回 None
    """
    print(f"正在抓取: {url}, params = {params}")
    # 设置重试次数
    requests.DEFAULT_RETRIES = 3  # 增加重试次数，提高成功率
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36 Edg/124.0.0.0'
    }
    try:
        response = requests.get(url, params=params, headers=headers, timeout=timeout)
        # 检查请求是否成功
        response.raise_for_status()
        # 自动检测编码
        response.encoding = chardet.detect(response.content)['encoding']
        return response.text
    except Exception as e:
        print(f"请求出错: {e}")
        return None
    finally:
        # 延迟避免频繁请求
        time.sleep(3)


def get_poem_data(poem_html, poem_id):
    """
    从诗歌页面的 HTML 中提取诗歌信息
    :param poem_html: 诗歌页面的 HTML 内容
    :param poem_id: 诗歌的 ID
    :return: 诗歌标题、作者、朝代、内容、创作背景
    """
    poem_bs = BeautifulSoup(poem_html, 'lxml')
    
    # 提取标题
    title_tag = poem_bs.select_one(f'#zhengwen{poem_id} > h1')
    title = title_tag.text.strip() if title_tag else ''
    # 提取作者
    author_tag = poem_bs.select_one(f'#zhengwen{poem_id} > p.source > a')
    author = author_tag.text.strip() if author_tag else ''
    # 提取朝代
    dynasty_tag = poem_bs.select_one(f'#zhengwen{poem_id} > p.source > a:nth-child(2)')
    dynasty = dynasty_tag.text.strip() if dynasty_tag else ''
    # 提取诗歌内容
    content_tag = poem_bs.select_one(f'#zhengwen{poem_id} > div.contson')
    content = content_tag.text.strip() if content_tag else ''
    
    # 提取创作背景
    background = ""
    # 查找所有可能包含创作背景的元素
    background_divs = poem_bs.select('div.contyishang')
    for div in background_divs:
        # 查找标题中包含"创作背景"的元素
        title_element = div.select_one('p.title, div > h2')
        if title_element and '创作背景' in title_element.text:
            # 获取内容 - 可能在p标签或div.contson中
            content_elements = div.select('p:not(.title), div.contson')
            if content_elements:
                # 合并所有内容元素
                background = ' '.join([el.text.strip() for el in content_elements])
                break
    
    return title, author, dynasty, content, background


def get_poem_links_by_type(html, poem_type):
    """
    从唐诗主页的 HTML 中提取特定类型诗歌的链接
    :param html: 唐诗主页的 HTML 内容
    :param poem_type: 诗歌类型，如"五言绝句"或"七言绝句"
    :return: 诗歌链接列表
    """
    bs = BeautifulSoup(html, 'lxml')
    poem_links = []
    
    # 根据提供的HTML结构调整选择器
    type_divs = bs.select('div.typecont')
    for div in type_divs:
        # 查找类型标题
        title_tag = div.select_one('div.bookMl > strong')
        if title_tag and poem_type in title_tag.text:
            # 找到对应类型的诗歌链接
            links = div.select('span > a')
            poem_links.extend(links)
    
    return poem_links


def get_data(html, base_url):
    """
    从唐诗主页的 HTML 中提取诗歌链接，并获取每首诗歌的信息
    :param html: 唐诗主页的 HTML 内容
    :param base_url: 基础 URL
    :return: 包含所有诗歌信息的列表
    """
    # 获取五言绝句和七言绝句的链接
    poem_types = ["五言绝句", "七言绝句"]
    all_poem_links = []
    
    for poem_type in poem_types:
        print(f"正在获取{poem_type}的链接...")
        links = get_poem_links_by_type(html, poem_type)
        all_poem_links.extend(links)
        print(f"获取到{len(links)}个{poem_type}链接")
    
    data = []
    for link in all_poem_links:
        poem_url = urljoin(base_url, link.get('href'))
        print(f"正在抓取: {poem_url}")
        # 获取诗歌页面的 HTML
        poem_html = get_html(poem_url)
        if poem_html:
            # 提取诗歌 ID
            poem_id = poem_url.split('_')[-1].split('.')[0]
            # 提取诗歌信息
            poem_data = get_poem_data(poem_html, poem_id)
            data.append(poem_data)
    
    return data


def save_data(data, file_name):
    """
    将诗歌信息保存到 CSV 文件中
    :param data: 包含诗歌信息的列表
    :param file_name: 保存的 CSV 文件名
    """
    df = pd.DataFrame(data, columns=['古诗', '作者', '朝代', '内容', '创作背景'])
    if not os.path.exists(file_name):
        # 如果文件不存在，创建并写入表头
        df.to_csv(file_name, encoding='utf-8-sig', header=True, index=False)
    else:
        # 如果文件存在，追加数据不写表头
        df.to_csv(file_name, encoding='utf-8-sig', header=False, index=False, mode='a')
    
    return df


def analyze_data(df):
    """
    对诗歌数据进行统计分析
    :param df: 包含诗歌数据的DataFrame
    """
    # 统计作者创作数量
    author_counts = df['作者'].value_counts()
    print("\n作者创作数量排名:")
    print(author_counts)
    
    # 统计诗歌中出现最多的字
    all_content = ''.join(df['内容'].tolist())
    # 去除标点符号和空白字符
    all_content = re.sub(r'[^\u4e00-\u9fa5]', '', all_content)
    char_counts = Counter(all_content)
    print("\n诗歌中出现最多的字:")
    for char, count in char_counts.most_common():
        print(f"{char}: {count}次")
    
    return author_counts, char_counts


def visualize_data(author_counts, char_counts):
    """
    可视化诗歌数据
    :param author_counts: 作者创作数量统计
    :param char_counts: 字符出现频率统计
    """
    # 设置中文字体
    plt.rcParams['font.sans-serif'] = ['SimHei']  # 用来正常显示中文标签
    plt.rcParams['axes.unicode_minus'] = False  # 用来正常显示负号
    
    # # 绘制作者创作数量柱状图
    # plt.figure(figsize=(12, 6))
    # top_authors = author_counts.head(10)
    # top_authors.plot(kind='bar', color='skyblue')
    # plt.title('唐诗作者创作数量排名前10')
    # plt.xlabel('作者')
    # plt.ylabel('创作数量')
    # plt.tight_layout()
    # plt.savefig('d:\\Project\\author_stats.png')
    
    # # 绘制字符频率柱状图
    # plt.figure(figsize=(15, 8))
    # top_chars = dict(Counter(char_counts).most_common(20))
    # plt.bar(top_chars.keys(), top_chars.values(), color='lightgreen')
    # plt.title('唐诗中出现频率最高的20个字')
    # plt.xlabel('字')
    # plt.ylabel('出现次数')
    # plt.tight_layout()
    # plt.savefig('d:\\Project\\char_stats.png')
    
    # 添加词云图可视化

    
    # 作者词云图
    plt.figure(figsize=(10, 8))
    # 将作者数据转换为词云所需的格式
    author_dict = author_counts.to_dict()
    # 创建词云对象
    author_wordcloud = WordCloud(
        font_path='simhei.ttf',  # 使用黑体字体，确保能显示中文
        width=800, 
        height=600,
        background_color='white',
        max_words=100,
        max_font_size=200,
        random_state=42
    ).generate_from_frequencies(author_dict)
    
    # 显示词云图
    plt.imshow(author_wordcloud, interpolation='bilinear')
    plt.axis('off')
    plt.title('唐诗作者创作数量词云图')
    plt.tight_layout()
    plt.savefig('F:\\爬虫实操\\pa_poems\\author_wordcloud.png')
    
    # 字符词云图
    plt.figure(figsize=(10, 8))
    # 创建词云对象
    char_wordcloud = WordCloud(
        font_path='simhei.ttf',  # 使用黑体字体，确保能显示中文
        width=800, 
        height=600,
        background_color='white',
        max_words=100,
        max_font_size=200,
        random_state=42
    ).generate_from_frequencies(char_counts)
    
    # 显示词云图
    plt.imshow(char_wordcloud, interpolation='bilinear')
    plt.axis('off')
    plt.title('唐诗中字符出现频率词云图')
    plt.tight_layout()
    plt.savefig('F:\\爬虫实操\\pa_poems\\char_wordcloud.png')
    
    print("\n统计图表已保存到 F:\\爬虫实操\\pa_poems\\author_wordcloud.png、F:\\爬虫实操\\pa_poems\\char_wordcloud.png")
    print("F:\\爬虫实操\\pa_poems\\author_wordcloud.png 和 F:\\爬虫实操\\pa_poems\\char_wordcloud.png")


if __name__ == '__main__':
    # 唐诗主页的 URL
    url = 'https://so.gushiwen.cn/gushi/tangshi.aspx'
    # 获取唐诗主页的 HTML
    html = get_html(url)
    if html:
        # 提取诗歌信息
        data = get_data(html, url)
        # 保存诗歌信息到 CSV 文件
        df = save_data(data, 'F:\\爬虫实操\\pa_poems\\poems.csv')
        print(f"共爬取了 {len(data)} 首诗，数据已保存到 F:\\爬虫实操\\pa_poems\\poems.csv")
        
        # 数据分析与可视化
        author_counts, char_counts = analyze_data(df)
        visualize_data(author_counts, char_counts)