爬虫系列之【数据解析之正则】《二》

目录

前言

一、正则基本使用

1.1 导包

1.2 接口方法

1.3 换行匹配问题

二、实战案例

完整代码

前言

在爬虫工作中，我们主要会遇到两种类型的文本数据：

1. JSON格式数据

2. HTML文档数据

对于JSON字符串数据，通常使用Python的字典操作进行键值对提取或者使用正则语法；
对于HTML文档，则主要采用XPath表达式和CSS选择器（bs4）进行数据解析和提取。

一、正则基本使用

1.1 导包

import re

1.2 接口方法

re.findall(参数1,参数2)

参数1：写正则语法，匹配规则

参数2： 字符串数据

例1：匹配 id 的内容

import re
# 1,字符串数据
str = ' <meta id="my name is zhouhuan" http-equiv="Content-Type" content="text/html;charset=utf-8">中国<共??产yes党'
# 2,匹配语法
result = re.findall('id="(.*?)" http',str)
# 3,打印结果
print(result)

.*?：要匹配的内容换成 .*?
() ：只会返回括号内的内容

 例2：匹配所有中文

import re
# 1,字符串数据
str = ' <meta id="my name is zhouhuan" http-equiv="Content-Type" content="text/html;charset=utf-8">中国<共??产yes党'
# 2,匹配所有中文
result = re.findall('[\u4e00-\u9fa5]',str)
# 3,打印结果
print(result)

例3：过滤和替换非法字符

import re
# 1,字符串数据
str = "abc?de|fg><hi:jk"
# 2,过滤非法字符
result1 = re.findall('[\\\\/:*?\"<>|]',str)
# 3,替换非法字符
result2 = re.sub('[\\\\/:*?\"<>|]',"_",str)
# 4,打印结果
print("过滤的非法字符有：",result1)
print("替换后的str字符串为：",result2)

1.3 换行匹配问题

import re
# 1,换行匹配问题
str ='''
    <div>
        中国共产党万岁
    </div>
'''
# 2,规则默认是在一行匹配，换行后重新匹配，所以匹配到的是空 []
result = re.findall('<div>(.*?)</div>',str)
# 打印结果
print(result)  # []

解决方案：待定...

二、实战案例

需求：爬取斗鱼直播星秀板块直播的主播《标题》和《网名》

链接（url）：星秀直播_星秀视频_斗鱼直播

分析步骤：

1，先抓包找到需要的目标 url

2，先打印一下爬取到的所有数据

完整代码

import re
import requests
# 实战之爬取斗鱼星秀板块主播标题
# 1，目标url
url = 'https://www.douyu.com/wgapi/ordnc/live/web/room/mixList/2/1008/0/1?'
# 2，身份伪装
header={
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/133.0.0.0 Safari/537.36"
}
# 3，发起请求
response = requests.get(url=url,headers=header)
# 4，打印响应内容（确认是否获得响应）
# print(response.text)
# 5，使用正则解析:主播标题
title_list = re.findall('"rn":"(.*?)"',response.text)
print(title_list)
# 6，使用正则解析:主播名字
name_list = re.findall('"nn":"(.*?)"',response.text)
print(name_list)

# 7，展示数据:len(title_list) 打印列表的长度
print("主播网名    直播标题")
for i in range(len(title_list)):
    print(name_list[i],"：",title_list[i])