python 爬虫 入门 二、数据解析（正则、bs4、xpath）
目录
一、待匹配数据获取
二、正则
三、bs4
（一）、访问属性
（二）、获取标签的值
（三）、查询方法
四、xpath
后续：登录和代理
上一节我们已经知道了如何向服务器发送请求以获得数据，今天我们就来学习如何从获得的数据中找到自己需要的东西，使用数据解析的三种工具：正则、bs4、xpath。
一、待匹配数据获取
我们今天来试试国家数据网页，尝试获取下面这个框里面所有链接的url。
我们先右键网页，查看页面源代码（ps：F12元素里面的代码是网页的实时代码，和源代码有差异。）然后Ctrl+F搜索： 2020年投入产出表，可以看到有结果，前面的超链接就是我们需要的url。这表明数据是直接在网页源码中的，而不是通过脚本二次请求服务器生成的，可以直接通过页面源码找到。
接下来，使用上一节的代码来获取页面源代码。
import requests
url = "https://data.stats.gov.cn/"
headers = {
# 用户代理，某些网站验证用户代理，微微改一下，如果提示要验证码之类的，使用它
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36 Edg/126.0.0.0",
}
with requests.get(url=url, headers=headers,) as resp:
resp.encoding = "utf-8"
print(resp)
with open("国家数据.html", mode="w",encoding="utf-8") as f:
f.write(resp.text) # 读取到网页的页面源代码"我们下面的操作就只读取下载的html文件，而不反复请求服务器。
二、正则
使用正则表达式来匹配数据在很多python基础中都有，速度快，能适应复杂的需求，但是复杂的正则表达式不好写，难维护，容易出错。不过那些大语言模型写正则是一把好手。这里主要爬虫，关于正则表达式，给几个表看一看，用用就会了。这里贴一下python文档链接和几个表以待后续查看：正则表达式指南 — Python 3.11.10 文档
import re # 正则
| findall() | 以列表形式返回所有满足数据，没有返回空列表 |
| finditer() | 返回所有匹配结果的迭代器，建议使用for+group提取 |
| search() | 返回第一个匹配结果的match对象，使用group提取，没有返回None |
| match() | 从头开始匹配，返回match对象。 相当于在正则表达式前面加了^,没有返回None |
| compile() | 预加载正则表达式 |
| 量词 | 意义 |
| * | 0~∞次 |
| + | 1~∞次 |
| ? | 0~1次 |
| {n} | n次 |
| {n,} | n~∞次 |
| {n,m} | n~m次 |
| 元字符 | 意义 |
| . | 换行符以外任意字符 |
| \w | 字母数字下划线 |
| \s | 空白字符（空格 换行符 制表符） |
| \d | 数字 |
| \W | 非字母数字下划线 |
| \S | 非空白字符 |
| \D | 非数字 |
| \n | 换行符 |
| \t | 制表符 |
| ^ | 字符串开始 |
| $ | 字符串结尾 |
| a|b | 字符a或字符b |
| () | 匹配括号内的表达式 |
| [abc] | 匹配字符a或b或c |
| [^abc] | 匹配除了a、b、c的字符 |
| 规则 | 意义 |
| re.I | 忽略大小写 |
| re.L | 不建议使用，改用re.U |
| re.M | 多行匹配 |
| re.S | 令 . 可以匹配换行符 |
| re.U | 使用unicode字符集 |
| re.X | 忽略匹配表达式中的空白符和#，除非加\,令你可以在正则表达式中加注释 |
一个小细节，.*会贪婪匹配，越多越好，.*?会非贪婪匹配越少越好
好，基础知识都在上面，现在我们来尝试匹配网页吧。 通过在网页中查看，我们发现需要获取的url前后有<li><a href="和.+产出表</a><span>，所以我们可以根据这一点来写正则表达式，最终形成如下代码：
import re
path = "国家数据.html"
with open(path,mode="r", encoding="utf-8") as f: # 下载源码
data = f.read()
regular = re.compile(r'<li><a href="(?P<url>.*)">(?P<year>.*)投入产出表</a><span>')
result_1 = regular.findall(data)
result_2 = regular.finditer(data)
result_3 = regular.search(data)
result_4 = regular.match(data)
print(result_1)
for i in result_2:
print(i.group())
print(i.group("url"))
print(i.group("year"))
print(result_3.group())
print(result_4)这里面()划定了一个组，而?P<name>给组起了一个名字，结果如下：
finditer返回的迭代器是我最常用，也是我觉着最好用的。
三、bs4
bs4全称beautifulsoup4。它主要是创建解析树，用来导航、搜索、修改HTML和XML文档，效率可能比其他的略低，但比较健壮，不易出错。
from bs4 import BeautifulSoup # bs
基础用法就是先使用 bs = BeautifulSoup(data, "html.parser") 将html代码交给bs4处理为树形结构，然后在得到的bs对象中查找需要的数据。
处理后数据是一个BeautifulSoup，即文档，文档中有许多tag（标签），标签也能够包含标签，就像上图的<div>、<a>、<li>一样。我们可以通过bs.ul来访问第一个ul标签。有的标签具有属性，像是最外层的div标签就有id属性、第一个a有href属性一样。可以像是访问字典一样，通过bs.ul.li.a["href"]或者bs.ul.li.a.get("href")来访问属性的值。如果属性有多个值或者属性名字为class，会返回列表。
除了tag以外，还有NavigableString（标签的值）以及Comment（注释和特殊字符串），标签的值一般是字符串，字符串中无法包含其他标签，同时无法编辑，只能替换。可以通过.string、.text获取标签的字符串。若标签内非字符串，第一种返回None，第二种会将内容转化为纯文本输出
我们要筛查的话，可以使用find()或者find_all()方法来的到一个对象或者所以符合要求的对象，
find_all比find只多了一个limit参数，其他的参数相同
好，总结一下。
（一）、访问属性
标签["属性名"]
标签("属性名")
class返回列表，其他的返回字符串
（二）、获取标签的值
.string 空返回None
.text 返回内容纯文本
（三）、查询方法
find(name , attrs , recursive , string)
find_all(name , attrs , recursive , string, limit)
标签名，属性名和属性值（class_特殊），搜索全部子孙节点，字符串内容，最大返回数
除此之外，还有css选择器，但我没看，觉得不够用的可以再去学习一下。
利用上述知识，我们可以使用下面代码获得所需数据了：
from bs4 import BeautifulSoup # bs
path = "国家数据.html"
with open(path, mode="r", encoding="utf-8") as f: # 下载源码
data = f.read()
bs = BeautifulSoup(data, "html.parser") # html代码交给bs处理'
ul = bs.find("ul", class_="active clearfix") # 查找标签名为ul,属性class值为”active clearfix“的tag
data = ul.find_all("a") # 查找所有a标签
for i in data:
print(i["href"], i.string)很简短，不是吗。
四、xpath
这东西比bs快点，而且有开发工具加持，能够精准定位。它和bs4挺像的，是一种专门用于XML文档定位和选择节点的语言。但用起来也挺难，这里说点简单的先用上。
from lxml import etree # 导入
xpath的节点就像是上面的tag，树形结构，跟文件夹似的，使用etree.HTML(data)来处理数据。
首先是xpath支持路径表达式，和我们常见的文件路径相似：
| / | 根节点开始 |
| // | 不考虑位置 |
| . | 当前节点 |
| .. | 父节点 |
| @ | 选取属性 |
| * | 通配符，任何 |
| | | 或 |
| nodename | 所有子节点 |
| text() | 获取文本 |
我们可以通过.xpath来执行路径表达式。比如还是上文中的登录部分，我们想获取登录的文本，可以使用tree.xpath("/html/body/div[2]/div/div/ul/li[1]/a/text()")来得到结果，什么？很长，长就对了，这就就不是给人数的。（注意，它的下标从1开始）
这就要说到上面的开发工具加持了，打开开发工具的元素页面，右键需要的元素，就能够直接复制元素的Xpath地址了。
我们再来看看这条代码：tree.xpath("//*[@id='top']/div/div/ul/li[1]/a/text()")照样能找到位置，它用了谓语表达式，[@id='top']代表标签有个叫id的属性，值为'top',还能写出一些其他的谓语表达式，比如[last()]表示最后一个节点，[text()="登录"]选择文本为登录的节点，[id>1]选择id值大于1的节点等。
xpath还有一些接口：
| xpath() | 路径表达式获取节点列表 |
| find() | 查第一个匹配的节点 |
| findall() | 查所有匹配节点 |
| text | 获取文本内容 |
| attrib | 获取节点属性 |
好的，现在我们开始获取所需数据吧，要获得想要元素的位置，一点点找太麻烦了，我们可以使用左上角的检查工具，然后鼠标移动到所需的数据上，就能知道这个数据是从哪段代码中显示的了。
from lxml import etree
path = "国家数据.html"
with open(path, mode="r", encoding="utf-8") as f: # 下载源码
data = f.read()
tree = etree.HTML(data)
ul1 = tree.xpath("/html/body/div[6]/div[3]/div[2]/div[2]/ul[1]")[0]
ul2 = tree.xpath('//ul[@class="active clearfix"]')[0]
print(ul1 == ul2)
out_data = ul1.xpath('./li/a')
print(out_data == ul1.findall("li/a"))
print(out_data == tree.xpath('//ul[@class="active clearfix"]//a'))
for i in out_data:
print(i.attrib["href"],i.text)
方法很多，选种喜欢的用就行。
注意上面获得的url前面拼接上原网址才是完整url。
后续：登录和代理
改天写如何处理登录以及代理，详情见三、登录以及代理。