Python学习第二十二天

urllib模块

官网：python自带的，无需安装。

• urllib.request 打开和读取 URL

• urllib.error 包含 urllib.request 抛出的异常

• urllib.parse 用于解析 URL

• urllib.robotparser 用于解析 robots.txt 文件

urllib.request

官网概念

        urllib.request 模块定义了适用于在各种复杂情况下打开 URL（主要为 HTTP）的函数和类 --- 例如基本认证、摘要认证、重定向、cookies 及其它。

使用

urlopen

        response = urllib.request.urlopen(url, data=None, [timeout, ]*, context=None)

response的属性和方法

import urllib


# help(urllib.request.urlopen) urlopen(url,data=None,timeout=<object object at 0x000001A2C7D428B0>, *,context=None)

response = urllib.request.urlopen('http://www.baidu.com')

if response.getcode() == 200:
    # response属性 .reason	str	HTTP 响应的状态描述（如OK、Not Found等）。
    print(f'.reason属性，状态描述:{response.reason}')
    # response属性 .status	int	HTTP 响应的状态码（如200表示成功，404表示未找到）。
    print(f'.status属性，响应的状态码:{response.status}')
    # .url	str	实际请求的 URL（可能会与原始 URL 不同，例如发生重定向时）。
    print(f'.url属性，实际请求的 URL:{response.url}')
    # .headers	http.client.HTTPMessage	包含所有响应头信息的对象，可以通过字典方式访问头信息。
    # print(f'包含所有响应头信息的对象,获取请求头:{response.headers}')
    print(f'.headers属性，包含所有响应头信息的对象,获取请求头:{response.headers.get('Content-Type')}')
    # .msg	http.client.HTTPMessage	与.headers相同，包含响应头信息。
    print(f'msg属性，包含响应头信息:{response.msg}')
    # .version	int	HTTP 版本（如11表示 HTTP/1.1）。
    print(f'.version属性，HTTP版本:{response.version}')
    # .closed	bool	表示响应对象是否已关闭。
    print(f'.closed属性，表示响应对象是否已关闭:{response.closed}')
    # .read(size=None)	bytes	读取响应内容的全部或指定大小的字节。 read(5)读五个字节
    content = response.read().decode('utf-8')
    # print(f'.read()方法，读取响应内容的全部或指定大小的字节:{content}')
    # .readline()	bytes	读取一行内容（以\n分隔）。
    readline = response.readline().decode('utf-8')
    # print(f'.readline()方法，读取一行内容:{readline}')
    # .readlines()	List[bytes]	读取所有行，返回一个包含每行内容的列表。
    lines = response.readlines()
    # for line in lines:
    #     print('.readlines()方法，方法读取所有行，返回一个包含每行内容的列表: {}'.format(line.decode('utf-8')))
    # .getheader(name)	str或None	获取指定名称的 HTTP 响应头。如果头信息不存在，则返回None。
    header = response.getheader('Content-Type')
    print('.getheader(name)方法，获取指定名称的 HTTP 响应头。如果头信息不存在，则返回None: {}'.format(header))
    # .getheaders()	List[Tuple[str, str]]	返回所有 HTTP 响应头，格式为一个包含(header_name, header_value)元组的列表。
    header = response.getheader('Content-Type')
    print('.getheaders()方法，返回所有 HTTP 响应头，格式为一个包含(header_name, header_value)元组的列表: %s' %header )
    # .close()	None	关闭响应对象，释放资源。
    close = response.close()
    print('.close()方法，关闭响应对象，释放资源: %s' %close )
else:
    print("获取失败")

urlretrieve

       urllib.request.urlretrieve(url, filename=None, reporthook=None, data=None)

       下载网页、图片、视频、音频...未来可能会停用需要小心使用。

# 下载功能但是官网说了 后续会停用 这个要看下
# 官网原话：以下函数和类是由 Python 2 模块 urllib （相对早于 urllib2 ）移植过来的。将来某个时候可能会停用。
from urllib.request import urlretrieve
# urllib.request.urlretrieve(url, filename=None, reporthook=None, data=None)
# 下载网页
# urlretrieve('http://www.baidu.com', filename='baidu.html')

# 下载图片 百度找图片右键复制图片地址 图片一般.jpg
url_image = 'https://img2.baidu.com/it/u=3097253230,865203483&fm=253&fmt=auto&app=138&f=JPEG?w=800&h=1449'
# urlretrieve(url_image,'beautiful_gril.jpg')

# 下载视频 获取视频地址时 F12右键查看src地址 视频一般用.mp4
url_video = 'https://vdept3.bdstatic.com/mda-qfvaqpnzzj3qf31w/sc/cae_h264/1719738331325131837/mda-qfvaqpnzzj3qf31w.mp4?v_from_s=hkapp-haokan-hbf&auth_key=1742536084-0-0-b0bc588642a1e5555556be80fc4fdcab&bcevod_channel=searchbox_feed&pd=1&cr=2&cd=0&pt=3&logid=2884307607&vid=16648779981624158842&klogid=2884307607&abtest=132219_1'
urlretrieve(url_video,'video.mp4')

Request

        主要作用是为了自定义请求头。

from urllib.request import Request,urlopen

# help(Request)
url = 'http://www.baidu.com'
# 主要是为了自定义请求头啥的
headers = {'User-Agent': 'Mozilla/5.0'}
req = Request(url, headers=headers)
response = urlopen(req)
print(response.read().decode('utf-8'))

build_opener

  创建一个自定义的 OpenerDirector 对象，用于处理请求，可以扩展 urllib.request 的功能，比如支持代理、Cookies、认证等。

        build_opener（处理器）

from urllib.request import build_opener,HTTPHandler

# 创建自定义 Opener
opener = build_opener(HTTPHandler())
response = opener.open('http://www.baidu.com')
print(response.read().decode('utf-8'))

build_opener中的处理器可选值

常用对比

urllib.errors

官网概念

        urllib.error 模块为 urllib.request 所引发的异常定义了异常类。(就是提供了能够捕获request的异常的几个类)。

分类

• URLError：用于处理与 URL 相关的通用错误（如网络不可达、DNS 解析失败等）。

• HTTPError：用于处理 HTTP 请求返回的错误状态码（如 404、500 等）。HTTPError 是 URLError 的子类

使用

from urllib.request import urlopen
from urllib.error import URLError,HTTPError

url = 'http://www.test.com'
# 测试 URLError
try:
    response = urlopen(url)
except HTTPError as e:
    print(f"HTTP 错误: {e.code} - {e.reason}")
    print("Headers:", e.headers)
except URLError as e:
    print(f"URL 错误: {e.reason}")

urllib.parse

官网概念

        该模块定义了一个标准接口，用于将统一资源定位符（URL）字符串拆分为不同部分（协议、网络位置、路径等），或将各个部分组合回 URL 字符串，并将“相对 URL”转换为基于给定的“基准 URL”的绝对 URL。该模块被设计为匹配针对相对统一资源定位符的互联网 RFC。 它支持下列 URL 类别: file, ftp, gopher, hdl, http, https, imap, itms-services, mailto, mms, news, nntp, prospero, rsync, rtsp, rtsps, rtspu, sftp, shttp, sip, sips, snews, svn, svn+ssh, telnet, wais, ws, wss。

为什么要使用编解码，通过下面的例子比如百度一下

# 页面通过百度一下搜索周杰伦 然后看链接就能获取到下面这个 根据这两个方法 有些需要我们转义类似的概念
encoded = "https://www.baidu.com/s?wd=周杰伦"
print(f"quote()方法输出：{quote(encoded.split("=")[1])}")
encoded = "https://www.baidu.com/s?wd=%E5%91%A8%E6%9D%B0%E4%BC%A6"
print(f"unquote()方法输出：{unquote(encoded.split("=")[1])}")

使用

quote

        将字符串中的特殊字符转换为 URL 编码格式（也称为百分号编码）。

参数

• string：需要编码的字符串。

• safe：指定哪些字符不需要编码，默认为 '/'。

• encoding：字符串的编码方式，默认为 None（使用默认编码）。

• errors：编码错误处理方式，默认为 None。

unquote

        将 URL 编码的字符串解码为原始字符串。

参数

• string：需要解码的 URL 编码字符串。

• encoding：解码后的字符串编码方式，默认为 'utf-8'。

• errors：解码错误处理方式，默认为 'replace'。

quote_plus

        将字符串中的特殊字符转换为 URL 编码格式，并将空格替换为 +。

参数

• string：需要编码的字符串。

• safe：指定哪些字符不需要编码，默认为空字符串 ''。

• encoding：字符串的编码方式，默认为 None（使用默认编码）。

• errors：编码错误处理方式，默认为 None。

unquote_plus

        将 URL 编码的字符串解码为原始字符串，并将 + 替换为空格。

参数

• string：需要解码的 URL 编码字符串。

• encoding：解码后的字符串编码方式，默认为 'utf-8'。

• errors：解码错误处理方式，默认为 'replace'。

from urllib.parse import quote,unquote,quote_plus,unquote_plus

# quote()	将字符串中的特殊字符转换为 URL 编码格式。	空格编码为%20	对 URL路径部分进行编码。
# 对字符串进行 URL 编码
encoded = quote('Hello World!')
print(f"quote()方法输出：{encoded}")  # 输出: Hello%20World%21
# 指定不需要编码的字符
encoded = quote('Hello World!', safe='!')
print(f"quote()方法safe参数输出：{encoded}")  # 输出: Hello%20World%21
# unquote()	将 URL 编码的字符串解码为原始字符串。	%20解码为空格	对 URL 路径部分进行解码。
encoded = unquote(encoded)
print(f"unquote()方法输出：{encoded}")  # 输出: Hello World!
# quote_plus()	将字符串中的特殊字符转换为 URL 编码格式，并将空格替换为+。	空格替换为+	对 URL 查询参数部分进行编码。
encoded = quote_plus('Hello World!')
print(f"quote_plus()方法输出：{encoded}")  # 输出: Hello+World%21
# unquote_plus()	将 URL 编码的字符串解码为原始字符串，并将+替换为空格。	+替换为空格	对 URL 查询参数部分进行解码。
encoded = unquote_plus(encoded)
print(f"quote_plus()方法输出：{encoded}")  # 输出: Hello World!

编码和解码方法对比

urllib.robotparser

官网概念

        此模块提供了一个单独的类 RobotFileParser，它可以回答关于某个特定用户代理能否在发布了 robots.txt 文件的网站抓取特定 URL 的问题。

相关概念

urllib.robotparser 是 Python 标准库中的一个模块，用于解析和检查网站的 robots.txt 文件。robots.txt 是网站用来告知网络爬虫哪些页面可以抓取、哪些页面禁止抓取的协议文件。通过urllib.robotparser，你可以轻松地检查某个爬虫是否有权限访问某个 URL。

使用

from urllib.robotparser import RobotFileParser

# 创建 RobotFileParser 对象
rp = RobotFileParser()

# 设置 robots.txt 文件的 URL
rp.set_url('https://www.baidu.com/robots.txt')

# 读取并解析 robots.txt 文件
rp.read()

# 检查访问权限
user_agent = 'MyBot'
urls_to_check = [
    'https://www.baidu.com/',
    'https://www.baidu.com/private/',
    'https://www.baidu.com/public/'
]

for url in urls_to_check:
    if rp.can_fetch(user_agent, url):
        print(f"Allowed: {url}")
    else:
        print(f"Disallowed: {url}")

常用方法

代码路径：pythonPractice: python学习内容练习-代码