get请求（豆瓣电影第一页爬取）

目录

（一）需要的python库

import urllib.request

 import urllib.parse

（二）找到url和headers

url

headers

（三）创建一个请求对象和返回一个响应对象

创建一个请求对象

 返回一个响应对象

 （四）读取内容和写入文档

读取内容

写入文档

 （五）完整代码

 （六）结果​

（一）需要的python库

import urllib.request

import urllib.request导入了 urllib 模块中的 request 子模块，这个子模块提供了打开 URL（包括 HTTP、FTP 等协议）的功能，可以用于从网络上获取资源，比如发送 HTTP 请求获取网页内容等。

 import urllib.parse

import urllib.parse导入了 urllib 模块中的 parse 子模块，这个子模块主要用于解析 URL 和对 URL 中的参数进行编码和解码等操作，例如将字典形式的参数转换为 URL 编码的查询字符串，或者从 URL 中解析出参数等

（二）找到url和headers

url

https://movie.douban.com/j/chart/top_list?type=5&interval_id=100%3A90&action=&start=0&limit=20

headers

（三）创建一个请求对象和返回一个响应对象

• 创建一个请求对象

Headers = urllib.request.Request(url=url,headers=header)

•  返回一个响应对象

response = urllib.request.urlopen(Headers)

 （四）读取内容和写入文档

• 读取内容

content = response.read().decode('utf-8')

• 写入文档

open方法默认情况下使用的gbk的编码  如果我们想要保存中文  那么要在open方法中指定编码 utf-8

with open('豆瓣.json','w',encoding='utf-8') as fp:
    fp.write(content)

 （五）完整代码

import urllib.request
import urllib.parse

url = 'https://movie.douban.com/j/chart/top_list?type=5&interval_id=100%3A90&action=&start=0&limit=20'

header = {
"user-agent":
"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/129.0.0.0 Safari/537.36"
}

Headers = urllib.request.Request(url=url,headers=header)

response = urllib.request.urlopen(Headers)

content = response.read().decode('utf-8')
#open方法默认情况下使用的gbk的编码  如果我们想要保存中文  那么要在open方法中指定编码 utf-8
with open('豆瓣.json','w',encoding='utf-8') as fp:
    fp.write(content)

 （六）结果

加速中。。。