基于Scrapy采集豆瓣电影Top250的详细数据
基于Scrapy采集豆瓣电影Top250的详细数据
- Scrapy 官方文档：https://docs.scrapy.org/en/latest/
- 豆瓣电影Top250官网：https://movie.douban.com/top250
写在前面
-
实验目的：基于Scrapy框架采集豆瓣电影Top250的详细数据。
-
电脑系统：
Windows -
使用软件：
PyCharm、Navicat -
Python版本：
Python Python 3.12.4 -
技术需求：
scrapy、openpyxl、pymysql
数据采集
0.注意事项
该部分主要使用scrapy框架爬取豆瓣电影Top250的数据。
请注意：本文使用的方法在爬取豆瓣网时可能会将你的ip封禁，不过不用担心，隔天会解封。
可以使用动态ip进行爬取（