【python爬虫】scrapy在pycharm 调试
scrapy在pycharm 调试
1、使用scrapy创建一个项目
scrapy startproject tutorial
2、在朋友pycharm中调试scrapy
2.1 通过文件run.py调试
在根目录下新建一个文件run.py（与scrapy.cfg文件的同一目录下）, debug ‘run’即可
# -*- coding:utf-8 -*-
from scrapy import cmdline
# quotes 对应的是爬虫名 在cmd运行 scrapy crawl quotes 同步
cmdline.execute("scrapy crawl quotes".split())
调试与运行
2.2 配置环境调试
复制cmdline.py到项目主目录
找到scrapy下的cmdline.py文件（比如我这里是D:\python3.10.2\Lib\site-packages\scrapy\cmdline.py）复制一份到tutorial项目的根目录下（scrapy.cfg文件的同一目录下）
编缉文件调试运行配置
调试与运行
