Gerapy 分布式爬虫管理框架
什么是 Gerapy
Gerapy 是一个基于 Scrapy 的分布式爬虫管理框架。它提供了一个图形化的用户界面，使得用户可以更方便地进行 Scrapy 项目的管理和调度。Gerapy 支持项目的创建、编辑、部署以及调度任务的管理。
功能作用
- 项目管理：Gerapy 允许用户通过 Web 界面创建、编辑和管理 Scrapy 项目。
- 部署功能：用户可以直接通过 Gerapy 部署 Scrapy 项目到多台服务器，实现分布式爬取。
- 任务调度：Gerapy 提供了任务调度功能，可以定时运行爬虫任务，并支持任务的监控和管理。
- Web UI 界面：Gerapy 提供了一个简单易用的 Web 用户界面，使得管理和运行爬虫变得更加直观和方便。
安装 Gerapy
pip install gerapy使用 gerapy -v 查看是否安装成功
初始化 Gerapy 项目
gerapy init
会在命令执行目录生成一个 gerapy 文件
启动 Gerapy 服务
在 gerapy 项目目录下执行以下命令：
gerapy migrate # 初始化数据库sqlite3数据库
gerapy runserver # 启动 gerapy 服务 
访问 gerapy 的web页面地址：http://127.0.0.1:8000/
创建登录账号密码
gerapy createsuperuser
主机管理
添加 Scarpyd 主机节点
运行 Scrapyd 爬虫（Scrapyd 中要有 Scrapy项目）
Scrapyd 中的 Scrapy 项目列表（只能添加，不能删除）
项目管理
把自己原本的Scrapy项目压缩成zip包 。或者把scarpy项目copy到gerapy/projects目录下即可。
然后编辑 scrapy.cfg文件
然后部署项目到主机
任务管理
创建任务
效果
