当前位置: 首页 > article >正文

免费爬虫软件“HyperlinkCollector超链采集器v0.1”

HyperlinkCollector超链采集器单机版v0.1

软件采用python的pyside2和selenium开发,暂时只支持window环境,抓取方式支持普通程序抓取和selenium模拟浏览器抓取。软件遵守robots协议。

首先下载后解压缩,然后运行app目录下的HyperlinkCollector.exe

运行后,我们先创建一个采集项目。

主要是填写项目名称和起始页url,如果采集多个列表页,可以添加完成后在“设置起始页”中进行修改。

创建好项目后,我们右键选择一个起始页,然后选择“抓取测试”,运行后,会在下面显示抓取到的url。

这里我以抓取东方财富网新闻为例:我们要抓取文章的内容,设置一下内容页URL的规则,比如这里我们在“url必须包含”中填写“finance.eastmoney.com/a/”。

然后再重新右键选择起始页进行抓取测试。这时候获取的url就是根据我们设置的规则获取的内容url。然后继续选择其中一条内容url,右键选择“抓取测试”。这时候,测试结果里会显示抓取的内容字段(系统默认添加了一个title和一个body)。

点击切换到“预览”标签,这里显示的是内容页url的预览 ,可以鼠标划取要抓取的内容部分,比如我们要抓取文章内容,我们可以只划取内容开头的一段文字,这时候会弹出一个快捷菜单,可以获取所选内容的xpath或者css选择器名称。

我这里以css选择器为例,点击“获取css选择器”之后,弹出窗口中,显示了包含所选内容的所有”css选择器名称”,这里可以对给出的css选择器进行测试,我们选择其中一个对应的。这里需要注意:获取的css选择器是当前选择内容的css选择器,实际中可能需要的是它的父级,这个要根据实际情况进行调节。比如我要抓取整篇文章,但划取后给出的css选择器是“html>body>div.main>div.contentwrap>div.contentbox>div.mainleft>div.zwinfos>div.txtinfos>p” ,只是其中我划取的那一段。这时候可以直接在文本框中修改,使用当前的父级“html>body>div.main>div.contentwrap>div.contentbox>div.mainleft>div.zwinfos>div.txtinfos”,然后再点击测试按钮,看看获取的内容是否正确。

设置完成后,选择”添加到采集字段”,将设置的 “css选择器”添加到采集字段

然后写一个字段名称保存。然后可以再进行一次测试看是否正常。

最后选择”保存当前项目设置”,设置任何修改后,要记得保存,否则采集时还是按以前的规则采集。

做完上面设置后,我们可以在左边的 项目列表中,右键选择刚刚设置的项目,然后选择“运行所选项目”

然后软件就会进行抓取。

数据保存,可以设置保存为excel或导出到接口,默认情况时保存到excel。但实际应用中更实用的时通过一个接口程序保存,以便根据自己的需求对采集数据进行二次加工处理。保存到接口时,数据是以json格式post提交的。设置中给了一个php接收的示例,您可以根据实际情况进行修改。

CSDN下载地址:

免费爬虫软件“HyperlinkCollector超链采集器v0.1”单机版

软件现在免费使用,有些功能还在不断完善中,如果您在使用软件中有什么问题,或者有开发需求,可以与我联系。


http://www.kler.cn/a/300603.html

相关文章:

  • Typora + PowerShell 在终端打开文件
  • Jenkins-Pipeline简述
  • 爬虫第二篇
  • GPT-5 传言:一场正在幕后发生的 AI 变革
  • 鲍厚霖:引领AI广告创新,搭建中美合作桥梁
  • PyTorch DAY2: 搭建神经网络
  • Day8 | Java框架 | Maven
  • 【EI稳定,马来亚大学主办】2024年计算机与信息安全国际会议(WCCIS 2024,9月27-29)
  • Mac M芯片上安装统信UOS 1070arm64虚拟机
  • React实现虚拟列表的优秀库介绍
  • pyecharts可视化数据大屏【详细教程】
  • Flutter之SystemChrome全局设置
  • hpl 的测试配置文件 HPL.dat 的内容说明
  • Eclipse WEB项目在IDEA中使用
  • 《系统安全架构设计及其应用》写作框架,软考高级系统架构设计师
  • RabbitMQ练习(AMQP 0-9-1 Overview)
  • github actions CICD简单使用案例
  • uniapp 各个端接入腾讯滑动行为验证码示例
  • 毕业论文word页眉页脚和页码的问题
  • 【笔记】自动驾驶预测与决策规划_Part1_自动驾驶决策规划简介
  • WinCC Professional 变量的线性转换
  • Java 每日一刊(第4期):Java 23 即将发布
  • CCF编程能力等级认证GESP—C++4级—20240907
  • ES-Search API
  • TCP 拥塞控制:一场网络数据的交通故事
  • Docker 镜像的发布过程