python爬虫非对称加密RSA案例:某观鸟网站
声明:
该文章为学习使用,严禁用于商业用途和非法用途,违者后果自负,由此产生的一切后果均与作者无关
一、找出需要加密的参数
- js运行 atob(‘aHR0cDovL2JpcmRyZXBvcnQuY24vaG9tZS9hY3Rpdml0eS9wYWdlLmh0bWw=’) 拿到网址,F12打开调试工具,点击分页发送请求,找到 front/activity/search 请求
- 分析请求头、参数、响应结果会发现响应结果 data、参数、header里面的sign、Requestid 加密
- 鼠标右击请求找到Copy>Copy as cUrl(cmd),打开网站:https://spidertools.cn/#/curl2Request,把拷贝好的curl转成python代码,新建 guanniao.py,把代码复制到该文件
- 新建 guanniao.js 文件,用于放扣下的代码
二、分析参数、requestId、sign加密
- 切换到sources,添加XHR拦截 front/activity/search
- 点击分页发送请求,看到域中没有,显示参数的明文信息、headers中没有相关的加密字段,往上找代码,会发现 ajax 函数,ajax函数内部会发现 setRequestHeader 函数,在 setRequestHeader 内部打上断点
- 结束此次调试,点击分页发送请求,进入刚才的 setRequestHeader 断点后,一直点击跳过断点,当发现 requestId 时,点击跳出该函数,会发现请求参数、sign、requestId都是在此处加密,在函数内部打上断点
- 结束此次调试,点击分页发送请求,点击跳过端点,一直到sign、requestId加密的断点,分析代码会发现请求参数是 b.data = encrypt.encryptUnicodeLong(e) 加密,requetId是 d = getUuid() 生成,sign是 f = MD5(e + d + c) 生成,e是明文参数、d是requetId、c是时间戳,sign从名字上看是 MD5 加密,把加密数据e + d + c、加密之后的值f在控制台打印,打开 https://spidertools.cn/#/crypto ,把打印成功的加密数据,通过该网站生成 MD5加密,会发现和MD5加密结果一样,说明 sign 确实是 MD5 加密,而且未被魔改,把 beforeSend 中的代码拷贝到 guanniao.js,并把 sign 的 MD5 替换成库里的MD5
- 分析代码会发现 b.data = encrypt.encryptUnicodeLong(e) 中的 encrypt 是 var encrypt = new JSEncrypt(),new JSEncrypt是AES加密,把鼠标悬浮到 getUiid,点击蓝色部分找到该方法,会发现需要的函数都在同一个文件内,把代码复制到 guanniao.js,并引入 jsencrypt 库实现RSA加密
三、验证参数、requestId、sign加密结果
- 把断点打到 b.data,结束此次调试,点击分页发送请求,跳到该断点后,把 b.data 打印到控制台,把打印结果复制到 guanniao.js
- 运行 guanniao.js 会发现,报错 encrypt.encryptUnicodeLong is not a function ,把鼠标悬浮到 encrypt.encryptUnicodeLong,点击蓝色部分找到该方法,会发现文件内定义了 window.JSEncrypt 不是用 jsencrypt 标准库里的加密方法 encrypt.encrypt,把 encrypt.encryptUnicodeLong 替换成 encrypt.encrypt,运行guanniao.js,会发现没有报错,说明 encrypt.encryptUnicodeLong 就是 encrypt.encrypt,没有被魔改
- 修改 guanniao.py,并运行文件,数据获取成功
四、解密请求参数 data
- 取消所有断点,点击分页发送请求,一直点击跳过函数调用,直到看到 ajax 的 success 方法,看不到该函数的可以再点击跳过函数调用后,看看上下的代码,栈的位置在 F.pullData,在 success 方法内部打上断点
- 点击跳过断点,会发现 a.parseData(t),响应结果 t 经过了 a.parseData 处理,鼠标悬浮 a.parseData,点击蓝色部分找到该方法位置,会发现 parseData 函数,鼠标悬浮到 BIRDREPORT_APIJS.decode,点击蓝色部分找到该方法位置,会发现是 AES 加密 this.key、this.iv 说明 this.url、key、iv 在该文件,往上找代码会发现这三个的值,把代码复制到 guanniao.js
- 验证解密结果,把 t.data 在控制台打印出来,把打印结果复制到 guanniao.js,运行 guanniao.js,调试工具点击跳过函数调用,再把解密后的 t.data 打印出来,两个结果比会发现相同
五、python验证结果
- 修改 guanniao.py,并运行,数据获取成功,且已经解密,把解密结果和网页第一页数据在做对比会发现,结果相同