爬虫练习(js逆向解密)
目标
网站地址交易列表 - 福建省公共资源交易电子公共服务平台 (fj.gov.cn)
抓取内容如下:
分析
查找js代码
点击下一页翻页的时候,查看请求返回的数据,发现data数据是经过加密后得到的
通过全局搜索data,发现有两千多个结果,一个一个去找是会非常麻烦,所有可以查一下其它的值,例如msg
查找msg后,只有3个js文件,这样大大降低了我们的查询难度,只需要一个一个文件去看就好了。
通过挨个查找msg,我们发现了以下部分js代码,其中json.parse一般是用于js中数据解密的。所以我们可以猜测这个部分的代码就是和data数据加密有关。
证明
通过打断点刷新页面后我们发现,此时传入的数据e.Data就是我们之前得到的未加密数据,据,e.Data经过b()函数解密后得到数据。我们可以直接在控制台输入b(e.Data)来查看解码后的结果。
所以我们想要的解密函数就是b函数,鼠标悬停在b上,直接追溯到b函数的位置,得到以下结果,可以很清楚的看到用的是AES加解密。
JS代码补环境
新建js文件,将b函数摘到js文件中,导入crypto-js包,同时将h.a替换成CryptoJS
继续在浏览器中对b函数打断点进行分析。通过多次刷新跳转页面,发现e的值固定是"EB444973714E4A40876CE66BE45D5930",i的值固定是"B5A8904209931867",无论跳转到第几页这两个值都是不变的,而t则是我们输入的未解密数据。
使用固定值替换,同时引入一个固定的t,在命令窗口下运行该js,擦看是否可以运行。
修改后的测试js如下:
命令窗口运行结果如下:
成功解密,说明js编写没有问题
python与js结合
在完成js文件的编辑后,我们需要使用python程序调用js文件,进行解密。
后续问题
在固定data值下python可以正常运行,当继续访问网页解析代码后,发现无法获取到页面元素。这里猜测和时间戳有关,过了一段时间后portal-sign值就会改变,所以需要继续查询网页的js代码,找到portal-sign是如何生成的
全局搜索portal-sign,只有一处
portal-sign是通过f.getSign(e)获得,继续打断点获取数据。
看到e中有ts属性,可以猜测到这个是和时间戳有关系的。
通过逆向查找getSign()函数,补全js代码,如下:
在发送到url的请求中替换ts为当前的时间戳
head头中的portal-sign替换为js的运行结果:
代码运行结果如下,拿到数据后有很多方法去处理,这里就不再多写了:
源码
py源码
import time
import requests
import json
import execjs
with open('./tests.js', 'r', encoding='utf-8') as f:
ctx = execjs.compile(f.read())
data = {
"pageNo": 3,
"pageSize": 20,
"total": 3675,
"AREACODE": "",
"M_PROJECT_TYPE": "",
"KIND": "GCJS",
"GGTYPE": "1",
"PROTYPE": "",
"timeType": "6",
"BeginTime": "2024-03-01 00:00:00",
"EndTime": "2024-09-01 23:59:59",
"createTime": [],
"ts": int(time.time()*1000)
}
headers = {
"Accept": "application/json, text/plain, */*",
"Accept-Language": "zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6",
"Connection": "keep-alive",
"Content-Type": "application/json;charset=UTF-8",
"Origin": "https://ggzyfw.fj.gov.cn",
"Referer": "https://ggzyfw.fj.gov.cn/business/list/",
"Sec-Fetch-Dest": "empty",
"Sec-Fetch-Mode": "cors",
"Sec-Fetch-Site": "same-origin",
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/128.0.0.0 Safari/537.36 Edg/128.0.0.0",
"portal-sign": ctx.call('d2', data),
"sec-ch-ua": "\"Chromium\";v=\"128\", \"Not;A=Brand\";v=\"24\", \"Microsoft Edge\";v=\"128\"",
"sec-ch-ua-mobile": "?0",
"sec-ch-ua-platform": "\"Windows\""
}
cookies = {
"ASP.NET_SessionId": "vj2wan2om5jhh1x5ou3vvcob"
}
url = "https://ggzyfw.fj.gov.cn/FwPortalApi/Trade/TradeInfo"
data = json.dumps(data, separators=(',', ':'))
response = requests.post(url, headers=headers, cookies=cookies, data=data).json()
text = response['Data']
print(text)
res = ctx.call('bbb', text)
print(res)
js源码
//npm install crypto-js
const CryptoJS = require('crypto-js')
function bbb(t) {
//"EB444973714E4A40876CE66BE45D5930"
//"B5A8904209931867"
var e = CryptoJS.enc.Utf8.parse("EB444973714E4A40876CE66BE45D5930")
, n = CryptoJS.enc.Utf8.parse("B5A8904209931867")
, a = CryptoJS.AES.decrypt(t, e, {
iv: n,
mode: CryptoJS.mode.CBC,
padding: CryptoJS.pad.Pkcs7
});
return a.toString(CryptoJS.enc.Utf8)
}
function l(t, e) {
return t.toString().toUpperCase() > e.toString().toUpperCase() ? 1 : t.toString().toUpperCase() == e.toString().toUpperCase() ? 0 : -1
}
function u(t) {
for (var e = Object.keys(t).sort(l), n = "", a = 0; a < e.length; a++)
if (void 0 !== t[e[a]])
if (t[e[a]] && t[e[a]]instanceof Object || t[e[a]]instanceof Array) {
var i = JSON.stringify(t[e[a]]);
n += e[a] + i
} else
n += e[a] + t[e[a]];
return n
}
function d2(t) {
for (var e in t)
"" !== t[e] && void 0 !== t[e] || delete t[e];
var n = "B3978D054A72A7002063637CCDF6B2E5" + u(t);
return CryptoJS.MD5(n).toString().toLowerCase()
}