爬取中国裁判文书网（2020年初版本版，网上大多是18年的很老，而且已经不实用，我并没有在里面看到guid）

来源：https://blog.csdn.net/qq_39697564/article/details/106859137

1.序言

因业务需要去爬取裁判文书网，查看了网上的诸多教程发现裁判文书网的反爬更新频率很高，但是从19年8月份更新之后再也没有新的更新了。估计是现在的反爬已经足够使用了，裁判文书网的反爬主要有四种。听我一一道来

2.正文#

裁判文书网的反爬主要分为两部分，第一部分是请求列表页的data内有三个加密的参数：

(1).pageid

(2).ciphertext

(3).__RequestVerificationToken

这三个参数的加密方式其实很容易就能找到，通过chrome的network的全局搜索就可以找到这三个参数加密的js代码，只需要拷贝下来之后使用pyexecjs模块来运行这些js其实就可以获得这三个加密的参数了，然后放到post请求的data内去请求就可以返回数据了。当然如果就这么简单的话，这个政府网站就不值得还在这里记录一下了，因为这个网站最难的反爬在于当请求成功后的页面返回的数据，其实是一个混淆js的。这个地方的反爬用到了瑞数加载的js，我们需要先把这个js混淆先理通然后将获取到的新cookie再次的请求本来的连接，才可以获得想要的数据。当是好多人都是卡在了瑞数这个地方。

先将前三个参数加密的js截图贴在这里，供大家进行参考：