使用chrome 扩展书签自动保存网页，辅助采集
该文被密码保护。
posted @ 2024-02-01 17:21
随笔分类 - 爬虫
scrapy 响应文本乱码(不支持Brotli解压)
摘要：一.介绍 在scrapy中，默认不支持Brotli解压，当发现响应乱码时，如何分析确定是由Brotli压缩引起的呢？ 1）是看请求头是否有'Accept-Encoding': "gzip, deflate, br" 中的br，如果去掉br 再请求网页，如果响应不成功，则表示服务端只支持br压缩格式，
阅读全文
posted @ 2024-01-31 10:59
javascript逆向--PyExecJS模拟执行破解compress加密网站(11)
摘要：一.digikey网站分析 下面结合digikey网站的案例来分析：访问：https://www.digikey.cn/zh/products/filter/logic/buffers-drivers-receivers-transceivers/704 这个网站。通过浏览器开发工具知道，参数过滤是
阅读全文
posted @ 2023-09-11 17:11
js逆向--使用Tampermonkey监控、定位JavaScript操作cookie(10)
该文被密码保护。
posted @ 2023-08-16 11:22
js逆向--PyExecJS模拟执行javascript破解MD5加密网站(6）
摘要：一.立创网站分析 下面结合立创网站的案例来分析：访问：https://so.szlcsc.com/global.html?k=LM358 这个网站，作用是查询"LM358"关键词相关的物料价格信息。通过浏览器开发工具知道，物料价格数据是通过ajax的https://so.szlcsc.com/pro
阅读全文
posted @ 2023-08-07 16:14
js逆向--PyExecJS模拟执行javascript破解AES加密网站(5）
该文被密码保护。
posted @ 2023-08-02 14:42
js逆向--反爬介绍(1)
摘要：一.介绍： 近几年大数据的发展，各个公司的数据保护意识越来越强，随着前端技术的发展，前端代码的打包技术，混淆技术，加密技术层出不穷，使各公司可以在前端对js代码采取一定的保护，比如变量名混淆，执行逻辑混淆，反调试，核心逻辑加密等，使得我们没法轻易地找出js代码中包含的执行逻辑。 对于反爬网站复杂的，
阅读全文
posted @ 2023-07-11 17:54
curl 用法以及验证代理ip
摘要：说明： 1）在程序中，使用代理ip请求目标网站时，有的网站会返回403或其它错误，这时可以通过命令方式来验证代理ip是否可用。 在linux中，使用curl ，下面使用阿布云代理ip请求目标网站，来确认是否能正确响应数据 curl -x "http://http-dyn.abuyun.com:902
阅读全文
posted @ 2023-06-20 11:08
使用cmd 执行scrapy命令
摘要：说明： 在使用scrapy的playwright爬取时，需要打开浏览器才能抓取到，所有要部署到windows环境中，在win服务器中安装配置好python环境后，把scrapy项目的源码复制到服务器目录中，这里服务器项目的目录是：C:\python-project\ebs-python-crawle
阅读全文
posted @ 2023-04-06 10:15
scrapyrt 部署到docker
摘要：一.背景 scrapyrt是实时抓取api框架，我们生产环境一直使用默认的python 3.6.8环境，来部署的scrapyrt。但由于自动化抓取playwright至少需要python 3.7以上，又因为阿里云centos 8默认的python 3.6.8升级后带来很多不便，现在需要将scrapy
阅读全文
posted @ 2022-12-28 10:57
