摘要:转载:https://mp.weixin.qq.com/s?__biz=MzIwNDI1NjUxMg%3D%3D&chksm=8d314fc8ba46c6de5e29f6001a7a9a3fd7705a16ec37bd77cf0f975d323fe91ce36017f8ee65&idx=2&mid=
阅读全文
摘要:js逆向技巧分享 当我们抓取网页端数据时,经常被加密参数、加密数据所困扰,如何快速定位这些加解密函数,尤为重要。本片文章是我逆向js时一些技巧的总结,如有遗漏,欢迎补充。 所需环境:Chrome浏览器 1. 搜索 1.1 全局搜索 适用于根据关键词快速定位关键文件及代码 当前页面右键->检查,弹出检
阅读全文
摘要:一、字符串 stringsPython操作Redis的redis模块对字符串(string)的主要操作函数包括:SET、GET、GETSET、SETEX、SETNX、MSET、MSETNX、INCR(INCRBY,DECR,DECRBY在python中庸同一个函数incr实现)、APPEND、SET
阅读全文
摘要:被管理节点开启ssh服务,且python版本在2.4以上 管理节点可以免密登录到被管理节点 加密:ansible-vault encrypt temp.yaml 解密:ansible-vault decrypt temp.yaml ansible vault通过AES-256加密算法对文件进行加密
阅读全文
摘要:作为一个C/C++程序员,搞清楚从编写源代码到程序运行过程中发生的细节是很有必要的。这在之前也是困扰我的一个很大问题,因为最近在忙着找实习,一直没有下定决心来写这篇博客,最近才抽时间写。下面的代码除了明显贴出来的以外,其他的都以下面的代码为例进行说明: int gdata1 = 10; int gd
阅读全文
摘要:讲反爬的一些文章:https://mp.weixin.qq.com/mp/appmsgalbum?__biz=MzkyMTAwMjQ4NA==&action=getalbum&album_id=1343603505579327489&scene=173&from_msgid=2247484008&f
阅读全文
摘要:今天的目标网站是某彩票网站博X网。其主要的反爬技术为字体反爬,话不多说,我们直接开始! 我们想要获取的是具体的开奖号码,此号码是通过蓝色的小球表示的,如何获取呢? 观察NetWork后,我们很容易发现这些号码数据等信息都以json的形式放在下图红色圈出的html页面中。 而这些号码数据是以类似于&#
阅读全文
摘要:今天的主角是滑动验证码,现在有很多网站使用了极验验证码来智能反爬虫,其中有一种是滑动验证码,具体来说就是拖动滑块来拼合图像,若图像完全拼合,则验证成功。下图是B站的登录验证码,便是采用了极验的滑动验证码,一起来看看如何破解吧! 先打开B站的登录页面,https://passport.bilibili
阅读全文
摘要:通过User-Agent来控制访问 无论是浏览器还是爬虫程序,在向服务器发起网络请求的时候,都会发过去一个头文件:headers,比如知乎的requests headers 这里面的大多数的字段都是浏览器向服务器”表明身份“用的 对于爬虫程序来说,最需要注意的字段就是:User-Agent 很多网站
阅读全文
摘要:JavaScript 和 HTML DOM 参考手册:https://www.runoob.com/jsref/jsref-tutorial.html HTML DOM 事件对象参考手册:https://www.runoob.com/jsref/dom-obj-event.htmlHTML DOM
阅读全文
摘要:在scrapy中发送post请求可以用 FormRequest,但发送的 Content-Type 的值是 application/x-www-form-urlencoded ,不适用Content-Type不支持这种情况的网站 这是可以用 Request 发送post请求,如下: from scr
阅读全文