文章分类 - 爬虫进阶
摘要：selenium常用功能 作者：elfin 一、解除”正受到自动测试软件的控制“警告 from selenium import webdriver from selenium.webdriver.common.keys import Keys chrome_options = webdriver.C
阅读全文
摘要：通过selenium库请求拿到目标网站的cookie，然后用cookie去请求目标网站，可以省略登陆操作 以微博为例，先获取登陆的cookie： 使用requests请求时带上cookie，可以直接登陆首页而不需要设置登陆操作。这里可能出问题，可以采用： 在请求之前一定要先请求一下目标网站。 这里要
阅读全文
摘要：滑动验证码破解案例 上面的代码遇到的问题主要是验证码正确移动到位却被拒绝。这里主要要模仿人类的操作习惯，即移动的间歇性和移动的速率变化。 代码通过分段移动和变化(随机)处理加速度，并控制速度，使得正确率非常高。这个案例是极验的一般情况，也是遇到比较多的情 况。后面我们将对一些特殊的滑动验证码给出其他
阅读全文
摘要：验证码识别分类 1.字符型验证码 2.滑动验证码 3.点击类验证码 PIL库是图片处理的一个库(pillow)，一般pycharm里可以直接安装pillow，或者在cmd里用pip安装 图片的模式有RGB和L(灰度)模式；基本信息： 图片剪切，获取大小和像素值(RGB三个通道的值)，模式切换： 图片
阅读全文
摘要：phantomjs简介--python PhantomJS是一个无界面的,可脚本编程的WebKit浏览器引擎。它原生支持多种web 标准：DOM 操作，CSS选择器， JSON，Canvas 以及SVG。 phantomjs常用配置： 不载入图片，爬页面速度会快很多： 设置代理： 打开带配置信息的p
阅读全文
摘要：页面等待 现在的大多数的Web应用程序越来越多采用了 Ajax 技术，以及程序不能确定何时某个元素完全加载出来了。这会让元 素定位困难而且会提高产生 ElementNotVisibleException 的概率。在selenium当中共有两种等待页面加载的方式，显示等 待和隐示等待。 显式等待：指定
阅读全文
摘要：selenium页面交互 打开网页： 1 import time 2 from selenium import webdriver 3 4 driver = webdriver.Chrome() 5 6 driver.get('https://www.baidu.com') 7 8 try: 9 d
阅读全文
摘要：爬虫：微博登陆的js代码调试 设置鼠标单击事件断点调试之后，js代码中光标运行到 f 函数，我们执行下一步直到 g 函数，执行完 g 函数之后又循环 到 f 函数，这时候再次单步进入 g 函数，执行到 k 函数，单步进入。在执行 k 函数的return时，单步进入，执行完里面的 码，这个时候一定要注
阅读全文
摘要：加密算法的简介 据记载，公元前400年，古希腊人发明了置换密码。1881年世界上的第一个电话保密专利出现。在第二次世界大战期间，德 国军方启用“恩尼格玛”密码机，密码学在战争中起着非常重要的作用。随着信息化和数字化社会的发展，人们对信息安全和保密的 重要性认识不断提高，于是在1997年，美国国家标准
阅读全文
摘要：爬虫与反爬虫知识 网络爬虫与反爬虫： 网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网下载网页，是搜索引擎的重要组成。但是当网络爬虫被滥用 后，互联网上就出现太多同质的东西，原创得不到保护。于是，很多网站开始反网络爬虫，想方设法保护自己的内容。他 们根据IP访问频率，浏览网页速度，账户登录，输
阅读全文
