摘要: 在 Chrome 59 版本开始已经开始支持了 Headless 模式,也就是无界面模式,这样爬取的时候就不会弹出浏览器了,如果要使用此模式请把 Chrome 升级到 59 版本及以上,启用 Headless 模式的方式如下: 首先创建一个 ChromeOptions 对象,添加一个 headles 阅读全文
posted @ 2019-01-30 16:57 哈喽哈喽111111 阅读(1479) 评论(1) 推荐(0) 编辑
摘要: 直接使用模拟浏览器运行的方式来实现,这样我们就可以做到浏览器看到是什么样,抓取的源码就是什么样,也就是可见即可爬。这样我们就不用再去管网页内部的 JavaScript 用了什么算法渲染页面,不用管网页后台的 Ajax 接口到底有哪些参数,利用模拟浏览器的方式我们都可以直接获取 JavaScript 阅读全文
posted @ 2019-01-30 16:49 哈喽哈喽111111 阅读(487) 评论(0) 推荐(1) 编辑
摘要: 1、Redis本身防护 (1)不要使用默认端口(6379) (2)增加Redis用户名和密码 (3)在Redis绑定指定IP访问(位置配置文件[redis.config]中的bind节点)2、Linux服务器 (1)Redis服务器不要暴露在外网 (2)开启防火墙,限制IP可以访问(iptables 阅读全文
posted @ 2019-01-30 11:24 哈喽哈喽111111 阅读(768) 评论(0) 推荐(0) 编辑
摘要: 前提条件: 安装并运行redis服务端程序,安装RedisPy库 说明:Redis 是 StrictRedis 的子类,它的主要功能是用于向后兼容旧版本库里的几个方法,官方推荐使用 StrictRedis。 1.连接 2.key操作 方法 作用 参数说明 示例 示例说明 示例结果 exists(na 阅读全文
posted @ 2019-01-30 11:21 哈喽哈喽111111 阅读(877) 评论(0) 推荐(1) 编辑