摘要：
Web项目测试通过标准 启动jemter BadBoy录制（模拟浏览器工具） 把jemter设置成中文 阅读全文
摘要：
分布式爬虫的原理 scrapy分布式爬取的实现 搭建redis服务器 部署代理池和cookie池 配置scrapy redis Bloom Filter(判断一个元素是否存在集合中) scrapy去重 阅读全文
摘要：
猫眼电影简单的分析实例 python coding: utf 8 """ Created on Sat Apr 14 14:45:49 2018 @author: Administrator """ ''' 爬猫眼网站TOP100的电影数据： http://maoyan.com/board/4?of 阅读全文
摘要：
爬虫基础 URL&&URI 请求方法：GET&&POST 响应 基本库的使用 urllib urlopen(传递参数data) urlopen(设置超时timeout) 打开网站需要验证账号密码可以借助HTTPBasicAuthHandler完成 代理IP,ProxyHandler Cookie 解 阅读全文
摘要：
1.在windows下载好文件（ubuntu下载太慢了） 2.把下载好的包放入到downloads(路径只要自己喜欢就好) 3.使用终端cd到downloads文件夹 4.终端输入bash ana.........sh 5.一直按回车阅读，然后输入yes，最后添加环境变量就可以用了 阅读全文
摘要：
anaconda安装 打开浏览器的开发者模式 设置 更多工具 扩展程序 安装xpath解析工具到浏览器扩展程序 使用xpath插件查询元素ctrl+shif+x 获取url地址并获取源码 把获取的URL响应内容从字节转换成字符decode 创建一个新的User Agent 返回url的影响码getc 阅读全文