摘要: 一、ASCII 码 我们知道,计算机内部,所有信息最终都是一个二进制值。每一个二进制位(bit)有0和1两种状态,因此八个二进制位就可以组合出256种状态,这被称为一个字节(byte)。也就是说,一个字节一共可以用来表示256种不同的状态,每一个状态对应一个符号,就是256个符号,从00000000 阅读全文
posted @ 2019-03-08 21:52 ★行者尚★ 阅读(293) 评论(1) 推荐(1) 编辑
摘要: 一.提升scrapy爬取数据的效率 增加并发 默认scrapy开启时并发线程为32个,可以适当的增加 CONCURRENT_REQUESTS =32 降低日志级别 在运行scrapy时,会有大量的日志信息输出,为了减少CPU的使用路,可以设置log的输出信息为error即可 LOG_LEVEL="E 阅读全文
posted @ 2019-03-08 17:34 ★行者尚★ 阅读(162) 评论(0) 推荐(0) 编辑
摘要: 一.手动发送get请求(处理分页操作)(递归解析) 在爬虫文件中 在items.py中 在管道文件中 二.post请求(以百度翻译为例) 三.cookie的处理 使用scrapy模块,不需要自己处理cookie,scrapy模块已经帮我们处理了,但是一定要先登录才可以 使用方式:修改配置文件 四.请 阅读全文
posted @ 2019-03-08 17:34 ★行者尚★ 阅读(257) 评论(0) 推荐(0) 编辑