2019年8月12日
数据分析
摘要： 数据分析 数据分析：是把隐藏在一些看似杂乱无章的数据背后的信息提炼出来，总结出所研究对象的内在规律 Numpy Numpy（Numerical Python）是Python语言的一个扩展程序库，支持大量的维度数组与矩阵运算，此外也针对数组运算提供大量的数学函数库。 1、创建ndarray Panda 阅读全文
posted @ 2019-08-12 23:06 blog_wu 阅读(91) 评论(0) 推荐(0) 编辑
反爬机制
摘要： 总结篇~~~ 目前了解到的反爬机制：1、robots 2、US伪装 3、代理 4、Cookie 5、动态变化的请求参数 6、验证码 7、图片懒加载 8、页面动态加载的数据 9、js混淆 10、js加密 案例：气象站动态js数据爬取 function Base64() { _2 = "ABCDEFGH 阅读全文
posted @ 2019-08-12 21:54 blog_wu 阅读(302) 评论(0) 推荐(0) 编辑
Scrapy进阶
摘要： 图片下载的管道 彼岸图网的实例 import scrapy from imgPileLinePro.items import ImgpilelineproItem class ImgSpider(scrapy.Spider): name = 'img' # allowed_domains = ['w 阅读全文
posted @ 2019-08-12 20:00 blog_wu 阅读(259) 评论(0) 推荐(0) 编辑