摘要: 二叉树 相关名词 根节点 左叶子节点 右叶子节点 子树 高度 二叉树的排序方式: - 广度遍历(层级遍历) - 深度遍历 - 前序(根左右):在前序遍历中,我们首先访问根节点,然后递归地做左侧子树的前序遍历,随后是右侧子树的递归前序遍历。 - 中序(左根右):在一个中序遍历中,我们递归地对左子树进行 阅读全文
posted @ 2019-08-16 22:09 blog_wu 阅读(273) 评论(0) 推荐(0) 编辑
摘要: 冒泡排序 第一步:将原始列表中的最大值找出且放置在列表最右侧(将元素两两比较,将数值大的数逐步向后移动 第二步:重复第一步。 代码实现: 选择排序 第一步:将列表中的最大值一次找出,放置在列表最右侧。 同样重复第一步。 代码:第一步: 第二步: 最终版: 插入排序 1.把整个无序列表想象成两个列表: 阅读全文
posted @ 2019-08-16 21:27 blog_wu 阅读(134) 评论(0) 推荐(0) 编辑
摘要: is 与 == 的区别 python的反射 利用字符串的形式去对象(模块)中操作(寻找/检查/删除/设置) 函数中的*args,**kwargs 用于函数的形式参数,当我们定义函数的时候,不确定参数的个数时用, *args.可以传递任意数量的位置参数 -- 以元组形式存储 **kwargs可以传递任 阅读全文
posted @ 2019-08-16 20:59 blog_wu 阅读(175) 评论(0) 推荐(0) 编辑
摘要: 概念 计算机科学 计算机科学是对问题、解决问题以及解决问题的过程中产生的解决方案的研究。 计算机科学也被认为是对算法的研究,其实算法就是对问题进行处理求解的一种实现思路或者思想。 形象的理解算法 比如古代打仗,需要有战略,目的是在最短时间内并且低成本低消耗的情况下取得战争胜利。 将打仗比喻成编码,那 阅读全文
posted @ 2019-08-15 21:54 blog_wu 阅读(112) 评论(0) 推荐(0) 编辑
摘要: 数据分析 数据分析:是把隐藏在一些看似杂乱无章的数据背后的信息提炼出来,总结出所研究对象的内在规律 Numpy Numpy(Numerical Python)是Python语言的一个扩展程序库,支持大量的维度数组与矩阵运算,此外也针对数组运算提供大量的数学函数库。 1、创建ndarray Panda 阅读全文
posted @ 2019-08-12 23:06 blog_wu 阅读(91) 评论(0) 推荐(0) 编辑
摘要: 总结篇~~~ 目前了解到的反爬机制:1、robots 2、US伪装 3、代理 4、Cookie 5、动态变化的请求参数 6、验证码 7、图片懒加载 8、页面动态加载的数据 9、js混淆 10、js加密 案例:气象站动态js数据爬取 function Base64() { _2 = "ABCDEFGH 阅读全文
posted @ 2019-08-12 21:54 blog_wu 阅读(302) 评论(0) 推荐(0) 编辑
摘要: 图片下载的管道 彼岸图网的实例 import scrapy from imgPileLinePro.items import ImgpilelineproItem class ImgSpider(scrapy.Spider): name = 'img' # allowed_domains = ['w 阅读全文
posted @ 2019-08-12 20:00 blog_wu 阅读(259) 评论(0) 推荐(0) 编辑
摘要: Scrapy框架环境的安装 环境安装比较多,跟着流程走就ok Scrapy的使用 从创建项目开始 其他配置: 运行项目: 持久化存储 - 基于终端命令的持久化: - 前提:只可以将parse方法的返回值进行本地文件的持久化存储 - 指令:scrapy crawl spiderName -o file 阅读全文
posted @ 2019-08-11 16:54 blog_wu 阅读(117) 评论(0) 推荐(0) 编辑
摘要: 移动端数据的抓取 - 抓包工具 - fiddler - 青花瓷 - miteproxy - 使用fiddler,环境的搭建 1. 对fiddler进行配置:tools -> options -> connections -> Allow remote等 -> 设置端口 2. 测试端口是否可用:在pc 阅读全文
posted @ 2019-08-11 16:50 blog_wu 阅读(862) 评论(1) 推荐(0) 编辑
摘要: asyncio模块 总结: 单线程+多任务异步协程 - 意义:提升爬取数据的效率 - 实现异步爬虫的方式: - 多线程/多进程(不建议) - 线程池(可适当使用) - 单线程+多任务异步协程(推荐使用) - 概念 - 协程:协程对象。 - 可以使用async关键字修饰的一个函数的定义(特殊的函数), 阅读全文
posted @ 2019-08-11 15:36 blog_wu 阅读(930) 评论(0) 推荐(0) 编辑