摘要：
Golang - 爬虫案例实践 目录 Golang - 爬虫案例实践 1. 爬虫步骤 2. 正则表达式 3. 并发爬取美图 Golang - 爬虫案例实践 1. 爬虫步骤 明确目标（确定在哪个网址搜索） 爬（爬下数据） 取（去掉没用的数据） 处理数据（按具体业务去使用数据） 2. 正则表达式 文档： 阅读全文
摘要：
Golang之路 目录 Golang之路 Golang之路 Golang(一) - 开篇必须吹牛逼 Golang(二) - 第一个go程序和基本语法 Golang(三) - 函数 Golang(四) - 流程控制 Golang(五) - 复合类型 Golang(六) - 面对"对象" Golang( 阅读全文
摘要：
Golang - 并发编程 目录 Golang - 并发编程 1. 并行和并发 2. go语言并发优势 3. goroutine是什么 4. 创建goroutine 5. runtime包 6. channel是什么 7. channel的基本使用 8. 无缓冲的channel 9. 有缓冲的cha 阅读全文
摘要：
Golang - 处理json 目录 Golang - 处理json 1. 编码json 2. 解码json Golang - 处理json 1. 编码json 使用json.Marshal()函数可以对一组数据进行JSON格式的编码 func Marshal(v interface{}) ([]b 阅读全文
摘要：
Golang - 异常处理 目录 Golang - 异常处理 1. 抛异常和处理异常 2. 返回异常 Golang - 异常处理 1. 抛异常和处理异常 package main import "fmt" //系统抛异常 func test0111() { a := [5]int{0, 1, 2, 阅读全文
摘要：
Golang - 面对"对象" 目录 Golang - 面对"对象" 1. 简介 2. 匿名字段 3. 方法 4. 包和封装 5. 接口 4. 包和封装 5. 接口 Golang - 面对"对象" 1. 简介 go语言对于面向对象的设计非常简洁而优雅 没有封装、继承、多态这些概念，但同样通过别的方式 阅读全文
摘要：
Golang - 流程控制 目录 Golang - 流程控制 1. 选择结构 2. 循环结构 3. 跳转语句 Golang - 流程控制 1. 选择结构 if else语句: //package 声明开头表示代码所属包 package main import ( "io/ioutil" "fmt" 阅读全文
摘要：
Golang - 复合类型 目录 Golang - 复合类型 1. 指针 2. new()和make() 3. 数组 4. slice 5. Map 6. 结构体 7. 结构体参数 Golang - 复合类型 1. 指针 go语言中指针是很容易学习的，比C中容易的多，它可以更简单地执行一些任务 与变 阅读全文
摘要：
第一个go程序和基本语法 目录 第一个go程序和基本语法 一. 第一个go程序 二. 基础语法 1. 命名 2. 变量 3 常量与枚举 4. 数据类型 5. fmt包的使用 6. 类型别名 7. 类型转换 8. 运算符 第一个go程序和基本语法 一. 第一个go程序 //package 声明开头表示 阅读全文
摘要：
Golang - 开篇必须吹牛逼 目录 Golang - 开篇必须吹牛逼 Go牛逼吗 安装环境 Golang - 开篇必须吹牛逼 （1）我们为什么要学 高并发 深度 || 广度 （2）go学习思路和目标 多打多练 掌握go语言 做一个并发相关的案例 Go牛逼吗 1. 认识go语言 go语言（或 Go 阅读全文
摘要：
11.二叉树 python实现二叉树的数据结构： . 二叉树的排序方式： - 广度遍历（层次遍历） - 深度遍历： - 前序（根左右）：把根放到最前面 - 中序（左根右）：把根放到中间 - 后序（左右根）：把根放到最后 class Node(): def __init__(self,item): s 阅读全文
摘要：
10.排序 一.冒泡排序 代码示例： #将乱序列表中最大元素排列到列表末尾位置 def m_sort(alist): for j in range(0,len(alist)-1): if alist[j] > alist[j+1]: temp = alist[j] alist[j] = alist[ 阅读全文
摘要：
9.算法之顺序、二分、hash查找 一.查找/搜索 - 我们现在把注意力转向计算中经常出现的一些问题，即搜索或查找的问题。搜索是在元素集合中查找特定元素的算法过程。搜索通常对于元素是否存在返回 True 或 False。有时它可能返回元素被找到的地方。我们在这里将仅关注成员是否存在这个问题。 - 在 阅读全文
摘要：
高性能异步爬虫 引入 很多同学对于异步这个概念只是停留在了“听说很NB”的认知层面上，很少有人能够在项目中真正的使用异步实现高性能的相关操作。本节课，咱们就一起来学习一下，爬虫中如何使用异步实现高性能的数据爬取操作。 背景 其实爬虫的本质就是client发请求批量获取server的响应数据，如果我们 阅读全文
摘要：
抓取js动态生成的数据分析案例 需求：爬取https://www.xuexi.cn/f997e76a890b0e5a053c57b19f468436/018d244441062d8916dd472a4c6a0a0b.html页面中的新闻数据。 分析： 1.首先通过分析页面会发现该页面中的新闻数据都是 阅读全文
摘要：
18.增量式爬虫 增量式爬虫 引言： 当我们在浏览相关网页的时候会发现，某些网站定时会在原有网页数据的基础上更新一批数据，例如某电影网站会实时更新一批最近热门的电影。小说网站会根据作者创作的进度实时更新最新的章节数据等等。那么，类似的情景，当我们在爬虫的过程中遇到时，我们是不是需要定时更新程序以便能 阅读全文
摘要：
17.基于scrapy-redis两种形式的分布式爬虫 redis分布式部署 1.scrapy框架是否可以自己实现分布式？ - 不可以。原因有二。 其一：因为多台机器上部署的scrapy会各自拥有各自的调度器，这样就使得多台机器无法分配start_urls列表中的url。（多台机器无法共享同一个调度 阅读全文
摘要：
16.Python网络爬虫之Scrapy框架（CrawlSpider） 引入 提问：如果想要通过爬虫程序去爬取”糗百“全站数据新闻数据的话，有几种实现方法？ 方法一：基于Scrapy框架中的Spider的递归爬取进行实现（Request模块递归回调parse方法）。 方法二：基于CrawlSpide 阅读全文
摘要：
15.scrapy中selenium的应用 引入 在通过scrapy框架进行某些网站数据爬取的时候，往往会碰到页面动态数据加载的情况发生，如果直接使用scrapy对其url发请求，是绝对获取不到那部分动态加载出来的数据值。但是通过观察我们会发现，通过浏览器进行url请求发送则会加载出对应的动态加载出 阅读全文
摘要：
14.UA池和代理池 今日概要 scrapy下载中间件 UA池 代理池 今日详情 一.下载中间件 先祭出框架图： 下载中间件（Downloader Middlewares） 位于scrapy引擎和下载器之间的一层组件。 - 作用： （1）引擎将请求传递给下载器过程中， 下载中间件可以对请求进行一系列 阅读全文