03 2020 档案

go 搭建并行处理管道
摘要：一. Go语言并发编程 采用了CSP(Communication Seuential process)模型 不需要锁, 不需要callback 并发编程 vs 并行计算 1.1 CSP并发模型 CSP模型是上个世纪七十年代提出的，用于描述两个独立的并发实体通过共享的通讯 channel(管道)进行通 阅读全文
posted @ 2020-03-24 06:37 盛开的太阳 阅读(788) 评论(0) 推荐(0) 编辑
mac QuiteTime快捷键
摘要：1. 变速快捷键 自带的quicktime可以啊按住option再点快进的双箭头⏩最快可加速到2X 阅读全文
posted @ 2020-03-22 06:21 盛开的太阳 阅读(414) 评论(0) 推荐(0) 编辑
第十六章 分布式爬虫--准备工作
摘要：分布式消息传递的方式. REST RPC 消息队列 都在什么情况下使用这三种方式呢? 1. 客户端和主服务器之间, 使用的是REST请求方式 2. 主服务器和其他子服务器之间通信,比如接口调用, 可以使用RPC 3. 服务器和服务器之间消息传递可以是用消息队列 对外: 使用REST 模块内部:使用R 阅读全文
posted @ 2020-03-19 05:13 盛开的太阳 阅读(333) 评论(0) 推荐(0) 编辑
mac Idea快捷键
摘要：1. 快速删除多余的import ctrl + option + o 2. 快速引入类 option + 回车 3. 生成注释/取消注释 command + / 4. 生成类的结构图 alt + command +u 5. 给debug状态下的方法参数赋值 右击断点, 给var1赋值 6. comm 阅读全文
posted @ 2020-03-18 16:23 盛开的太阳 阅读(196) 评论(0) 推荐(0) 编辑
go分享
摘要：一. 我们做java, 为什么学习go? 主要是基于两方面的考虑 1. 执行性能: 缩短API的响应时长，解决批量请求访问超时的问题。GO语言不一样，通过协程可以方便的实现API的并行处理，达到处理效率的最大化。 依赖Golang的高性能HTTP Server，提升系统吞吐能力。 2. 开发效率 G 阅读全文
posted @ 2020-03-17 11:40 盛开的太阳 阅读(359) 评论(0) 推荐(0) 编辑
第十五章 并发版爬虫第二版 -- 完结
摘要：并发版爬虫, 在上一篇单机版爬虫的基础上演变而来 这里只有并发引擎的代码, 基本的解析器代码参考: https://www.cnblogs.com/ITPower/articles/12450374.html 一. 单节点版爬虫的问题 拉取数据的速度太慢, 慢有两部分. 一部分是网络请求, 根据ur 阅读全文
posted @ 2020-03-11 18:49 盛开的太阳 阅读(495) 评论(0) 推荐(0) 编辑
第十三章 go实现分布式网络爬虫---单机版爬虫
摘要：爬虫的分类 网络爬虫分为两类 1. 通用爬虫: 类似于baidu, google. 他们会把大量的数据挖下来, 保存到自己的服务器上. 用户打开跳转的时候, 其实先是跳转到他们自己的服务器. 2. 聚焦爬虫: 其实就是有目标的爬虫, 比如我只需要内容信息. 那我就只爬取内容信息. 通常我们使用的爬虫 阅读全文
posted @ 2020-03-09 18:56 盛开的太阳 阅读(1041) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示