摘要：
印象中工作以来还从来没搞过一次 OAuth2 的接入- -，似乎只停留在愉快的使用阶段。比如现在很多网站都接了 wx 二维码扫码登录或者微博登录。所以一直只是享受着这样的便利，却没有机会自己来搞一搞把里面的技术细节打通。 首先找到 阮一峰老师的一篇古老的文章介绍了一下 OAuth 协议。 归根到底 阅读全文
摘要：
这是我之前发布在 yuque 的文章。是我刚来新公司的时候帮公司搬迁 git 记录下来的，现在看来去掉敏感部分直接发布也没啥问题啦，就搬家过来，我自己也方便查 XD . 8.1.6 -> 10.1.4 首先需要分几个步骤 第一步 我将老版本 这里是从 bitnami gitlab 上安装的 8.1. 阅读全文
摘要：
今天继续拜读「深入浅出计算机组成原理」专栏，觉得讲 IO_WAIT 这篇很有意思，正好可以结合前面的一篇讲物理硬件存速度的一块儿看。 现在我们看硬盘厂商出品的性能报告，通常会看到两个指标，一个是响应时间(Response Time) 另外一个是 数据传输速率 (Data Transfer Rate) 阅读全文
摘要：
Alpha：是内部测试版,一般不向外部发布,会有很多Bug.一般只有测试人员使用。Beta：也是测试版，这个阶段的版本会一直加入新的功能。在Alpha版之后推出。RC：(Release Candidate) 顾名思义么 ! 用在软件上就是候选版本。系统平台上就是发行候选版本。RC版不会再加入新的功能 阅读全文
摘要：
中秋的时候正在外面愉快的在外卖喝着咖啡玩电脑。。。。。。突发 redis 报警从 sentry 应用端曝出的错误 于是又开始愉快的处理问题了，看上去像是执行 rdb 快照持久化的时候出现的问题，上到 redis 机器查看日志定位详细问题 可以很明显的发现应该是尝试 fork 的时候内存不够，并没有被 阅读全文
摘要：
Java 8另一个新增的重要特性就是引入了新的时间和日期API，它们被包含在java.time包中。借助新的时间和日期API可以以更简洁的方法处理时间和日期。 在介绍本篇文章内容之前，我们先来讨论Java 8为什么要引入新的日期API，与之前的时间和日期处理方式有什么不同？ 在Java 8之前，所有 阅读全文
摘要：
在使用了最新版的 kafka-python 1.4.6 在 broker 对 topic 进行默认配置的情况下报出类似错误 这里要申明一点，在 1.4.0 以上的 kafka-python 版本使用了独立的心跳线程去上报心跳。 这里报错大概表达的意思是 无法在默认 300000ms 中完成处理操作。 阅读全文
摘要：
前文「CDH CM版本 6.0.1 升级到 CM 6.2.0 当前最新版本（CentOS 7.x）」 承接上文，当我们完成 CM 6.2.0 的升级之后，我们已经相当于完成了80% minor 的升级。 让人意外的是 CDH 自己版本的升级远比 CM 的升级来得容易。 先对 CM 数据进行备份，步骤 阅读全文
摘要：
CDH 的 6.0.1 是一个尴尬的版本，那时候 cloudera 还没有将 spark 更新到 2.4 还使用的是 spark 2.2版本。 但后来我们发现 2.3 | 2.4 更新了非常多的 feature 和修复了一些 bug 以及更新了很多包括 structed streaming 特性。并 阅读全文
摘要：
一个Applciation运行在YARN上的流程为，从YARN Client向ResourceManager提交任务，将Applciation所需资源提交到HDFS中，然后ResourceManager启动APPMaster，APPMaster通知各个NodeManager启动container执行 阅读全文