spark源码阅读--SparkContext启动过程
摘要：
##SparkContext启动过程 基于spark 2.1.0 scala 2.11.8 spark源码的体系结构实在是很庞大，从使用spark-submit脚本提交任务，到向yarn申请容器，启动driver进程，启动executor进程，到任务调度，shuffle过程等等，模块众多，而且每个模 阅读全文
不重叠的区间个数
摘要：
leetcode地址： https://leetcode.com/problems/non-overlapping-intervals/description/ 难度：中等 题目描述： Given a collection of intervals, find the minimum number 阅读全文
回归决策树
摘要：
分类决策树的概念和算法比较好理解，并且这方面的资料也很多。但是对于回归决策树的资料却比较少，西瓜书上也只是提了一下，并没有做深入的介绍，不知道是不是因为回归树用的比较少。实际上网上常见的房价预测的案例就是一个应用回归树的很好的案例，所以我觉得至少有必要把回归树的概念以及算法弄清楚。 我们以鸢尾花数据 阅读全文
pycharm从本地离线添加模块
摘要：
豆瓣的源： 有时候需要在离线的环境下使用pycharm，但是右缺少模块怎么办，这时，我们就可以在互联网上下载需要的模块，然后导入内网，通过pycharm添加本地的库的方式引入模块。具体做法如下： 1. 打开pycharm的settings界面，选择图中圆圈部分 2. 点击右上角show all 3. 阅读全文
dubbo源码阅读之负载均衡
摘要：
负载均衡 在之前集群的文章中，我们分析了通过监听注册中心可以获取到多个服务提供者，并创建多个Invoker，然后通过集群类如FailoverClusterInvoker将多个Invoker封装在一起，而外部的调用者以这个封装的Invoker为入口调用内部的多个Invoker，但是我们一次调用实际只能 阅读全文
dubbo源码阅读之集群（故障处理策略）
摘要：
dubbo集群概述 dubbo集群功能的切入点在ReferenceConfig.createProxy方法以及Protocol.refer方法中。 在ReferenceConfig.createProxy方法中，如果用户指定多个提供者url或注册中心url，那么会创建多个Invoker，然后用Sta 阅读全文
dubbo源码阅读之服务目录
摘要：
服务目录 服务目录对应的接口是Directory，这个接口里主要的方法是 List list(Invocation invocation) throws RpcException; 列出所有的Invoker，对于服务消费端而言，一个Invoker对应一个可用的服务提供者，底层封装了一个tcp连接。当 阅读全文
大数据相关技术原理资料整理（hdfs, spark, hbase, kafka, zookeeper, redis, hive, flink, k8s, OpenTSDB, InfluxDB, yarn）
摘要：
hdfs: hdfs官方文档 深入理解HDFS的架构和原理 https://blog.csdn.net/kezhong_wxl/article/details/76573901 HDFS原理解析（总体架构，读写操作流程） http://www.cnblogs.com/duanxz/p/3874009 阅读全文
dubbo源码阅读之服务引入
摘要：
服务引入 服务引入使用reference标签来对要引入的服务进行配置，包括服务的接口 ，名称，init,check等等配置属性。 在DubboNamespaceHandler中，我们可以看到reference标签是通过引入一个ReferenceBean类型的bean实现的，那么我们就以这个bean为 阅读全文
dubbo源码阅读之服务导出
摘要：
dubbo服务导出 常见的使用dubbo的方式就是通过spring配置文件进行配置。例如下面这样 spring对于非默认命名空间的标签的解析是通过NamespaceHandlerResolver实现的，NamespaceHandlerResolver也算是一种SPI机制，通过解析jar包中的META 阅读全文