传奇魔法师

摘要： 内部类 内部类成员可以直接访问外部类的私有数据，因为内部类被当成其外部类成员，同一个类的成员直接可以互相访问。但外部类不能访问内部类的实现细节，例如内部类的成员变量。 内部类与外部类的语法大致相同，但是有两点区别： 1. 内部类比外部类可以多使用三个修饰符：private，protected，sta 阅读全文

摘要： 这次举一个例子来记录如何使用多个锁来加快程序运行速度，下面是基本的程序： class Worker { private int count1 = 0; private int count2 = 0; public void stageOne() { try { Thread.sleep(1); } 阅读全文

摘要： K Means 算法 K Means的算法还是比较容易理解的，也很直观。有一批数据，需要把它聚类成K个类别。首先随机获得K个初始样本点作为聚类中心（这里就使用最简单的获得初始点的方法），然后在每一次迭代中，对于每个样本点计算离哪个聚类中心更近，就把它归到这个类别中，这样讲所有的样本点都归类到某一个类 阅读全文

摘要： 写在前面 随机森林是在机器学习中比较常用，简单，效果又很好的学习算法。在上一篇博文中，我使用了随机森林来预测泰坦尼克号的幸存者，但是没有具体地调参数来使算法获得更好的性能。我觉得只有更好地理解算法的原理，才能从本质上知道参数该如何调比较好，所以写下这篇博文来记录随机森林的原理要点。 前提知识 Boo 阅读全文

摘要： 这个题目是Kaggle上一道练习题，网址为https://www.kaggle.com/c/titanic，在官方教程中，提供了R，Python，Excel的解决方法。最近在学习Spark，感觉这个题目可以很好地练习Spark的相关模块，例如SQL，ML等。所以写下了这个博客来记录这个解决方法的流程 阅读全文

摘要： 矩阵 向量乘法实现 $$x_i=\sum_{j=1}^nm_{ij}v_{j}$$ Map函数 Map函数应用于M的一个元素，但是如果执行Map任务的计算节点还没有将v读到内存，那么首先以一个整体的方式读入v，然后v就可以被该Map任务中执行的Map函数所用。每个Map任务将整个向量v和矩阵M的一个 阅读全文

摘要： Spark源码解读系列主要是基于《深入理解Spark 核心思想与源码分析》这本书的，另外加上我个人的补充，由于自己也是Spark的初学者，所以暂时不能解读源码背后的设计思想，只能结合书来解读源码的逻辑和功能。 SparkContext的初始化是Driver应用程序提交执行的前提，以下内容将会以loc 阅读全文

摘要： Spark设计理念与Hadoop密不可分，它解决了Hadoop中的一些缺陷，先来看看Hadoop的缺陷。 Hadoop MapReduce v1的局限 MRv1都封装在mapred包中，其中Map和Reduce是通过接口实现的。它包括三个部分： 1. 运行时环境（JobTracker和TaskTra 阅读全文

摘要： Spark编程进阶 两种类型的共享变量： 累加器 ：用来对信息进行聚合。 广播变量 ：用来高效分发较大的对象。 数据介绍： 使用业余无线电操作者的呼叫日志作为输入，构建出一个完整的示例应用。这些日志中至少包含联系过的站点的呼号。呼号是由国家分配的，每个国家都有自己的呼号号段。有一些呼叫日志也包含操作 阅读全文

摘要： Loding and Saving Your Data 主要介绍Spark对于下面3类数据源的处理： 1. File formats and filesystems 2. Structured data sources through Spark SQL 3. Databases and key/v 阅读全文