摘要：增加scala插件 阅读全文

摘要：问题五、什么是软件 软件的历史，其实是机器模拟人的历史。 程序从早期由一个人完成，也逐渐变成了由很多不同角色的人共同合作来完成。 软件的主要目的，还是把人类的生活模拟化，提供更低成本，高效率的新的生活。 有了软件之后，实际上，我们是把我们日常生活中所做的事情，包括我们自己本人都一起虚拟化到了计算机中 阅读全文

摘要：架构漫谈 王概凯 阅读笔记 问题一、为什么会出现“架构”以及什么是“架构” 为什么会出现“架构”？ 架构一词最早来自建筑领域，建筑的本质就是从自然环境中，划出一块独占的空间，但是仍然能够通过门窗等和自然环境保持沟通。这个时候架构就已经开始了。对地球上的空间进行切分，并通过门窗，地基等，保持和地球以及 阅读全文

摘要：Application Application是在使用spark-submit 提交的打包程序，也就是需要写的代码。完整的Application一般包含以下步骤：（1）获取数据（2）计算逻辑（3）输出结果（可以是存入HDFS，或者是其他存储介质） Executor Executor是一个Applic 阅读全文

摘要：Spark的技术生态 Spark的技术生态包含了各种丰富的组件，而不同的组件提供了不同功能，以适应不同场景。 Spark core spark core包含Spark的基本功能，定义了RDD的API以及以此为基础的其他动作。Spark的其他库都构建在RDD和Spark Core之上。 Spark S 阅读全文