摘要：
一、学习过程 今天讲了spark的安装和spark的运行机制，然后老师重点将了下spark中的RDD然后就是我们自己联系word上的实例和例子的时间了 二、总结 Spark我感觉用一天时远远不够的，老师文档就给我们发了七八个，这一下午也就看完了一个，今天我把RDD的20多个基本的函数看了一遍，然后按 阅读全文
摘要：
（1）进入spark （2）创建RDD 或者 （3）map实例 1. 作用：返回一个新的RDD，该RDD由每一个输入元素经过func函数转换后组成 2. 需求：创建一个1-10数组的RDD，将所有元素*2形成新的RDD （4）mapPartitions(func) 案例 1. 作用：类似于map，但 阅读全文
摘要：
一、学习过程 今天的将可内容仍然是hive的延伸，老师为我们讲诉了更高级的使用方式，如窗口函数，rank函数等，为我们讲解了一些比较复杂的查询语句，在讲完之后老师为我们留了一些联系和一个大作业。 二、总结 今天我再一次发现了hive的强大，他的查询语句在某些方面比sql语句更加的强大，更加灵活，可以 阅读全文