随笔分类 - Spark
摘要:日志分析 问题:如何将p(4)里面的继续切分
阅读全文
摘要:spark SQL初步认识 spark SQL是spark的一个模块,主要用于进行结构化数据的处理。它提供的最核心的编程抽象就是DataFrame。 DataFrame:它可以根据很多源进行构建,包括:结构化的数据文件,hive中的表,外部的关系型数据库,以及RDD 创建DataFrame 数据文件
阅读全文
摘要:需求:统计每日销售额 运行结果
阅读全文
摘要:spark连接mysql(打jar包方式) 提交集群 运行结果 常见报错1 如果添加了命令和jar运行也不行,则用以下办法 常见报错2 spark连接mysql(spark shell方式) 方式1 方式2 方式3
阅读全文
摘要:spark 读取hive中的数据 spark载入数据到hive 两个文件 scala代码 参考资料 http://dblab.xmu.edu.cn/blog/1086 2/ 参考资料 http://blog.csdn.net/ggz631047367/article/details/50445877
阅读全文
摘要:准备工作 数据文件students.json 存放目录:hdfs://master:9000/student/2016113012/spark/students.json scala代码 package wujiadong_sparkSQL import org.apache.spark.sql.S
阅读全文
摘要:Parquet是面向分析型业务得列式存储格式 编程方式加载数据 代码示例 ` 运行结果 自动分区 合并元数据 1)读取parquet文件时,将数据源的选项mergeSchema,设置为true 2)使用SQLContext.setConf()方法,将spark.sql.parquet.mergeSc
阅读全文
摘要:load操作:主要用于加载数据,创建出DataFrame save操作:主要用于将DataFrame中的数据保存到文件中 代码示例(默认为parquet数据源类型) 提交集群运行 运行后查看是否保存成功 手动指定数据源类型(进行格式转换很方便) 默认情况下不指定数据源类型的话就是parquet类型
阅读全文
摘要:练习0(并行化创建RDD) 练习1(map,filter) 练习2(map和flatMap) 练习3(union,intersecttion,distinct) 练习4(sortBy) 练习5(groupByKey,reduceByKey,sortByKey) 练习6(join) 练习7(reduc
阅读全文
摘要:在目录/home/hadoop/2016113012下有文件words.txt 上传该文件到hdfs 启动spark shell 在spark shell中使用Scala编写spark程序
阅读全文
摘要:报错1 解决办法 报错2 解决办法 运行之后还是报这个错的话,原因可能是scala版本兼容,我从scala2.11到scala2.10,就可以了
阅读全文
摘要:RDD及其特点 1)RDD(Resillient Distributed Dataset)弹性分布式数据集,是spark提供的核心抽象。它代表一个不可变、可分区、里面的元素可并行计算的集合 2)RDD在抽象上来说是一种元素集合,包含了数据。它是被分区的,分为多个分区,每个分区分布在集群中的不同节点上
阅读全文
摘要:spark采用的是主从式的架构,主节点叫master,从节点是worker Driver 我们编写的spark就在Driver上,由driver进程执行。 Driver是spark集群的节点之一,或你提交spark程序的机器 Master master是集群的资源管理者和调度者,类似yarn里面的R
阅读全文
摘要:wordcount程序 文件wordcount.txt 程序示例 运行结果
阅读全文
摘要:第一步:启动IntelliJ IDEA,选择Create New Project,然后选择Scala,点击下一步,输入项目名称wujiadong.spark继续下一步 第二步:导入spark assembly 1.5.1 hadoop2.6.0.jar包 File——Project Structur
阅读全文
摘要:第一步:安装spark 将官网下载好的spark 2.0.0 bin hadoop2.6.tgz上传到/usr/spark目录下。这里需注意的是spark和hadoop有对应版本关系 第二步:修改配置文件 第三步:在spark2和spark3节点上也安装spark 第四步:验证spark以及进入sp
阅读全文
摘要:Centos下Scala安装 上传Scala到/usr/scala目录下
阅读全文
摘要:第一步:Hbase安装 hadoop,zookeeper前面都安装好了 将hbase 1.1.3 bin.tar.gz上传到/usr/HBase目录下 第二步:修改配置文件 编辑 hbase env.xml 编辑 hbase site.xml 编辑 regionservers 第三步:搭建hbase
阅读全文
摘要:第一步:zookeeper安装 通过WinSCP软件将zookeeper 3.4.8.tar.gz软件传送到/usr/zookeeper/目录下 第二步:配置zoo.cfg 第三步:设置zookeeper节点标识 第四步:搭建zookeeper集群 在两个节点上按照上述步骤配置ZooKeeper,使
阅读全文