摘要: 日志分析 问题:如何将p(4)里面的继续切分 阅读全文
posted @ 2017-03-07 20:27 邬家栋 阅读(1451) 评论(0) 推荐(0) 编辑
摘要: spark SQL初步认识 spark SQL是spark的一个模块,主要用于进行结构化数据的处理。它提供的最核心的编程抽象就是DataFrame。 DataFrame:它可以根据很多源进行构建,包括:结构化的数据文件,hive中的表,外部的关系型数据库,以及RDD 创建DataFrame 数据文件 阅读全文
posted @ 2017-03-07 20:22 邬家栋 阅读(14104) 评论(0) 推荐(0) 编辑
摘要: 需求:统计每日销售额 运行结果 阅读全文
posted @ 2017-03-07 20:19 邬家栋 阅读(1827) 评论(0) 推荐(0) 编辑
摘要: 需求:统计每日uv 运行结果 阅读全文
posted @ 2017-03-07 20:18 邬家栋 阅读(2383) 评论(0) 推荐(0) 编辑
摘要: spark连接mysql(打jar包方式) 提交集群 运行结果 常见报错1 如果添加了命令和jar运行也不行,则用以下办法 常见报错2 spark连接mysql(spark shell方式) 方式1 方式2 方式3 阅读全文
posted @ 2017-03-07 20:15 邬家栋 阅读(22489) 评论(0) 推荐(1) 编辑
摘要: spark 读取hive中的数据 spark载入数据到hive 两个文件 scala代码 参考资料 http://dblab.xmu.edu.cn/blog/1086 2/ 参考资料 http://blog.csdn.net/ggz631047367/article/details/50445877 阅读全文
posted @ 2017-03-07 20:14 邬家栋 阅读(11182) 评论(0) 推荐(0) 编辑
摘要: 准备工作 数据文件students.json 存放目录:hdfs://master:9000/student/2016113012/spark/students.json scala代码 package wujiadong_sparkSQL import org.apache.spark.sql.S 阅读全文
posted @ 2017-03-07 20:12 邬家栋 阅读(3443) 评论(0) 推荐(0) 编辑
摘要: Parquet是面向分析型业务得列式存储格式 编程方式加载数据 代码示例 ` 运行结果 自动分区 合并元数据 1)读取parquet文件时,将数据源的选项mergeSchema,设置为true 2)使用SQLContext.setConf()方法,将spark.sql.parquet.mergeSc 阅读全文
posted @ 2017-03-07 20:11 邬家栋 阅读(943) 评论(0) 推荐(0) 编辑
摘要: load操作:主要用于加载数据,创建出DataFrame save操作:主要用于将DataFrame中的数据保存到文件中 代码示例(默认为parquet数据源类型) 提交集群运行 运行后查看是否保存成功 手动指定数据源类型(进行格式转换很方便) 默认情况下不指定数据源类型的话就是parquet类型 阅读全文
posted @ 2017-03-07 20:08 邬家栋 阅读(2431) 评论(0) 推荐(0) 编辑