摘要:
日志分析 问题:如何将p(4)里面的继续切分 阅读全文
摘要:
spark SQL初步认识 spark SQL是spark的一个模块,主要用于进行结构化数据的处理。它提供的最核心的编程抽象就是DataFrame。 DataFrame:它可以根据很多源进行构建,包括:结构化的数据文件,hive中的表,外部的关系型数据库,以及RDD 创建DataFrame 数据文件 阅读全文
摘要:
需求:统计每日销售额 运行结果 阅读全文
摘要:
需求:统计每日uv 运行结果 阅读全文
摘要:
spark连接mysql(打jar包方式) 提交集群 运行结果 常见报错1 如果添加了命令和jar运行也不行,则用以下办法 常见报错2 spark连接mysql(spark shell方式) 方式1 方式2 方式3 阅读全文
摘要:
spark 读取hive中的数据 spark载入数据到hive 两个文件 scala代码 参考资料 http://dblab.xmu.edu.cn/blog/1086 2/ 参考资料 http://blog.csdn.net/ggz631047367/article/details/50445877 阅读全文
摘要:
准备工作 数据文件students.json 存放目录:hdfs://master:9000/student/2016113012/spark/students.json scala代码 package wujiadong_sparkSQL import org.apache.spark.sql.S 阅读全文
摘要:
Parquet是面向分析型业务得列式存储格式 编程方式加载数据 代码示例 ` 运行结果 自动分区 合并元数据 1)读取parquet文件时,将数据源的选项mergeSchema,设置为true 2)使用SQLContext.setConf()方法,将spark.sql.parquet.mergeSc 阅读全文
摘要:
load操作:主要用于加载数据,创建出DataFrame save操作:主要用于将DataFrame中的数据保存到文件中 代码示例(默认为parquet数据源类型) 提交集群运行 运行后查看是否保存成功 手动指定数据源类型(进行格式转换很方便) 默认情况下不指定数据源类型的话就是parquet类型 阅读全文