摘要: 常见的SQL On Hadoop框架 hive(非常重要):最原始的on hadoop的方案,由facebook贡献;将sql转化为底层MR/Tez/Spark作业;hive的metastore存储了表和库的所有信息,而且他几乎是和所有 on hadoop的框架通用的,hive2.x.x版本速度上有 阅读全文
posted @ 2019-07-04 17:01 任重而道远的小蜗牛 阅读(536) 评论(0) 推荐(0) 编辑
摘要: 文件内容: 文件内容: 方法一:反射,通过RDD[CaseClass] 自定义 CaseClass 方法一:反射,通过RDD[CaseClass] 转成DF以后,就相当于有了schema,就可以当成table啦 方法二: 通过RDD[Row]+Schema 方法二: 通过RDD[Row]+Schem 阅读全文
posted @ 2019-07-04 16:53 任重而道远的小蜗牛 阅读(336) 评论(0) 推荐(0) 编辑