摘要: 原文引自:http://blog.csdn.net/zongzhiyuan/article/details/78076842 hive数据表建立可以在hive上建立,或者使用hiveContext.sql(“create table ....") 1) 写入hive表 [java] view pla 阅读全文
posted @ 2017-12-22 16:40 jinggangshan 阅读(4791) 评论(0) 推荐(0) 编辑
摘要: 说明:掌握spark的一个关键,就是要深刻理解掌握RDD各个函数的使用场景,这样我们在写业务逻辑的时候就知道在什么时候用什么样的函数去实现,得心应手,本文将逐步收集整理各种函数原理及示例代码,持续更新,方便大家学习掌握。 函数列表: 1、join的使用2、cogroup的使用3、GroupByKey 阅读全文
posted @ 2017-12-22 16:13 jinggangshan 阅读(25288) 评论(0) 推荐(6) 编辑
摘要: 原文引自:http://blog.csdn.net/u011497897/article/details/71440323 一、Spark简介 1、什么是Spark 发源于AMPLab实验室的分布式内存计算平台,它克服了MapReduce在迭代式计算和交互式计算方面的不足。 相比于MapReduce 阅读全文
posted @ 2017-12-22 16:04 jinggangshan 阅读(12115) 评论(1) 推荐(1) 编辑
摘要: 原文引自:http://blog.csdn.net/xiefu5hh/article/details/51781074 SPARK的核心就是RDD,对SPARK的使用入门也就是对RDD的使用, 对于JAVA的开发者,Spark的RDD对JAVA的API我表示很不能上手,单单看文档根本是没有办法理解每 阅读全文
posted @ 2017-12-22 15:25 jinggangshan 阅读(3833) 评论(0) 推荐(0) 编辑
摘要: 原文引自:http://blog.sina.com.cn/s/blog_628cc2b70102w9up.html 一、初始化SparkContext System.setProperty("hadoop.home.dir", "D:\\spark-1.6.1-bin-hadoop2.6\\spar 阅读全文
posted @ 2017-12-22 15:02 jinggangshan 阅读(8942) 评论(0) 推荐(0) 编辑
摘要: 原文引自:https://www.cnblogs.com/codedevelop/p/6762555.html 概述 文件下载 系统环境搭建 日志查看 Q&A 参考 概述 CDH (Cloudera's Distribution, including Apache Hadoop),是Hadoop众多 阅读全文
posted @ 2017-12-22 11:14 jinggangshan 阅读(291) 评论(0) 推荐(1) 编辑