2019年1月14日
Hadoop相关项目Hive-Pig-Spark-Storm-HBase-Sqoop
摘要： 目录HivePigSparkStormHBaseSqoopHivePig和Hive的对比摘要: Pig Pig是一种编程语言，它简化了Hadoop常见的工作任务。Pig可加载数据、表达转换数据以及存储最终结果。Pig内置的操作使得半结构化数据变得有意义（如日志文件）。... 阅读全文
posted @ 2019-01-14 20:21 IT晓白 阅读(294) 评论(0) 推荐(0) 编辑
Apache Spark编程教程
摘要： Apache Spark JavaRDD和任务解决好吧，我告诉我身边的每个人，如果你不知道map-reduce概念那么你就无法理解Apache Spark。为了证明这一点，让我们解决简单的任务。假设我们在城镇中有以下温度的文本文件：Prague 35Madrid 40... 阅读全文
posted @ 2019-01-14 20:15 IT晓白 阅读(173) 评论(0) 推荐(0) 编辑
apache-hive-1.2.1-bin 安装
摘要： 技能标签下载apache hive 安装包 进行apache-hive-1.2.1-bin.tar.gz安装 配置mysql存储元数据 配置HDFS存储 /user/hive/warehouse 该Hive版本1.2.1默认集成在(Spark1.6 到 Spark2.... 阅读全文
posted @ 2019-01-14 19:53 IT晓白 阅读(1170) 评论(0) 推荐(0) 编辑