duan2

导航

 

2017年10月1日

摘要: 概述 sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。 导入数据:MySQL,Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统; 导出数据:从Hadoop的文件系统中导出数据到关系数据库 工作机制 将导入或导出命令翻译成mapre 阅读全文
posted @ 2017-10-01 22:59 duan2 阅读(224) 评论(0) 推荐(0) 编辑
 
摘要: 为什么需要工作流调度系统 一个完整的数据分析系统通常都是由大量任务单元组成: shell脚本程序,java程序,mapreduce程序、hive脚本等 各任务单元之间存在时间先后及前后依赖关系 为了很好地组织起这样的复杂执行计划,需要一个工作流调度系统来调度执行 例如,我们可能有这样一个需求,某个业 阅读全文
posted @ 2017-10-01 16:40 duan2 阅读(785) 评论(0) 推荐(0) 编辑