Hadoop ecosystem 生态圈

Cascading: hadoop上面的workflow

Sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递

 

• 2) Nutch，互联网数据及Nutch搜索引擎应用
• 3) HDFS,Hadoop的分布式文件系统
• 5) MapReduce,分布式计算框架
• 6) Flume、Scribe，Chukwa数据收集，收集非结构化数据的工具。
• 7） Hiho、Sqoop,讲关系数据库中的数据导入HDFS的工具
• 8） Hive数据仓库，pig分析数据的工具
• 10）Oozie作业流调度引擎
• 11）Hue，Hadoop自己的监控管理工具
• 12）Avro 数据序列化工具
• 13）mahout数据挖掘工具
• 14)Hbase分布式的面向列的开源数据库