摘要:
Hadoop相关项目Hive-Pig-Spark-Storm-HBase-Sqoop的相关介绍。 Hive Pig和Hive的对比 摘要: Pig Pig是一种编程语言,它简化了Hadoop常见的工作任务。Pig可加载数据、表达转换数据以及存储最终结果。Pig内置的操作使得半结构化数据变得有意义(如 阅读全文
摘要:
阅读目录: Hadoop框架详解 Hadoop项目主要包括以下四个模块 Apache Hadoop起源 一张图了解分布式的好处(数据量达到500G就可以考虑使用大数据处理了) HDFS NameNode DataNode 文件 MapReduce计算框架 (基于磁盘IO进行迭代,开销较大) YARN 阅读全文