摘要: 1.3Hadoop基础知识 1.3.1术语解释 1.Hadoop1.0 • 第一代Hadoop,由分布式文件系统HDFS 和分布式计算框架MapReduce组成 • HDFS由一个NameNode和多个DataNode 组成 • MapReduce由一个JobTracker和多个 TaskTrack 阅读全文
posted @ 2018-03-14 22:55 那是个好男孩 阅读(344) 评论(0) 推荐(0) 编辑
摘要: 1.1为什么需要Hadoop (1)数据分析者面临的问题 – 数据日趋庞大,读写都出现性能瓶颈; – 用户的应用和分析结果,对实时性和响应时间 要求越来越高; – 使用的模型越来越复杂,计算量指数级上升。 (2)期待的解决方案 – 解决性能瓶颈,在可见的未来不会出现新瓶颈 之前的技术可以平稳过渡,如 阅读全文
posted @ 2018-03-14 20:34 那是个好男孩 阅读(366) 评论(0) 推荐(0) 编辑
摘要: Hadoop基本概念 在当下的IT领域,大数据很“热”,实现大数据场 景的Hadoop系列产品更“热”。 Hadoop是一个开源的分布式系统基础架构,由 Apache基金会开发。 此架构可以帮助用户可以在不了解分布式底层细 节的情况下,开发分布式程序。 目前,主要的发展版本有Hadoop1.0和Ha 阅读全文
posted @ 2018-03-14 19:23 那是个好男孩 阅读(344) 评论(0) 推荐(0) 编辑