打赏

随笔分类 -  Hadoop 概念学习系列

摘要:如何去找到历史版本的Hadoop发行包 找到Hadoop历史版本 这里我需要的Hadoop版本是2.0.3。打开hadoop的下载页面 http://www.apache.org/dyn/closer.cgi/hadoop/common/ 随便打开一个下载镜像,我们都找不到2.0.3这个版本。 具体 阅读全文
posted @ 2016-09-21 08:28 大数据和AI躺过的坑 阅读(769) 评论(0) 推荐(0) 编辑
摘要:不多说,直接上干货! RPC >远程过程调用协议,它是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在,如TCP或UDP,为通信程序之间携带信息数据。在OSI网络通信模型中,RPC跨越了传输层和应用层。RPC使得开发包括网络分布式多程序在内的应 阅读全文
posted @ 2016-09-03 15:28 大数据和AI躺过的坑 阅读(401) 评论(0) 推荐(0) 编辑
摘要:不多说,直接上干货! ls / 这是查本地Linux上的根 hadoop fs -ls / 这是查hdfs上的根 或者, hadoop fs -ls hdfs://localhost:9000/ 这是查hdfs上的根 即。hdfs://localhost:9000是可以省略的。 通过浏览器,可以看到 阅读全文
posted @ 2016-09-03 09:00 大数据和AI躺过的坑 阅读(305) 评论(0) 推荐(0) 编辑
摘要:不多说,直接上干货! > 数据量越来越多,在一个操作系统管辖的范围存下不了,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,因此迫切需要一种系统来管理多台机器上的文件,这就是分布式文件管理系统。形象化比喻,如百度网盘、360云盘。 常见的分布式文件系统有,GFS、HDFS、Lustre 阅读全文
posted @ 2016-09-03 08:22 大数据和AI躺过的坑 阅读(571) 评论(0) 推荐(0) 编辑
摘要:不多说,直接上干货! 零基础学习hadoop,没有想象的那么困难,也没有想象的那么容易。从一开始什么都不懂,到能够搭建集群,开发。整个过程,只要有Linux基础,虚拟机化和java基础,其实hadoop并没有太大的困难。下面整理一下整个学习过程,给大家一个参考。 首先我们要了解hadoop是什么?H 阅读全文
posted @ 2016-05-03 11:18 大数据和AI躺过的坑 阅读(1008) 评论(0) 推荐(1) 编辑
摘要:不多说,直接上干货! 说在前面的话 此笔,对于仅对于Hadoop和Spark初中学者。高手请忽略! 1 Java基础: 视频方面: 推荐《毕向东JAVA基础视频教程》。学习hadoop不需要过度的深入,java学习到javase,在Java虚拟机的内存管理、以及多线程、线程池、设计模式、并行化多多理 阅读全文
posted @ 2016-04-30 15:52 大数据和AI躺过的坑 阅读(60460) 评论(5) 推荐(7) 编辑
摘要:不多说,直接上干货! 当下 Hadoop 已经成长为一个庞大的生态体系,只要和海量数据相关的领域,都有 Hadoop 的身影。下图是一个 Hadoop 生态系统的图谱,详细列举了在 Hadoop 这个生态系统中出现的各种数据工具。 这一切,都起源自 Web 数据爆炸时代的来临。Hadoop 生态系统 阅读全文
posted @ 2015-12-27 17:27 大数据和AI躺过的坑 阅读(5060) 评论(0) 推荐(0) 编辑