随笔分类 -  Hadoop

摘要:1. Daemons(守护进程) 新老架构 老的: Apache Hadoop 1.x (MRv1) 新的: Apache Hadoop 2.x (YARN)-Yet Another Resource Negotiator 1-1) Apache Hadoop 1.x (MRv1) 包含如下后台进程 阅读全文
posted @ 2017-08-10 12:38 Master HaKu 阅读(266) 评论(0) 推荐(0) 编辑
摘要:看过Tom White写的Hadoop权威指南(大象书)的朋友一定得从第一个天气预报的Map Reduce程序所吸引, 殊不知,Tom White大牛虽然在书中写了程序和讲解了原理,但是他以为你们都会部署了,这里轻描淡写给 带过了,这样就给菜鸟们留了课题,其实在跑书中的程序的时候,如果没经验,还是会 阅读全文
posted @ 2017-04-11 22:09 Master HaKu 阅读(2862) 评论(0) 推荐(2) 编辑
摘要:0. 安装JDK 参考网上教程在OSX下安装jdk 1. 下载及安装hadoop a) 下载地址: http://hadoop.apache.org b) 配置ssh环境 在terminal里面输入: ssh localhost 如果有错误提示信息,表示当前用户没有权限。这个多半是系统为安全考虑,默 阅读全文
posted @ 2016-12-14 14:56 Master HaKu 阅读(8818) 评论(0) 推荐(0) 编辑
摘要:1. 新建IntelliJ下的maven项目 点击File->New->Project,在弹出的对话框中选择Maven,JDK选择你自己安装的版本,点击Next 2. 填写Maven的GroupId和ArtifactId 你可以根据自己的项目随便填,点击Next 这样就新建好了一个空的项目 这里程序 阅读全文
posted @ 2016-12-07 14:18 Master HaKu 阅读(32190) 评论(2) 推荐(1) 编辑
摘要:0. 大背景 全球No.1搜索引擎公司谷歌(Google)面临每天海量搜索引擎数据的问题,经过长时间的实践积累, 谷歌形成了自己的大数据框架,但是并没有开源,而是发表了一篇论文,阐述了自己的思想,在论文中 提到了MapReduce的方法。这篇论文,被Doug Cutting也就是后来的Hadoop之 阅读全文
posted @ 2016-12-02 13:28 Master HaKu 阅读(4817) 评论(0) 推荐(0) 编辑
摘要:1. 背景知识由google公司研发的google文件系统和MapReduce变成模型在处理海量数据方面引起了业界的反响。Hadoop是实现了MapReduce编程模型的开源系统。Hadoop Java API主页:http://hadoop.apache.org/2. 关系型数据库和MapReduce比较 阅读全文
posted @ 2012-03-28 16:04 Master HaKu 阅读(294) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示