摘要: 转自:http://www.infoq.com/cn/articles/in-depth-analysis-of-parquet-column-storage-formatParquet是面向分析型业务的列式存储格式,由Twitter和Cloudera合作开发,2015年5月从Apache的孵化器里... 阅读全文
posted @ 2015-11-29 20:36 southdom 阅读(284) 评论(0) 推荐(0) 编辑
摘要: 1.$ tar -zxvfhadoop-1.0.3.tar.gz2.添加hadoop到环境变量root登陆: sudo su修改环境变量:vi/etc/environment添加: /home/hadoopmaster/hadoop/hadoop-2.6.0/bin:/home/hadoopmast... 阅读全文
posted @ 2015-11-29 14:48 southdom 阅读(334) 评论(0) 推荐(0) 编辑
摘要: 修改环境变量vim ~/.bashrc 保存退出,输入以下命令使之立即生效source ~/.bashrc/etc/profile:在登录时,操作系统定制用户环境时使用的第一个文件,此文件为系统的每个用户设置环境信息,当用户第一次登录时,该文件被执行./etc/environment:在登录时操作系... 阅读全文
posted @ 2015-11-29 13:41 southdom 阅读(173) 评论(0) 推荐(0) 编辑
摘要: http://blog.itpub.net/26978437/viewspace-730136/按照上几篇的内容,安装好两台ubuntu虚拟机之后,首先确定好哪台机子做namenode,哪台做datanode,打开终端,输入:$sudo vi /etc/hosts在打开的文件中输入主机名和IP地址,... 阅读全文
posted @ 2015-11-29 12:24 southdom 阅读(205) 评论(0) 推荐(0) 编辑
摘要: 安装好虚拟机之后,就可以装Ubuntu了。因我打算实现三个节点的Hadoop安装,所以为了操作方便,在创建用户时用的是相同的用户名和密码,本例中用的是hadoop。(如果不是相同的用户名,在以后的配置中会有很多麻烦,本人就是走了很多弯路,所有强烈建议大家创建相同的用户名) 安装ubuntu系统的配置... 阅读全文
posted @ 2015-11-29 12:23 southdom 阅读(385) 评论(0) 推荐(0) 编辑
摘要: http://blog.itpub.net/26978437/viewspace-730032/装好两台ubuntu虚拟机之后,确保虚拟机可以上网,接下来就是开启SSH服务,实现无密码登陆,目的是Hadoop节点间可以互相通信。 首先同时打开两台ubuntu,让其中一台做既做NameNode,又做D... 阅读全文
posted @ 2015-11-29 12:23 southdom 阅读(830) 评论(0) 推荐(0) 编辑
摘要: http://www.aboutyun.com/thread-6716-1-1.html网上资料很多,但是都不怎么实用,这里给大家总结一下。nat模式上网。因为nat本身就能上网为什么还要设置ip。这有点自找麻烦。但是在集群这是必须的。要么你搭建伪分布,要么至少具有三台物理机器。为了节省成本,一般会... 阅读全文
posted @ 2015-11-29 12:22 southdom 阅读(3175) 评论(0) 推荐(0) 编辑
摘要: http://blog.itpub.net/26978437/viewspace-729989/主机环境:Win7 旗舰版VMware虚拟机:VMware_workstation-full-7.0.0-203739 VMware安装很简单,点击下一步就可以了,只是注意上网方式我选择的是NAT方式,如... 阅读全文
posted @ 2015-11-29 12:18 southdom 阅读(2274) 评论(0) 推荐(0) 编辑