2012年11月
一步一步学习hadoop（四）
摘要： hadoop作业执行的概念介绍 hadoop框架将作业分成若干小任务（task），包括map任务和reduce任务，其中reduce任务由作业提交者明确指定，框架默认为只有一个reduce任务 hadoop框架通过两类节点控制作业的执行过程，这两类节点是jobtracker和tasktracke... 阅读全文
posted @ 2012-11-10 15:05 飞天的白猪 阅读(150) 评论(0) 推荐(0) 编辑
一步一步学习hadoop（三）
摘要： 学东西都是从例子开始是最好的，从hadoop的一个简单的mapreduce作业开始 import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuratio... 阅读全文
posted @ 2012-11-10 14:05 飞天的白猪 阅读(203) 评论(0) 推荐(0) 编辑
一步一步学习hadoop（二）
摘要： 要想真正发挥hadoop的威力，必须将hadoop在集群上部署，下面介绍hadoop集群的部署。hadoop的集群部署是建立在伪集群安装的基础上，现假设有三台机器，一台master，两台slave，分别为slave1和slave2(其实两台机器也可以实现集群，其中一台机器同时扮演master和s... 阅读全文
posted @ 2012-11-10 00:23 飞天的白猪 阅读(139) 评论(0) 推荐(0) 编辑
一步一步学习hadoop（一）
摘要： 想要学习hadoop，首先要将把“刀”磨好，安装好hadoop，hadoop集群有三种模式：本地模式，伪集群模式和集群模式，其中本地模式和伪集群模式主要用于在本地测试程序，集群模式用于实际运行中。本地模式和伪集群模式非常类似，只是在hadoop的配置上有一点差别，这里先介绍hadoop的伪集群模式的 阅读全文
posted @ 2012-11-09 22:57 飞天的白猪 阅读(150) 评论(0) 推荐(0) 编辑
2012年10月
一步一步学习linux--网络设置篇
摘要： 刚开始使用linux，用的是ubuntu12.10版本，从界面风格到环境配置都和windows下差别很大，刚装好系统就碰到了第一个问题，想要上网，但是发现使用图形化的配置界面配置不了，算了，入乡随俗吧，使用命令行配置，网上查了一些资料，配置好ok，但是发现一开机，又上不了网了。找... 阅读全文
posted @ 2012-10-21 13:48 飞天的白猪 阅读(161) 评论(0) 推荐(0) 编辑