蒋源德

摘要： 还是使用之前的单词计数的例子自定义Mapper类import java.io.IOException;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.... 阅读全文

摘要： 通过API操作之前要先了解几个基本知识一、hadoop的基本数据类型和java的基本数据类型是不一样的，但是都存在对应的关系如下图如果需要定义自己的数据类型，则必须实现Writablehadoop的数据类型可以通过get方法获得对应的java数据类型而java的数据类型可以通过hadoop数据类名的... 阅读全文

摘要： 1.hadoop3: mkdir: cannot create directory `/usr/local/hadoop/bin/../logs': Permission denied把所有Datanode节点执行下面命令[hadoop@hadoop3 local]$ chown -R hadoop... 阅读全文

摘要： 安装eclipse：(1)把eclipse-java-helios-SR2-linux-gtk.tar.gz解压到某个目录中，我解压到的是/usr/eclipse，得到eclipse目录(2)在/usr/bin目录下创建一个启动脚本eclipse，执行下面的命令来创建：vi /usr/bin/ecl... 阅读全文

摘要： 以三个节点为例的服务器集群来安装和配置hadoop以下是各服务器ip地址和对应所做的节点192.168.61.128 master192.168.61.129 slave1192.168.61.133 slave2首先修改每个服务器上的hosts文件使用命令vi /etc/hosts编辑在最后追加1... 阅读全文

摘要： 首先需要有一台linux的虚拟机，什么版本的都差不多这里以redhat为例下载hadoop（只是为了学习使用的是老版本的0.20.2）网上有很多下载的地方为服务器安装jdkjdk文件版本为jdk-7u45-linux-i586.rpm可以在官网上下载各个版本的linux jdk文件使用命令rpm -... 阅读全文

摘要： 来的有点迟的年度总结，也是人生中的第一个年度总结关于为啥要写这个总结呢第一是为了以后可以看看以前的自己是什么样子第二是看看自己有没有达到之前的目标和定下更远的目标当然也有追逐其他高手写总结的风姿的原因。。。一年半以前，也就是大一下学期开始接触.Net技术开始从一个对编程没啥概念的小白踏入程序猿的行列... 阅读全文

摘要： 在VM虚拟机中安装完Redhat系统之后如果需要用secureCRT连接linux系统的话操作步骤如下：1.进入linux系统，在终端输入ifconfig（注意，不是windows的ipconfig）结果如下找到ip地址，可以在主机上ping一下，可以ping通就表示可以用如果不行问问度娘吧= =下... 阅读全文

摘要： 阿里云官网有提供OSS相关的操作API文档和.Net程序的 SDK，也可以在这里下载OSS相关文件但是API文档里面的都是通过http请求和响应的消息来描述如何操作OSS的而一般在程序中需要的是OSS操作类的说明本文将通过.Net SDK来创建一个简单的程序连接并测试OSS，并举出几个常见的操作例子... 阅读全文

摘要： 首先需要有一个阿里的OCS实例和ECS云服务器请确认这两个是在同一个可用区的，这个很重要！这两个可以在阿里云官网申请得到拿到OCS之后进入OCS控制台，点击下面的客户端下载选择.Net客户端，或者直接点这里下载.Net客户端下载下来的是一个压缩文件，解压之后是可能是一个没有格式的文件，不要管它，... 阅读全文