摘要: 以前在虚拟机上装了伪分布模式下的Hadoop0.20.2,就装了很久才安装上。现在,在集群上有重新部署了一下分布模式,参考虾米的总结:http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html非常详尽! 阅读全文
posted @ 2013-04-01 21:22 zyumeng 阅读(150) 评论(0) 推荐(0) 编辑
摘要: 最近想对hadoop的源码进行修改,发现ant编译工具非常重要,所以就找了一些资料学习了一下。但在使用过程中,还是遇到了很多问题,在这里记录下来。先简单看看几个ant的简单介绍:http://chenchuxin.iteye.com/blog/141355尝试编译了Hello world.java,成功!大致明白了xml文件的编写,但是在编写Hadoop的XML文件时,还是遇到了问题:报错:[java] Could not find testio.TestIO. Make sure you have it in your classpath.查找到资料:http://lengjianxxxx. 阅读全文
posted @ 2013-03-29 20:53 zyumeng 阅读(721) 评论(0) 推荐(1) 编辑
摘要: 1. 下载Hadoop源代码Hadoop 各成员源代码下载地址:http://svn.apache.org/repos/asf/hadoop,请使用SVN下载,在SVN浏览器中将trunk目录下的源代码check-out 出来即可。请注意只check-out出SVN 上的tag 目录下的内容,如:http://svn.apache.org/repos/asf/hadoop/common/tag/release-0.20.2,2. 准备编译环境2.1. 系统CentOS5.52.2. Hadoop代码版本hadoop-0.20.2-release2.3. 联网编译Hadoop 会依赖很多第三方库 阅读全文
posted @ 2013-03-22 11:32 zyumeng 阅读(693) 评论(0) 推荐(0) 编辑
摘要: 利用JNI动态链接库实现Java调用Jerasure库Java 与C之间通过JNI传递,实现调用Jerasure库对文件进行编码操作,详细过程记录。生成so文件主要分为一下几步:编写.java文件,其中有声明native方法javac生成.class文件javah生成.h文件编写.c文件编写makefile文件,gcc生成so文件将so库文件放到-Djava.library.path目录下调用so库文件1.Linux下用Eclipse新建一个工程,暂命名为ReedSolomon,新建一个Encoder.java的类,内容截图如图1.注意包名的定义,先在工程下的src文件中建立包org.apac 阅读全文
posted @ 2012-10-30 15:27 zyumeng 阅读(985) 评论(0) 推荐(0) 编辑
摘要: 在线安装用升级的方式----Eclipse平台本身的更新管理器来实现Step1:开始安装:eclipse菜单栏help->softwareupdates->FindandInstall。Step2:选择searchfornewfeaturestoinstall->NextStep3:选择NewRemoteSite->输入如下:->OKStep4:在弹出的新建远程站点对话框中,输入以下内容:name:subeclipseURL:http://subclipse.tigris.org/update_1.4.xStep5:三项全部选上,点击Finish就可以了Step6 阅读全文
posted @ 2012-10-09 11:27 zyumeng 阅读(172) 评论(0) 推荐(0) 编辑
摘要: 实验环境: OS : CentOS5.5 (Linux) IDE:Eclipse DBMS:MySQL准备工作: 1、安装MySql。 详见http://www.cnblogs.com/zyumeng/archive/2012/09/17/2688772.html 2、安装JDBC: 在命令行中输入: wegt http://www.mysql.com/downloads/connector/j/mysql-connector-java-5.1.22.tar.gz tar xzvf mysql-connector-java-5.1.22.tar.gz 3、将mysql服务器启动起来:... 阅读全文
posted @ 2012-10-09 11:00 zyumeng 阅读(3999) 评论(0) 推荐(0) 编辑
摘要: 本文CentOS版本为5.5 。由于CentOS 5.5在默认情况下,会安装OpenOffice之类的软件,而这些软件需要Java支持,因此系统会默认安装一个JDK环境,如果需要使用特定的Java环境,最好将这些默认安装的JDK卸载或者彻底删除。在安装完成CentOS 5.5之后,直接在终端中输入“java -version”,系统会显示当前的jdk版本号“java-1.6.0-openjdk-1.6.0.0-1.7.b09.el5”,可以看到jdk使用的是openjdk1.6版本的。所以注意一定要将原有的jdk删除。我是用的是jdk1.6.32。下载地址: http://www.oracle 阅读全文
posted @ 2012-09-18 20:27 zyumeng 阅读(300) 评论(0) 推荐(0) 编辑
摘要: 网络上有很多相关的安装笔记,但是并不详尽,或是编译环境稍有不同,过程就会有差异,所以我总结了已有的经验和我自己安装过程中的体验,扩充并详尽地记录了整个过程。我选择安装的是MySQL5.5.27版本。以下是我的安装笔记。打开终端切换到根目录[shell@localhost ~]# su -安装Mysql5.5之前先卸载CentOS自带的Mysql5.0。[root@localhost ~]# yum remove mysql安装cmake下载cmake源码包cmake-2.8.5.tar.gz[root@localhost ~]# wget http://www.cmake.org/file.. 阅读全文
posted @ 2012-09-17 15:07 zyumeng 阅读(1160) 评论(0) 推荐(0) 编辑