摘要: 上一篇文章说到了jobTracker中的submitJob()方法,这个方法最终会调用listener.jobAdded(job),将Job注册到TaskScheduler中,由其进行调度。今天接着研究。hadoop中默认的TaskScheduler是JobQueueTaskScheduler,采用... 阅读全文
posted @ 2013-11-21 22:31 Vicky01200059 阅读(190) 评论(0) 推荐(0) 编辑
摘要: 上一篇文章说到jobClient提交job的过程,这篇文章是接着上一篇文章继续写的。上一篇说到jobSubmitClient.submitJob( jobId, submitJobDir.toString(), jobCopy.getCredentials())这里,这里就是jobTracker进行... 阅读全文
posted @ 2013-11-20 00:29 Vicky01200059 阅读(121) 评论(0) 推荐(0) 编辑
摘要: hadoop的job提交过程相对来说还是有点复杂的,所以在学习源码的时候会显得有些乱,时常看了后面忘了前面,所以在看了多遍之后决定用文章的方式记录下来,一边自己下次再看的时候能够清晰些,同时也为初次接触这方面源码的同学提供一些帮助吧。希望自己可以写的足够详细。(本文针对hadoop1.2.1)1.j... 阅读全文
posted @ 2013-11-18 23:59 Vicky01200059 阅读(122) 评论(0) 推荐(0) 编辑
摘要: 先确保Linux已安装gcczmalloc.h:50:31: error: jemalloc/jemalloc.h: No such file or directoryzmalloc.h:55:2: error: #error "Newer version of jemalloc required"... 阅读全文
posted @ 2013-11-01 16:30 Vicky01200059 阅读(129) 评论(0) 推荐(0) 编辑
摘要: 之前看网上说要想在windows下访问hadoop集群需要安装cygwin,但是我嫌安装这东西麻烦,所以没弄,但是今天根据linux下使用hadoop插件的eclipse建的一个项目来在Myeclipse下建了一个同样的项目,引入同样的jar包,然后执行调用Hadoop的程序竟然可以执行,大喜。不知... 阅读全文
posted @ 2013-09-22 23:03 Vicky01200059 阅读(148) 评论(0) 推荐(0) 编辑
摘要: 在安装Hadoop之前先确保每台机器都装有jdk,版本什么路径什么的最好一样,然后配置好master对其他slavers的SSH无密码访问确保上述条件满足之后就可以开始安装Hadoop了首先我的版本信息: LinuxOS:RedHat Enterprise 6.0 两台(VMWare虚拟机),一台m... 阅读全文
posted @ 2013-09-17 23:37 Vicky01200059 阅读(186) 评论(0) 推荐(0) 编辑
摘要: 网上资料很多,基本都是一样。首先确保你已安装ssh,RedHat自带有openSSH,所以不需要考虑。第一步:使用 #ssh-keygen -t dsa ,使用这个命令之后会提示是否输入密码,这里不输入密码,一路enter下去就可以了,最后会在用户目录下的隐藏文件夹.ssh下生成id.dsa和id_... 阅读全文
posted @ 2013-09-17 22:43 Vicky01200059 阅读(158) 评论(0) 推荐(0) 编辑
摘要: Oracle cursor需要传入参数的时候,首先得在定义游标的时候设置参数,例如curProduct(n_tem_game_id number)这时在打开游标的时候就可以传入对应的游标了,例如:open curProduct(1); 阅读全文
posted @ 2013-03-20 15:09 Vicky01200059 阅读(905) 评论(0) 推荐(0) 编辑
摘要: 其实也不是各种异常解决方法,只是出现了太多的异常我实在不知道有哪些,下面列举一下吧:1.PLS-00306: wrong number or types of arguments in call to 'QUERYUSER'ORA-06550: line 1, column 7:PL/SQL: St... 阅读全文
posted @ 2013-03-07 13:17 Vicky01200059 阅读(222) 评论(0) 推荐(0) 编辑
摘要: Spring RMI一开始看网上的资料感觉很简单,但一次一次的失败告诉我,那不简单,嘻嘻(当然实现之后还是蛮简单的)。首先我是使用SpringRMI实现两个Web系统之间的通信(其实也就是一个系统调用另一个系统的某个方法),这两个Web系统是部署在一个服务器上的,而且我将rmi的Spring配置文件... 阅读全文
posted @ 2012-07-17 17:00 Vicky01200059 阅读(1325) 评论(0) 推荐(0) 编辑