摘要： 下面结合具体业务讲解一下 HADOOP JAVA MapReduce API，本文在我的朋友 Erik Fang 帮助下完成，在此向他致谢1.日志格式time=2011-07-05 21:59:56`pid=52249`channelid=3`pos=1`adver=`ex=`monitoring=`guid=`ip=`sn=`dn=924779104-e8f54d2f`bid=`pfid=69`width=240`height=320`ss=240×320`fr=dwjava`ua=`imei=`ln=zh_cn`ext=a`li=g9eKibG8rMqN2tOHt76sy4/a0 阅读全文

摘要： 首先简介一下，部分内置API的用途：Configuration conf = new Configuration(); // 读取hadoop配置Job job = new Job(conf, “作业名称”); // 实例化一道作业job.setOutputKeyClass(输出Key的类型);job.setOutputValueClass(输出Value的类型);FileInputFormat.addInputPath(job, new Path(输入hdfs路径));FileOutputFormat.setOutputPath(job, new Path(输出hdfs路径));job.se 阅读全文

摘要： hadoop要发到每个节点的配置文件，只有core-site.xml mapred-site.xml hdfs-site.xml添加节点1.修改host和普通的datanode一样。添加namenode的ip2.修改namenode的配置文件conf/slaves添加新增节点的ip或host3.在新节点的机器上，启动服务[root@slave-004 hadoop]# ./bin/hadoop-daemon.sh start datanode[root@slave-004 hadoop]# ./bin/hadoop-daemon.sh start tasktracker4.均衡block[ro 阅读全文

摘要： 刚刚开始学习hadoop，在配置hdfs的时候经常出现一些莫名其妙的问题。总结一下： 一 关于hadoop namenode -format每个节点（datanode、namenode）都需要进行hadoop namenode -format ，这是必须的，但是这也经常引发一些问题。例如datanode的namespaceID不匹配问题。导致datanode无法链接到namenode。在网上看到外文的参考方法:Big thanks to Jared Stehler for the following suggestion. I have not tested it myself yet,... 阅读全文

摘要： 从hadoop框架与MapReduce模式中谈海量数据处理前言 几周前，当我最初听到，以致后来初次接触Hadoop与MapReduce这两个东西，我便稍显兴奋，觉得它们很是神秘，而神秘的东西常能勾起我的兴趣，在看过介绍它们的文章或论文之后，觉得Hadoop是一项富有趣味和挑战性的技术，且它还牵扯到了一个我更加感兴趣的话题：海量数据处理。 由此，最近凡是空闲时，便在看“Hadoop”，“MapReduce”“海量数据处理”这方面的论文。但在看论文的过程中，总觉得那些论文都是浅尝辄止，常常看的很不过瘾，总是一个东西刚要讲到紧要处，它便结束了，让我好生“愤懑”。 尽管我对这个Hadoop与MapRe 阅读全文

摘要： 偶然间在网上看到几个原来没见过的面试智力题，有几个题目在国内流传相当广，什么n个人怎么分饼最公平，屋里的三个灯泡分别由哪个开关控制，三架飞机环游世界，用火柴和两根绳子测量45分钟之类的题目，火星得已经可以考古了，这里就不再说了。 1、考虑一个双人游戏。游戏在一个圆桌上进行。每个游戏者都有足够多的硬币。他们需要在桌子上轮流放置硬币，每次必需且只能放置一枚硬币，要求硬币完全置于桌面内（不能有一部分悬在桌子外面），并且不能与原来放过的硬币重叠。谁没有地方放置新的硬币，谁就输了。游戏的先行者还是后行者有必胜策略？这种策略是什么？答案：先行者在桌子中心放置一枚硬币，以后的硬币总是放在与后行者刚才放的.. 阅读全文

摘要： Axis2是一套崭新的WebService引擎，该版本是对Axis1.x重新设计的产物。Axis2不仅支持SOAP1.1和SOAP1.2，还集成了非常流行的REST WebService，同时还支持Spring、JSON等技术。这些都将在后面的系列教程中讲解。在本文中主要介绍了如何使用Axis2开发一个不需要任何配置文件的WebService，并在客户端使用Java和C#调用这个WebService。一、Axis2的下载和安装 读者可以从如下的网址下载Axis2的最新版本： http://ws.apache.org/axis2/ 在本文使用了目前Axis2的最新版本1.4.1... 阅读全文

摘要： 用Axis2实现Web Service，虽然可以将POJO类放在axis2\WEB-INF\pojo目录中直接发布成Web Service，这样做不需要进行任何配置，但这些POJO类不能在任何包中。这似乎有些不方便，为此，Axis2也允许将带包的POJO类发布成Web Service。 先实现一个POJO类，代码如下：package service;public class MyService{ public String getGreeting(String name) { return "您好 " + name; } public void up... 阅读全文

摘要： SpringAOPAdvicesAdvices实现了Aspect的真正逻辑，具体来说在java中就是一个类或更细粒度的设计成一个方法（由一个类集中管理多个Advices）。按织入Targets的时机不同，spring提供了几种不同的Advices，如：BeforeAdvices、AfterAdvices、AroundAdvices、ThrowAdvice。一、BeforeAdvicesBeforeAdvices会在目标对象的方法执行之前被调用，可以调用org.springframework.aop.MethodBeforeAdvice接口来实现BeforeAdvice的逻辑，该接口的定义如下： 阅读全文

摘要： 二、Bean、消息、事件Spring的核心是一个容器，它实现了IoC的概念，可以协助管理各个对象的生命周期，以及对象之间的依赖关系。熟悉使用BeanFactory和ApplicationContext的运用是了解Spring的重点所在。作为一个应用程序框架，ApplicationContext除了具备BeanFactory基本的容器管理功能之外，还能支持更多应用程序框架的特性，像资源的取得、文字消息的解析、事件的处理与传播等特性。2.1Bean基本管理2.1.1BeanFactoy、ApplicationContextBeanFactory负责读取Bean定义文件；管理对象的加载、生成；维护B 阅读全文