摘要：
正常我们在web开发中，由于需要在页面上或者脱离事务时使用到懒加载对应的对象，一般都采用Open Session In View模式。 Open Session In View OpenSessionInView 模式用法探讨，在没有使用Spring提供的Open Session In V... 阅读全文
摘要：
在搭建web项目时，出现一个比较诡异的问题，任何JSP页面突然都不能够正常地显示，系统爆出HTTP：500(服务器内部错误)的页面 HTTP Status 500 - java.lang.NoSuchMethodError: org.eclipse.jdt.internal.compile... 阅读全文
摘要：
一般情况下，我们使用Java访问hadoop distributed file system(hdfs)使用hadoop的相应api，添加以下的pom.xml依赖（这里以hadoop2.2.0版本为例）： org.apache.hadoop hadoop-common ... 阅读全文
摘要：
Java中我们基本上不会显式地调用分配内存的函数，分配内存和回收内存都由JVM自动完成了。 所谓物理内存就是我们通常说的RAM（随机存储器），计算机中还有一个存储单元叫做寄存器，用于存储计算单元执行指定的中间结果。寄存器的大小决定了一次计算可使用的最大数值。 不管是在Windows系统还是... 阅读全文
摘要：
Oozie支持工作流，其定义通过将多个Hadoop Job的定义按照一定的顺序组织起来，然后作为一个整体按照既定的路径运行。一个工作流已经定义了，通过启动该工作流Job，就会执行该工作流中包含的多个Hadoop Job，直到完成，这就是工作流Job的生命周期。 通过最简单的一个例子来了解... 阅读全文
摘要：
正常情况下，我们都是启动Hadoop任务的方式大概就是通过hadoop jar命令（或者写在shell中），事实上运行的hadoop就是一个包装的.sh，下面就是其中的最后一行，表示在其中执行一个java命令，调用hadoop的一些主类，同时配置一些hadoop的相关CLASSPATH，O... 阅读全文
摘要：
我们最原始的产品使用hive来进行数据分析和处理，由于我们的业务模型所限制，往往需要经过多轮的MR来完成任务，经过多轮的优化，虽然取得了一定的成果，但是执行速度还是不能满足产品的要求。 其实，当时考虑使用hive，是由于其基于SQL良好的扩展性为前提的，也就是说，以后我们在增加功能的时候，... 阅读全文
摘要：
由于我们处理的日志需要过滤一些空格，因此大部分处理日志的程序中都用到了java.lang.String.trim()函数。直到有一次遇到一个诡异的问题，某个包含特殊字符的字符串被trim后居然也为空（虽然这种特殊字符也没有什么太大意义…）。 于是查看这个特殊字段，显示为^I(在Linux下... 阅读全文
摘要：
最近在写一个Java工具，其中调用了各种SHELL命令，使用了Runtime.getRuntime().exec(command);这个方法。但是在我调用某个命令执行操作时，程序就卡在那了，但是其他操作却能够正常输出，经过了一番查找和摸索，终于明白了原来Java在执行命令时输出到某个Buf... 阅读全文
摘要：
Hive会将执行的SQL语句翻译成对应MapReduce任务，当SQL语句比较简单时，性能还是可能处于可接受的范围。但是如果涉及到非常复杂的业务逻辑，特别是通过程序的方式（一些模版语言生成）生成大量判断语句时，出现的问题就会比较多。 精简Hive使用的SQL 当前项目中如果打包的数量过多... 阅读全文