摘要：
原本系统之间通信采用Restful Web Service，但其中没有考虑安全性问题，因此决定使用稍微复杂点的二进制协议，Hessian服务。 Hessian是一个轻量级的Remoting On HTTP工具，使用简单的方法提供了RMI的功能，相比Web Service，Hessian更简... 阅读全文
摘要：
对于Hadoop来说，是通过在DataNode中启动Map/Reduce java进程的方式来实现分布式计算处理的，那么就从源码层简要分析一下hadoop中启动Map/Reduce任务的过程。 首先，对于Map/Reduce端启动的任务，都是通过一些参数来控制java opts的，mapr... 阅读全文
摘要：
Hive中的外部表对于Hive中的外部表来说，因为表是外部的，Hive认为其并不拥有这份数据，删除该表并不会真正删除其中的数据，其中的表描述元信息会被删除掉。 对数据进行分区后，对于管理表，可以将其显示在hdfs目录中，但是外部表目录中不会真正存在数据，只能通过show partitions... 阅读全文
摘要：
对于企业应用来说，数据是许多业务的命脉，软件通常是可替换的，但是多年积累的数据是永远不能替换的。 近些年来，以信息为中心的表述性状态转移(Representational State Transfer， REST）已成为替换传统SOAP Web服务的流行方案，为了帮助Spring开发人员，... 阅读全文
摘要：
JPA即Java Persistence Architecture，Java持久化规范，从EJB2.x版本中原来的实体Bean分离出来的，EJB3.x中不再有实体Bean，而是将实体Bean放到JPA中来实现。可以说，JPA借鉴了Hibernate的设计，JPA的设计者就是Hiberna... 阅读全文
摘要：
hsqldb数据库是一款纯Java实现的开源免费数据库，相对其他数据库来说，体积非常小，使用方便，非常利于在测试环境中使用，无需复杂的数据库配置。 hsqldb数据库引擎有几种服务器模式：Server模式，WebServer模式，Servlet模式，Standalone模式，Memor... 阅读全文
摘要：
操作符＋位移 x命令可以删除一个字符，4x可以删除4个字符。dw可以删除一个word，w事实上是向后移动一个word的命令；dw可以接上一个任意一个位移命令，它将删除从当前光标开始到位移终点处的文本内容。 d可以删除文本；c可以修改文本； 操作符＋位移命令，首先键入一个操作符命令，比如d或者... 阅读全文
摘要：
线上执行MapReduce任务计算时，经过排查发现了某些服务器计算的数据出现中文乱码问题，但是服务器的配置是完全一致的。由于我们使用的key可能包含中文，中文乱码问题体现在每次合并map记录的时候计算数据的随机性，每次执行的结果都不一样（由于Map任务执分配的随机性）。（注：此文章大部分都参... 阅读全文
摘要：
最近在服务端编辑文件总不可避免要使用vim编辑器，下面就对学习到的常用命令进行总结，以便自己以后查看。 基本编辑命令 删除字符：x删除一行：dd删除换行符：J，同时将两行合并成一行撤销上一次的操作：u重做，反转撤销：Ctrl+R 一些基本编辑命令可以使用命令计数，比如向下移动3行，可以直接... 阅读全文
摘要：
从MapTask类中分析下去，看一下map任务是如何被调用并执行的。 入口方法是MapTask的run方法，看一下run方法的相关介绍： org.apache.hadoop.mapred.Taskpublic abstract void run(JobConf job, ... 阅读全文