jacob-wang

摘要： 1.制定目标的两个方向：从未来往现在制定，还是从现在往未来制定制定目标的方向，一定要从未来往现在；但是达成目标的方向，一定要从现在往未来，这是两个不同的过程。因为如果根据现状制定目标，制定出来的目标就会是小目标，所以，应该建立在憧憬之上而不是现实的可能性上。此外，制定短期目标时也一定要考虑到现实，而制定长期目标时却绝对不能考虑现实。2.制定的过程中：先确定目标，还是先找达成目标的信息应该先确定目标，然后去找达成目标相关的信息。如果反过来的话，就会受到误导。因为，从人的生理状态来看，人的后脑勺上有一个网状系统，其功能是专门用来过滤信息的，大脑里面有两个信息会自动通过，帮助我们去规划人生：一个是个 阅读全文

摘要： 1. JUnit Test Case测试类需要从TestCase类继承2. Ant的配置文件如下，添加一个target用来run JUnit并生成报表 <project default="report" basedir="."> <target name="runtests"> <java fork="yes" classname="junit.textui.TestRunner" taskname="junit" failonerror=&qu 阅读全文

摘要： 转自：http://blog.csdn.net/liangliyin/article/details/7580629 在调研JobTracker等异常问题时经常需要远程debug以实现单步跟踪。相对于打印日志，远程调试更方面更快捷，信息也更全面。这里列出远程调试的基本步骤。 1、配置jvm选项启用远程debug Hadoop的所有deamon启动都是bin/hadoop脚本实现的，该脚本最后... 阅读全文

摘要： 转自：http://blog.csdn.net/HEYUTAO007/article/details/5725379 参考： 1 caibinbupt的源代码分析http://caibinbupt.javaeye.com 2 coderplay的avaeye http://coderplay.javaeye.com/blog/295097 http://coderplay.javaeye... 阅读全文

摘要： 《进化的大脑》--“赋予我们爱情、记忆和美梦” 作者：戴维·J·林登(David J.Linden)1、 动物公开的混乱性行为，所有群体成员都能看到。这种公开乱交的后果，是大部分雄性动物从不照看自己的后代。人类隐蔽的排卵周期可以将男性配偶长期留在身边。女性需要男性共同培育后代直至长大。这种一对一人类性行为大部分时间是为了欢愉，可以比较容易可靠确定后代亲子关系，能建立长期稳定配偶关系。2、 男性大脑略大于女性。这一点在右边球厚度体现多。男性INAH3细胞簇是女性的2-3倍，这类细胞的睾酮受体密度高。与男性典型性行为相关，同时空间学习能力强。而并抵体和前连合女性略大于男性，富含 阅读全文

摘要： 正如大家所知，NameNode在Hadoop系统中存在单点故障问题，这个对于标榜高可用性的Hadoop来说一直是个软肋。本文讨论一下为了解决这个问题而存在的几个solution。1. Secondary NameNode原理：Secondary NN会定期的从NN中读取editlog，与自己存储的Image进行合并形成新的metadata image优点：Hadoop较早的版本都自带，配置简单，基本不需要额外资源（可以与datanode共享机器）缺点：恢复时间慢，会有部分数据丢失2. Backup NameNode原理：backup NN实时得到editlog，当NN宕掉后，手动切换到Back 阅读全文

摘要： HDFS中很有意思的一点是，它的控制消息的传输和数据消息的传输采用的是不一样的模块。这也是接下来我想探讨的重点。HDFS中所有的控制消息的传输都基于它自实现的RPC模块,之前已经讨论过。但是，Hadoop自己的RPC机制不太适合大数据量的传输，因为两个Node之间只用一个socket进行通信，网络的吞吐量不一定上得去。而事实上，HDFS确实没有用RPC机制传输数据消息。当HDFS中的DFSClient对DataNode上保存的文件数据进行读写的时候，它其实采用了另外一个机制.简单而言，HDFS分为了三个部分： NameNode，处于master的地位，维护了数据在DataNode上的分布情况， 阅读全文

摘要： 原文地址：http://www.supermind.org/blog/520/using-hadoop-ipcrpc-for-distributed-applications本文来自于：http://gpcuster.cnblogs.com译文：关于Hadoop IPC我们一起来了解Hadoop IPC，这是一个内进程间通信（Inter-Process Communication）的子系统。Hadoop IPC被用于在一个进程的程序与另一个进程的程序进行通信Hadoop IPC 1.与SOAP和XML-RPC不同，Hadoop IPC使用java中的DataOutputStream与DataI 阅读全文

摘要： 转自：http://blog.csdn.net/xhh198781/article/details/7280084 在前一篇博文中，我已经详细的讲解了Hadoop RPC中客户端通信组件的实现，与之对应的就会有一套服务器端通信组件的实现。Hadoop RPC的服务器端采用了多线程的设计，即服务器会开启多个处理器(后天线程)来处理所有客户端发送过来的RPC调用请求，所以在服务器端主要包括三个组件：... 阅读全文

摘要： 转自：http://blog.csdn.net/xhh198781/article/details/7268298在Hadoop中为了方便集群中各个组件之间的通信，它采用了RPC，当然为了提高组件之间的通信效率以及考虑到组件自身的负载等情况，Hadoop在其内部实现了一个基于IPC模型的RPC。关于这个RPC组件的整体情况我已绍经在前面的博文中介绍过了。而在本文，我将结合源代码详细地介绍它在客户端的实现。 先来看看与RPC客户端相关联的一些类吧！1.Client类[java] view plaincopyprivate Hashtable<ConnectionId, Connection 阅读全文