04 2013 档案

摘要：为了做毕设，搭建了Hadoop的集群。因为实验室的机器有限，而且做实验的同学多，实验室采用了在实体机器上安装kvm虚拟机的方式搭建集群。本来的集群有4台机器。实验需要扩展集群。想到了kvm管理中有克隆和迁移的功能。但不清楚具体操作带来的后果。经询问后，记录如下：KVM的克隆是个比较复杂的过程。它是只读的克隆。即在虚拟机A克隆出虚拟机B的过程中，虚拟机B最初的镜像只是一个很小的文件，里面存储了原本A的镜像中的一些映射，当虚拟机B被访问的时候，会根据镜像中的映射向原有的A的镜像拷贝具体的文件过来。这时A的原有镜像是只读的，因为一旦改变，则B中的映射就会失效。在更具体的实现过程中，会产生第三个文件C 阅读全文

摘要：在目标机器上，ssh localhost可以，但其他机器无法访问目标机器，目标机器也无法ssh到其他机器，并且22端口也在监听。一种可能性是局域网内IP冲突。目标机器的IP被占用了。 阅读全文

摘要：一种解决方法：java中的Math.random()方法产生一个0.0-1.0之间的随机double值。如果想自己设定随机数的范围，例如lowbound和highbound，可以通过简单的计算获得。lowbound + （highbound - lowbound ）* 方法产生的随机值 阅读全文

摘要：遇到的问题如下： 网上的帖子一般比较重步骤，每一步都很详细，但没有说明为什么，读者容易因为不知道为什么，而忽视一些问题，安装出错也不知道如何解决。所以写上一些为什么还是必要的。1.SSH问题1）集群配置中需要配置Master和Slave间的ssh无密码访问。需要的是master能够无密码访问slave中的每台机器，slave也能无密码访问master。Slave间不需要无密码访问彼此。这是因为hadoop的中心管理机制，master需要向slave传送管理、控制信息，slave需要向master汇报节点的情况等。这期间需要无密码访问，而slave间没有直接的通信。2）相同用户名和机器名的问题. 阅读全文