甲马

摘要： hama上的pagerank，模仿示例代码写的，做了一些简化。然后报错：task_logs：13/03/26 14:32:01 INFO sync.ZKSyncClient: Initializing ZK Sync Client13/03/26 14:32:01 INFO sync.ZooKeeperSyncClientImpl: Start connecting to Zookeeper! At lvxuedong-R458/1.2.3.4:6100113/03/26 14:32:01 ERROR sync.ZooKeeperSyncClientImpl: org.apache.zooke 阅读全文

摘要： mapreduce上面进展缓慢，根据boss要求，去熟悉一下Hama，看看能不能用BSP实现图匹配的需求。因为之前只是用hadoop里面带的example测试了一下环境，没有自己动手写代码，所以。。。华丽丽地被批评了一顿。看Hama之前，还是先要把MapReduce上面的PageRank写一下。//mymapreduce.java pagerank 2013.3.21package hadoop.lxd;import java.io.IOException;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.*;import 阅读全文

摘要： 错误：Cannot create file/user/lxd/tmp/google-in. Name node is in safe mode。执行hadoop fs -put 时，安全模式，不能建立新目录。解决办法：$ bin/hadoop dfsadmin -safemode leave关闭safe mode用户可以通过dfsadmin -safemode value 来操作安全模式，参数value的说明如下：enter - 进入安全模式leave - 强制NameNode离开安全模式get - 返回安全模式是否开启的信息wait - 等待，一直到安全模式结束。 阅读全文

摘要： 1、进入recovery模式2、默认会进入只读模式栋recovery，需要重新挂载：mount -o remount rw /3、usermod -l new_username -d /home/new_username -m old_username用usermod命令来修改用户帐户相关信息，-l指定新的登录名称,-d指定新的主目录,如果同时指定-m选项则移动原来用户主目录的内容到新的用户住目录,最后指定原来的登录用户名。groupmod -n new_username old_usernamegroupmod命令用来修改组相关信息，-n用来指定新的组名，用原来的组名作为参数。这里修改的是与 阅读全文

摘要： Hadoop集群配置配置hadoop之前，需要在hosts文件中添加主机名和ip地址的映射。例如：master.hadoop 1.2.3.4slaver1.hadoop 1.2.3.5......./etc/profile中只需要JAVA_HOME的路径就可以了。没有必要设置HADOOP_HOME变量。否则会报warning，但并不影响运行。 一、core-site.xml<!-- fs.default.name - 这是一个描述集群中NameNode结点的URI(包括协议、主机名称、端口号)，集群里面的每一台机器都需要知道NameNode的地址。DataNode结点会先在NameNod 阅读全文

摘要： 第一种更改方法是写个脚本（参考这篇文章），将diff命令交给meld去做。有一点不太爽：只能一个文件一个文件比较，关闭一个才能比较下一个，效率太低。 第二种，强大的meld直接比较。不用关闭一个，再根据提示进行下一个比较了。首先下载压缩包，把git-diffall解压到你希望的位置${path_to_git-diffall}。然后在你的PATH中建一个软链接到git-diffall。例如：ln -s ${path_to_git-diffall}/git-diffall /usr/local/bin/git-diffall最后，配置一下git：git config --global dif... 阅读全文

摘要： 第一篇。以后要养成记录的好习惯。 阅读全文