摘要：
比如有backtest11,backtest12两个节点。在secureCRT下生成的公钥密钥(密码非空)，将公钥内容分别追加到各节点的~/.ssh/authorized_keyscat '公钥内容' >>~/.ssh/authorized_keys这时候已经可以在各个节点之间scp -P 32200(或-P 22)或者go跳转。这时各节点上/etc/hosts也改好127.0.0.1 localhost172.19.102.11 backtest11172.19.102.12 backtest12－－－－－－－－－－接下来，配置hadoop集群免输入口令登录以12 阅读全文
摘要：
假设在一个引用表中，是uid,sid这样的引用，现在在mapreduce中对sid被引用情况的统计，参照上一篇，及《hadoop in action》中引用计数的例子，新建slist_8表及导入数据。新建SidCitated.java进一步考虑两个mysql表输入，并联结sid对应的name注意：DBInputFormat 输入的key,value各是什么？在虚拟机上javac -classpath hadoop-core-1.0.3.jar:lib/commons-cli-1.2.jar:lib/mysql-connector-java-5.1.18-bin.jar -d mysinfo/c 阅读全文
摘要：
问题：执行自己编译的jar包时，是否要先将这个jar拷到每个结点的相同路径下(可以通过hdfs来复制，也可通过scp)?几个备忘：1.为保证中文编码问题，先配置默认UTF8编码2.对JDBC的Jar包处理，可以放每个节点上，也可放在hdfs上的lib3.如有需要，对其它节点访问mysql授权brian(123456)，相应IPmysql> grant all on *.* to 'brian'@172.19.32.108 identified by '123456'－－－－－－－－－－－－－－－－－－－－－－－－－本文先对参考的《hadoop开发者》相关文 阅读全文
摘要：
机子资源有限，计划用两台PC服务器，加一台个人VM虚拟机上的Ubuntu作TaskTracker结点。问题：如何解决虚拟机与物理机器相联：1.在虚拟机设置里改“NAT”为“Bridged”2.ifconfig eth0 down然后ifconfig eth0 up重启网卡，这时可以与外部机器互ping在.12测试机上mysql -u root，然后授权：mysql> grant all on *.* to 'brian'@172.19.32.108 identified by '123456'这时在虚拟机上mysql -h 172.19.102.12 -u 阅读全文
摘要：
View Code 1 import java.io.IOException; 2 import java.util.Iterator; 3 4 import org.apache.hadoop.conf.Configuration; 5 import org.apache.hadoop.conf.Configured; 6 import org.apache.hadoop.fs.Path; 7 import org.apache.hadoop.io.IntWritable; 8 import org.apache.hadoop.io.Text; 9 import org.apache.h.. 阅读全文