mahout源码KMeansDriver分析之四

昨天说到为什么Configuration没有设置conf.set("mapred.job.tracker","hadoop:9000")仍然可以访问hdfs文件系统（我又换回虚拟机了，因为我加了2G内存。。。所以改为了hadoop:9000），实验证明，是可以的。比如编写下面的测试程序：

 

package mahout.fansy.test.kmeans.middle;
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class TestWritePolicy {
	/**
	 * 测试ClusterClassifier中的writePolicy方法
	 * 此方法的configuration没有进行设定，所以应该是访问不到的才对，但是这里居然访问到了，所以这里是什么问题？
	 * @throws IOException  
	 */
	public static void main(String[] args) throws IOException {
		String path="hdfs://hadoop:9000/user/fansy/input/1";
		Configuration conf=new Configuration();
		Path f=new Path(path);
		FileSystem fs=FileSystem.get(f.toUri(), conf);
		boolean flag=fs.mkdirs(f);
		System.out.println("done:"+flag);
	}
}

可以发现没有设置jt同样可以访问fs，所以得出的结论是如果要访问jt，比如说要运行job的时候要设置这个参数，但是单单是访问fs的时候可以不用设置，因为在路径里面就已经默认了fs 为hadoop:9000，进行debug调试可以看到Path的uri里面其实是有fs信息的，比如：

 

解决这个疑问，就继续看下面的代码了：

 

 Path priorClustersPath = new Path(output, Cluster.INITIAL_CLUSTERS_DIR);
    ClusteringPolicy policy = new KMeansClusteringPolicy(convergenceDelta);
    ClusterClassifier prior = new ClusterClassifier(clusters, policy);
    prior.writeToSeqFiles(priorClustersPath);

这两个类，之前没有见过，单单从英文的分析来看，一个应该是和阈值有关的，另外的一个应该是分类用的。看writeToSeqFiles方法：

 

 

public void writeToSeqFiles(Path path) throws IOException {
    writePolicy(policy, path);
    Configuration config = new Configuration();
    FileSystem fs = FileSystem.get(path.toUri(), config);
    SequenceFile.Writer writer = null;
    ClusterWritable cw = new ClusterWritable();
    for (int i = 0; i < models.size(); i++) {
      try {
        Cluster cluster = models.get(i);
        cw.setValue(cluster);
        writer = new SequenceFile.Writer(fs, config,
            new Path(path, "part-" + String.format(Locale.ENGLISH, "%05d", i)), IntWritable.class,
            ClusterWritable.class);
        Writable key = new IntWritable(i);
        writer.append(key, cw);
      } finally {
        Closeables.closeQuietly(writer);
      }
    }
  }

第一行的writePolicy即是把policy变量写入一个文件中，后面的怎么感觉是把所有的中心点分别写入一个文件的样子？额好吧，测试的结果确是要产生k个文件的。

 

额 ，总感觉最近看代码的进度很慢，哎，或许是太急了？

 

分享，快乐，成长

转载请注明出处：http://blog.csdn.net/fansy1990