yuerspring

摘要：在用Mapreduce 重写PageRank 的时候,每个页面的初始值为 pr =1 ,每循环一次（map & reduce）后，每个页面会得到一个新的page rank 值，在进行一次新的迭代，直到收敛于一个值，不再变化。第一列代表链出，其他... 阅读全文

posted @ 2016-06-02 09:12 yuerspring 阅读(211) 评论(0) 推荐(0) 编辑

摘要： 2016-05-29 23:00:09,532 WARN [Thread-12] mapred.LocalJobRunner (LocalJobRunner.java:run(560)) - job_local1841304029_0001java.lang.Exc... 阅读全文

posted @ 2016-05-29 23:06 yuerspring 阅读(654) 评论(0) 推荐(0) 编辑

摘要： [root@bigdataspark ~]# hadoop jar wc.jar com.map.red.job.WordCountJob16/05/22 19:20:24 WARN mapreduce.JobSubmitter: Hadoop command-lin... 阅读全文

posted @ 2016-05-28 13:16 yuerspring 阅读(411) 评论(0) 推荐(0) 编辑

摘要： mapreduce运行机制，这些按照时间顺序包括：输入分片（input split）、map阶段、combiner阶段、shuffle阶段和reduce阶段。partition 是一定有的，只是个数从1 到 ncombiner 是可以定义的1. 输入分片（input ... 阅读全文

posted @ 2016-05-27 18:01 yuerspring 阅读(232) 评论(0) 推荐(0) 编辑

摘要： Jetty 是一个开源的servlet容器，它为基于Java的web容器，例如JSP和servlet提供运行环境。Jetty是使用Java语言编写的，它的API以一组JAR包的形式发布。开发人员可以将Jetty容器实例化成一个对象，可以迅速为一些独立运行（stand-... 阅读全文

posted @ 2016-05-27 15:50 yuerspring 阅读(229) 评论(0) 推荐(0) 编辑

摘要： dfs.replication 3 dfs.nameservices mycluster dfs.ha.namenodes.mycluster nn1,nn2 dfs.namenode.rpc-addres... 阅读全文

posted @ 2016-05-23 17:03 yuerspring 阅读(785) 评论(0) 推荐(0) 编辑

摘要： //启用yarn 作为资源管理框架 mapreduce.framework.name yarn //启用高可用 yarn.resourcemanager.ha.enabled true // 定义集群的名称 ya... 阅读全文

posted @ 2016-05-23 15:45 yuerspring 阅读(561) 评论(0) 推荐(0) 编辑

摘要： Spark 源码剖析阅读全文

posted @ 2016-05-20 16:15 yuerspring 阅读(69) 评论(0) 推荐(0) 编辑

摘要： package com.ibm.w3;import java.net.URI;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataInputStream;impor... 阅读全文

posted @ 2016-05-20 09:08 yuerspring 阅读(352) 评论(0) 推荐(0) 编辑

摘要： /hadoop/etc/hadoop/Eclipse :: http://my.oschina.net/lanzp/blog/309078?fromerr=blt5oYkFcore-site.xmlhadoop.tmp.dir/usr/local/hadoop/... 阅读全文

posted @ 2016-05-20 07:18 yuerspring 阅读(233) 评论(0) 推荐(0) 编辑