随笔分类 - Hadoop MapReduce概念学习系列
摘要:java基本类型与Hadoop常见基本类型的对照Long LongWritableInteger IntWritableBoolean BooleanWritable String Text Java类型如何转化为Hadoop基本类型? 调用hadoop类型的构造方法,或者调用set()方法。 ne
阅读全文
摘要:不多说,直接上干货! 这个暂时,没写好。 K1,v1 这是增强的for循环。 for(Sting w : words) { } 迭代器里,前面,放的是什么类型,后面,迭代的是谁。 欢迎大家,加入我的微信公众号:大数据躺过的坑 人工智能躺过的坑 同时,大家可以关注我的个人博客: http://www.
阅读全文
摘要:不多说,直接上干货! Shuffle是非常非常非常重要。搞mr,必须熟烂于心。 因为,分区,分组,排序,,,都是在Shuffle里完成。 欢迎大家,加入我的微信公众号:大数据躺过的坑 人工智能躺过的坑 同时,大家可以关注我的个人博客: http://www.cnblogs.com/zlslch/ 和
阅读全文
摘要:不多说,直接上干货! Tracker是跟踪者,跟踪器。JobTracker是项目经理。在hadoop2*的0.23版本之后,改叫RM了。ResourceManager。TaskTracker是小组长。它手下,还有具体搬砖的。在hadoop2*的0.23版本之后,改叫NM了。NodeManager。
阅读全文