随笔分类 - MapReduce
摘要：一、问题背景 倒排索引其实就是出现次数越多，那么权重越大，不过我国有凤巢....zf为啥不管，总局回应推广是不是广告有争议... eclipse里ctrl+t找接口或者抽象类的实现类，看看都有啥方法，有时候hadoop的抽象类返回的接口没有需要的方法，那么我们返回他的实现类。 吧需要的文件放入hdf
阅读全文
摘要：一、问题背景 实际业务的需要，比如以移动为例，河南的用户去了北京上网，那么他的上网信息默认保存在了北京的基站，那么我们想要查询北京地区的上网日志信息默认也包含了其他地区用户的在本区的上网信息，否则只能扫描日志找到北京，很慢，所以分区很需要。 二、数据集分析 查看电话号码一列，看前三位分为移动、联通和
阅读全文
摘要：一、问题背景 现在的移动刚一通话就可以在网站上看自己的通话记录，以前是本月只能看上一个月。不过流量仍然是只能看上一月的。 目的就是找到用户在一段时间内的上网流量。 本文并没有对时间分组。下一节进行分区，有兴趣的参看下一篇。 二、数据集分析 可以看出实际数据集并不是每个字段都有值，但是还好，完整地以t
阅读全文
摘要：一、问题定义 我在网上找了些，关于二度人脉算法的实现，大部分无非是通过广度搜索算法来查找，犹豫深度已经明确了2以内；这个算法其实很简单，第一步找到你关注的人；第二步找到这些人关注的人，最后找出第二步结果中出现频率最高的一个或多个人（频率这块没完成），即完成。 但如果有千万级别的用户，那在运算时，就肯
阅读全文
摘要：一、原理分析 Mapreduce的处理过程，由于Mapreduce会在Map~reduce中，将重复的Key合并在一起，所以Mapreduce很容易就去除重复的行。Map无须做任何处理，设置Map中写入context的东西为不作任何处理的行，也就是Map中最初处理的value即可，而Reduce同样
阅读全文
摘要：一、知识准备 hadoop自带的例子在 D:\HADOOP_HOME\hadoop-2.6.4\share\hadoop\mapreduce\sources\hadoop-mapreduce-examples 2.6.0-source.jar 我记得当年面试的时候就问中位数的问题不过是数据流下的中位
阅读全文
摘要：package algorithm; import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text;...
阅读全文
