2018年7月6日

什么是Map-Reduce

摘要: Map-Reduce本身并不是算法;而是一种处理模式;因为在大数据分布式这种场景下,处理数据运算和单机版不同;需要协同多台机器,并行计算;于是有了map-reduce这种模式,map阶段是数据处理,在各个机器上面进行并行计算,可以算作是对于数据的一个过滤+计算过程,对于需要计算的数据进行收集(map 阅读全文

posted @ 2018-07-06 21:39 下士闻道 阅读(547) 评论(0) 推荐(0) 编辑

MapReduce-朴素贝叶斯

摘要: 朴素贝叶斯(Native Bayes),贝叶斯在现实使用中是怎么玩的?不是根据A|B的概率获得B|A的概率,在现实中的玩法是: 首先要明白贝叶斯是一种分类算法,因为是概率所以,他的应用领域其实是比较,那个分类的概率大就是哪个分类。 常场景是属性和结论,比如天气,风向,温度这些维度属性来推断是否适合打 阅读全文

posted @ 2018-07-06 13:25 下士闻道 阅读(469) 评论(0) 推荐(0) 编辑

MapReduce-寻找三角形

摘要: 在图中,如何判断三角形?三角形在很多场景都有应用,比如社交网络中确定人和人之间的关系。 那么如果通过代码逻辑来实现呢?在数据结构之图中,区分三联体(有一端没有关联关系的三角形)和三角形是关键;两者之间的差别在于边的"度",如果>=2,则可以断定点和边的关系是三角形。为什么度要>=2呢?因为如果一条边 阅读全文

posted @ 2018-07-06 13:21 下士闻道 阅读(260) 评论(0) 推荐(0) 编辑

导航