08 2019 档案
摘要：十七。小文件问题 十八。MR的大容量缓存 在MR中使用和读取大容量缓存，（也就是说，可能包括数十亿键值对，而无法放在一个商用服务器的内存中）。本次提出的算法通用，可以在任何MR范式中使用。（eg:MR，Spark）
阅读全文
摘要：十五、查找、统计和列出大图中的所有三角形 第一步骤的mr: 第二部mr: 找出三角形 第三部：去重 spark: 十六： k-mer计数 spark:
阅读全文
摘要：十三。朴素贝叶斯 朴素贝叶斯是一个线性分类器。处理数值数据时，最好使用聚类技术（eg:K均值）和k-近邻方法，不过对于名字、符号、电子邮件和文本的分类，则最好使用概率方法，朴素贝叶斯就可以。在某些情况下，NBC也可以用来对数值数据分类。 对于数值数据的分类，比如（连续属性，身高，体重，脚长），建议采
阅读全文
摘要：十一。k-均值聚类 这个需要MR迭代多次。 开始时，会选择K个点作为簇中心，这些点成为簇质心。可以选择很多方法啦初始化质心，其中一种方法是从n个点的样本中随机选择K个点。一旦选择了K个初始的簇质心，下面可以计算输入集合中各个点到这个k个中心点的距离，然后将各个点分配到与他距离最近的簇中心。所有对象都
阅读全文
摘要：九。基于内容的电影推荐 在基于内容的推荐系统中，我们得到的关于内容的信息越多，算法就会越复杂（设计的变量更多），不过推荐也会更准确，更合理。 本次基于评分，提供一个3阶段的MR解决方案来实现电影推荐。 1.找出各个电影的评分人总数 2.对于每个电影对A和B,找出所有同时对A和B评分的人。 3.找出每
阅读全文
摘要：七，共同好友。 在所有用户对中找出“共同好友”。 eg: a b,c,d,g b a,c,d,e map（）-》 <a,b>,<b,c,d,g> ;<a,c>,<b,c,d,g>;..... <a,b>,<a,c,d,e> reduce()-> <a,b>,<c,d> 也就是a,b的共同好友是c,d
阅读全文
摘要：五。移动平均 多个连续周期的时间序列数据平均值（按相同时间间隔得到的观察值，如每小时一次或每天一次）称为移动平均。之所以称之为移动，是因为随着新的时间序列数据的到来，要不断重新计算这个平均值，由于会删除最早的值同时增加最新的值，这个平均值会相应地“移动”。 例子： java代码： MR方案： 方案1
阅读全文
摘要：本人在某次会上的语言模型的ppt.
阅读全文
摘要：三。 左外连接 考虑一家公司，比如亚马逊，它拥有超过2亿的用户，每天要完成数亿次交易。假设我们有两类数据，用户和交易： users(user_id,location_id) transactions(transction_id,product_id,user_id,quantity,amout) 所
阅读全文
摘要：一、二次排序问题。 MR/hadoop两种方案： 1.让reducer读取和缓存给个定键的所有值（例如，缓存到一个数组数据结构中，）然后对这些值完成一个reducer中排序。这种方法不具有可伸缩性，因为reducer要接受一个给定键的所有值，这种方法可能导致reducer的内存耗尽（OOM）。另一方
阅读全文
摘要：mysql>use mysql mysql>update user set host= '%' where user = 'root'; 此时如果提示报错，不用管，继续往下走 select host, user from user; mysql>flush privileges; -- * 这一句是
阅读全文
摘要：一、下载 下载页面http://dev.mysql.com/downloads/mysql/ 选择系统平台后，点击download(根据系统选择64或32位) 二、配置 1、下载成功后，解压安装包到要安装的位置，我是安装在”D:\MySql\” 如果安装目录下包含data文件夹，删除 2、在环境变量
阅读全文
摘要：目录写在前面1. Transformer1.1 从哪里来？1.2 有什么不同？1.2.1 Scaled Dot-Product Attention1.2.2 Multi-Head Attention1.2.3 Masked Multi-Head Attention2. Transformer-XL2
阅读全文
摘要：感谢： https://blog.csdn.net/longxinchen_ml/article/details/86533005（此篇解释的更详细，本篇自愧不如） https://www.jianshu.com/p/04b6dd396d62 Transformer模型由《Attention is
阅读全文
摘要：这两天，XLNet貌似也引起了NLP圈的极大关注，从实验数据看，在某些场景下，确实XLNet相对Bert有很大幅度的提升。就像我们之前说的，感觉Bert打开两阶段模式的魔法盒开关后，在这条路上，会有越来越多的同行者，而XLNet就是其中比较引人注目的一位。 当然，我估计很快我们会看到更多的这个模式下
阅读全文
