02 2022 档案
摘要:参考这篇文章: https://mp.weixin.qq.com/s/NUhfzxGaOJx_pSvYAT-pnQ
阅读全文
摘要:参考这篇文章: https://mp.weixin.qq.com/s/0WytNSBhqWeEWx1avXysiA 《搜索、推荐、广告中的曝光偏差问题》 最近在做的推荐版本里面也会针对曝光偏差进行优化。 机器学习本质上是在学习数据的分布, 其有效性的假设是模型 training 和 serving
阅读全文
摘要:faiss: https://zhuanlan.zhihu.com/p/266589272 milvus: https://gitee.com/milvus-io/milvus catboost: https://zhuanlan.zhihu.com/p/102540344
阅读全文
摘要:高维稀疏数据进行快速相似查找,可以采用learning to hash,但高维稠密数据查找则采用annoy learning to hash 参考: https://blog.csdn.net/hero_fantao/article/details/70245284《海量数据相似查找系列1 -- M
阅读全文
摘要:参考这篇文章: https://zhuanlan.zhihu.com/p/128988454 《谷歌最新双塔DNN召回模型——应用于YouTube大规模视频推荐场景》 https://zhuanlan.zhihu.com/p/93257390 《向量化召回在360信息流广告的实践》 先是第一篇: h
阅读全文
摘要:参考这篇文章: https://zhuanlan.zhihu.com/p/146210155 《百度凤巢新一代广告召回系统——“莫比乌斯”》 从上面的训练流程图可以大致归结为如下几步: (1)首先从点击日志中加载一个batch的数据 (2)利用这一个batch的数据构建两个集合,即query集合和广
阅读全文
摘要:最近在做实时推荐,分成三个阶段来做: 第一步,先利用相似推荐补充到实时数据流 第二步,加入实时特征应用到线上推荐模型 第三步,针对模型进行实时训练学习改造 实时推荐的各种模型,可以看一下: https://zhuanlan.zhihu.com/p/385709488 1.Lambda架构 Lambd
阅读全文
摘要:这些实时推荐的一些文章,可以看一下: https://aijishu.com/a/1060000000196687 《微信看一看实时相关推荐介绍》 https://zhuanlan.zhihu.com/p/74813776 《天下武功,唯快不破,论推荐系统的「 实时性」》 https://zhuan
阅读全文
摘要:推荐/搜索系统中,为什么需要重排模块。 推荐系统的架构大致分为如下几个模块:召回、粗排、精排、重排,那么为什么要引入重排模块呢。 在精排阶段,我们希望得到的是一个候选排序队列的全局最优解,但是实际上,通常在精排阶段,我们精排模型是针对用户和每一个候选广告(商品)输出一个分值;而每个候选之间也会相互影
阅读全文
摘要:PRelu可以参考这篇文章: https://www.cnblogs.com/catpainter/p/8406285.html PReLU全名Parametric Rectified Linear Unit. PReLU-nets在ImageNet 2012分类数据集top-5上取得了4.94%的
阅读全文
摘要:列表推导式 列表推导式格式为: [表达式 for 变量 in 列表] [out_exp_res for out_exp in input_list] 或者 [表达式 for 变量 in 列表 if 条件] [out_exp_res for out_exp in input_list if condi
阅读全文
摘要:https://www.runoob.com/这是一个蛮好的入门教材网站 可以结合之前记录的一些网站一起看。 参考:https://www.cnblogs.com/charlesblc/p/15868417.html https://oi-wiki.org/ 里面记录了信息学奥赛的题目和准备方式,讲
阅读全文
摘要:这篇文章讲得还不错: https://blog.csdn.net/weixin_42446330/article/details/86710838 《Encoder-Decoder框架、Attention、Transformer、ELMO、GPT、Bert学习总结》 里面有一些点可以注意: 引入类似
阅读全文
摘要:看这篇文章: https://zhuanlan.zhihu.com/p/213774840 《机器学习面试150题:不只是考SVM xgboost 特征工程(1-50)》 https://zhuanlan.zhihu.com/p/217494137 《机器学习面试150题:不只是考SVM xgboo
阅读全文
摘要:参考这篇文章: https://blog.csdn.net/weixin_42720875/article/details/105936398 《神经网络反向求导不可导情况处理》 写的蛮好,主要写了Relu函数、平均池化、最大池化的处理方式。 Relu函数 次梯度方法(subgradient met
阅读全文
摘要:可以参考这篇文章: https://zhuanlan.zhihu.com/p/36711903 《BP 神经网络 —— 逆向传播的艺术》 里面有一些重要的知识点: 神经网络的前馈 (forward propagation) 过程,前馈过程也非常容易理解,符合人正常的逻辑,具体的矩阵计算表达如下:
阅读全文
摘要:标准流程: 理解问题:理解问题的核心,相关领域的问题、经验、限制、惯例、内外影响等等。 Collect input features Preprocess:Fillna(fill 0,mean,or by model(eg rf)), Outlier Feature engineering: Nor
阅读全文
摘要:这篇文章还讲得比较清楚: https://blog.csdn.net/u011508640/article/details/72815981 《详解最大似然估计(MLE)、最大后验概率估计(MAP),以及贝叶斯公式的理解》 MLE:Maximum Likelihood Estimation,极大似然
阅读全文
摘要:这篇文章讲得还比较清楚: https://blog.csdn.net/huguozhiengr/article/details/81777577 《统计学中的频率学派与贝叶斯学派》 频率学派认为,对于一批样本,其分布是确定的,也即是是确定的,只不过未知。 贝叶斯学派引入了主观概率的概念,认为一个事件
阅读全文
摘要:这一篇文章讲得很好: https://zhuanlan.zhihu.com/p/36564434 《梯度下降法 —— 经典的优化方法》 核心是这张图: 所以负梯度方向,不是随便得来的,是根据泰勒公式推导得来的。
阅读全文
摘要:第一篇是这个: https://zhuanlan.zhihu.com/p/32230623 在上面一篇文章已经讲了: https://www.cnblogs.com/charlesblc/p/15908598.html 接下来是这篇文章: https://zhuanlan.zhihu.com/p/3
阅读全文
摘要:参考这篇文章: https://zhuanlan.zhihu.com/p/32230623 深度学习优化算法经历了 SGD -> SGDM -> NAG ->AdaGrad -> AdaDelta -> Adam -> Nadam 这样的发展历程。 我们换一个思路,用一个框架来梳理所有的优化算法,做
阅读全文
摘要:参考这篇文章: https://zhuanlan.zhihu.com/p/33173246 https://www.sohu.com/a/220228574_717210(这篇是上面的转载) 其中ICS问题参考这里: https://blog.csdn.net/sinat_33741547/arti
阅读全文
摘要:今天读的这篇文章: 《图解BERT模型:从零开始构建BERT》 https://cloud.tencent.com/developer/article/1389555 单文本分类任务:对于文本分类任务,BERT模型在文本前插入一个[CLS]符号,并将该符号对应的输出向量作为整篇文本的语义表示,用于文
阅读全文
摘要:参考这篇文章: https://www.cnblogs.com/dogecheng/p/11615750.html 我们期望每一个 word token 都有一个 embedding。每个 word token 的 embedding 依赖于它的上下文。这种方法叫做 Contextualized W
阅读全文
摘要:文本生成相关文章,还不错,看一下 《文本生成系列之encoder-decoder》 https://mp.weixin.qq.com/s/ZSf5XUfq3LyjUtai2XVyAQ 文本生成是自然语言处理领域一种常见的任务,它实现了从源文本到目标文本之间的转换。 应用于包括机器翻译(Machine
阅读全文
摘要:这篇文章还不错,有一些值得继续思考的地方。 《周志华教授:关于深度学习的一点思考》 https://mp.weixin.qq.com/s/DlJZII9yKtgskcjTBfZCtQ Hinton 等通过“逐层训练后联合微调”来缓解梯度消失,使人们看到训练深层神经网络是可能的,由此激发了后来的研究,
阅读全文
摘要:整体回答得都比较简略,可以起到提纲挈领的作用,但是还需要继续深化。 解释Adam优化器的概念。 答:Adam结合了两个想法来改善收敛性:每个参数更新可加快收敛速度;动量可避免卡在鞍点上。 为什么必须在神经网络中引入非线性? 答:否则,我们将获得一个由多个线性函数组成的线性函数,那么就成了线性模型。线
阅读全文
摘要:PLM:Pretrained Language Model NLG:Natural Language Generation 这篇文章从把文本生成的方法分成了三类:输入编码、模型设计、优化方法。 同时还从数据、模型、优化三个层面列出了文本生成的一些其他挑战。 N-Gram Overlap:BLEU、R
阅读全文
摘要:OOV(Out of Vocabulary)问题 NLP相对是应用科学,并不是特别的数学。但是我们天天用的算法的基本数学逻辑我认为还是需要搞懂,比如dropout, 比如天天用到的优化(SGD, momentum, adaboost, adagrad),比如各种 batch, layer norma
阅读全文
摘要:Focal Loss for Dense Object Detection 是ICCV2017的Best student paper,文章思路很简单但非常具有开拓性意义,效果也非常令人称赞。 GHM(gradient harmonizing mechanism) 发表于 “Gradient Harm
阅读全文
摘要:这张图比较直观 当学习率设置的过小时,收敛过程将变得十分缓慢。而当学习率设置的过大时,梯度可能会在最小值附近来回震荡,甚至可能无法收敛。 下面来了解一些学习率调整的方法。 2.1 离散下降(discrete staircase) 对于深度学习来说,每 𝑡t 轮学习,学习率减半。对于监督学习来说,初
阅读全文
摘要:这篇文章的一些笔记摘要 《细粒度情感分析在到餐场景中的应用》 https://tech.meituan.com/2021/12/09/meituan-aspect-based-sentiment-analysis-daodian.html 大规模预训练模型(BERT)、提示学习(Prompt)等 N
阅读全文
摘要:针对这篇文章的读书摘要 《情感分析技术在美团的探索与应用》 https://tech.meituan.com/2021/10/20/the-applications-of-sentiment-analysis-meituan.html 我们对其所有用户评论分析后发现好评主要集中在口味、服务、性价比
阅读全文
摘要:第一种Normalization是对于将数据进行预处理时进行的操作,是对于数据集的各个特征分别进行处理,主要包括min-max normalization、Z-score normalization、 log函数转换和atan函数转换等。第二种Normalization对于每个样本缩放到单位范数(每
阅读全文
摘要:先记录一下,然后再仔细看一下。 《情感分析技术在美团的探索与应用》 https://tech.meituan.com/2021/10/20/the-applications-of-sentiment-analysis-meituan.html 《细粒度情感分析在到餐场景中的应用》 https://t
阅读全文
摘要:这些关于Transformer和Bert的文章不错,做一下记录: 《Transformer模型浅析》 https://zhuanlan.zhihu.com/p/74723305 文中引用了一篇国外的博客:https://jalammar.github.io/illustrated-transform
阅读全文
摘要:今天看了篇文章,把NLP归纳成五大类,我觉得还是有一定道理的。 https://blog.csdn.net/Datawhale/article/details/119090740
阅读全文
摘要:有不少资料讲数据集的,太多了就有些信息过剩了,把我自己认为还不错的数据集做一下记录 NLP WikiText:http://metamind.io/research/the-wikitext-long-term-dependency-language-modeling-dataset/ WikiTe
阅读全文
摘要:看的是这篇文章:《深度推荐模型之DeepFM》 https://zhuanlan.zhihu.com/p/57873613 做一些学习笔记 DeepFM模型原理,该模型可认为是Wide & Deep推荐模型的升级版。 不同点主要有以下两点: wide模型部分由LR替换为FM。FM模型具有自动学习交叉
阅读全文
摘要:《我,管理100多人团队的二三事》 https://mp.weixin.qq.com/s/inKzA2zYjLhCphtuoo190A 这篇文章其实讲的一般,但是读完了还是记录一些摘要吧。 尺有所短寸有所长。 事情能做成就好,和过程相比,我更关注结果。 毕竟条条大路通罗马。 年初的时候公司定 KPI
阅读全文
摘要:今天读了一篇文章,觉得讲得还不错,做一些摘要 《快手不能再慢了》 https://mp.weixin.qq.com/s/zHE3ei1JLPLnrAeybgcSyw 程一笑提出的一个重要改革,就是把快手的双列显示改为单列。抖音从起步开始就是单列。两者的区别是,单列的用户门槛更低,双列则更适合社交,打
阅读全文
摘要:火山引擎智能推荐平台里面的一些介绍,基本覆盖了推荐系统的各方面内容。 丰富的推荐类型 猜你喜欢 基于用户行为通过算法模型预测用户兴趣物品,实现物品的个性化推荐,通常用于首页推荐 相关推荐 结合物品之间相关性进行推荐分析,通常用于详情页推荐 灵活的黑盒&白盒功能 自动化特征工程 结合不同行业特点,自动
阅读全文
摘要:蛮好的一段关于NLP工作的总结,里面有些地方讲得还比较到位。 1. 自从来到阿里做自然语言理解的工程师,睡眠时间还能保证吗? 在阿里挺多年了,已经习惯了这种工作节奏,一般我们在项目关键节点的时候会比较忙,别的时候其实还好的,所以正常情况下每天的睡眠时间还是有保证的。 2. 每天睁开眼后,最大的压力是
阅读全文
摘要:参考:https://www.cnblogs.com/zyp0519/p/15353930.html
阅读全文
摘要:今天看到了一篇很好的文章,做个推荐和记录: https://mp.weixin.qq.com/s/VB4eUBsE6fJNGtC_6RnRUA 里面提到了一个很有用的网站: https://oi-wiki.org/ 里面记录了信息学奥赛的题目和准备方式,讲得还比较全面,可以好好准备。 文章的全文记录
阅读全文
摘要:断更了一年。 这一年重点的工作在团队管理方面,团队人员也翻了两三倍,在管理的过程中花去了很多精力,技术方面有些懈怠了。 为了不被时代淘汰,还是要继续技术方面的积累和加强。 去年开始,互联网公司逐渐进入寒冬,退潮之后就能看出谁在裸泳了。一茬茬的新人进入互联网行业,内卷的时代里,只有持续学习提高自己,同
阅读全文