02 2022 档案
摘要：参考这篇文章： https://mp.weixin.qq.com/s/NUhfzxGaOJx_pSvYAT-pnQ
阅读全文
摘要：参考这篇文章： https://mp.weixin.qq.com/s/0WytNSBhqWeEWx1avXysiA 《搜索、推荐、广告中的曝光偏差问题》 最近在做的推荐版本里面也会针对曝光偏差进行优化。 机器学习本质上是在学习数据的分布, 其有效性的假设是模型 training 和 serving
阅读全文
摘要：faiss： https://zhuanlan.zhihu.com/p/266589272 milvus： https://gitee.com/milvus-io/milvus catboost： https://zhuanlan.zhihu.com/p/102540344
阅读全文
摘要：高维稀疏数据进行快速相似查找，可以采用learning to hash,但高维稠密数据查找则采用annoy learning to hash 参考： https://blog.csdn.net/hero_fantao/article/details/70245284《海量数据相似查找系列1 -- M
阅读全文
摘要：参考这篇文章： https://zhuanlan.zhihu.com/p/128988454 《谷歌最新双塔DNN召回模型——应用于YouTube大规模视频推荐场景》 https://zhuanlan.zhihu.com/p/93257390 《向量化召回在360信息流广告的实践》 先是第一篇： h
阅读全文
摘要：参考这篇文章： https://zhuanlan.zhihu.com/p/146210155 《百度凤巢新一代广告召回系统——“莫比乌斯”》 从上面的训练流程图可以大致归结为如下几步： （1）首先从点击日志中加载一个batch的数据 （2）利用这一个batch的数据构建两个集合，即query集合和广
阅读全文
摘要：最近在做实时推荐，分成三个阶段来做： 第一步，先利用相似推荐补充到实时数据流 第二步，加入实时特征应用到线上推荐模型 第三步，针对模型进行实时训练学习改造 实时推荐的各种模型，可以看一下： https://zhuanlan.zhihu.com/p/385709488 1.Lambda架构 Lambd
阅读全文
摘要：这些实时推荐的一些文章，可以看一下： https://aijishu.com/a/1060000000196687 《微信看一看实时相关推荐介绍》 https://zhuanlan.zhihu.com/p/74813776 《天下武功，唯快不破，论推荐系统的「 实时性」》 https://zhuan
阅读全文
摘要：推荐/搜索系统中，为什么需要重排模块。 推荐系统的架构大致分为如下几个模块：召回、粗排、精排、重排，那么为什么要引入重排模块呢。 在精排阶段，我们希望得到的是一个候选排序队列的全局最优解，但是实际上，通常在精排阶段，我们精排模型是针对用户和每一个候选广告（商品）输出一个分值；而每个候选之间也会相互影
阅读全文
摘要：PRelu可以参考这篇文章： https://www.cnblogs.com/catpainter/p/8406285.html PReLU全名Parametric Rectified Linear Unit. PReLU-nets在ImageNet 2012分类数据集top-5上取得了4.94%的
阅读全文
摘要：列表推导式 列表推导式格式为： [表达式 for 变量 in 列表] [out_exp_res for out_exp in input_list] 或者 [表达式 for 变量 in 列表 if 条件] [out_exp_res for out_exp in input_list if condi
阅读全文
摘要：https://www.runoob.com/这是一个蛮好的入门教材网站 可以结合之前记录的一些网站一起看。 参考：https://www.cnblogs.com/charlesblc/p/15868417.html https://oi-wiki.org/ 里面记录了信息学奥赛的题目和准备方式，讲
阅读全文
摘要：这篇文章讲得还不错： https://blog.csdn.net/weixin_42446330/article/details/86710838 《Encoder-Decoder框架、Attention、Transformer、ELMO、GPT、Bert学习总结》 里面有一些点可以注意： 引入类似
阅读全文
摘要：看这篇文章： https://zhuanlan.zhihu.com/p/213774840 《机器学习面试150题：不只是考SVM xgboost 特征工程（1-50）》 https://zhuanlan.zhihu.com/p/217494137 《机器学习面试150题：不只是考SVM xgboo
阅读全文
摘要：参考这篇文章： https://blog.csdn.net/weixin_42720875/article/details/105936398 《神经网络反向求导不可导情况处理》 写的蛮好，主要写了Relu函数、平均池化、最大池化的处理方式。 Relu函数 次梯度方法(subgradient met
阅读全文
摘要：可以参考这篇文章： https://zhuanlan.zhihu.com/p/36711903 《BP 神经网络 —— 逆向传播的艺术》 里面有一些重要的知识点： 神经网络的前馈 (forward propagation) 过程，前馈过程也非常容易理解，符合人正常的逻辑，具体的矩阵计算表达如下：
阅读全文
摘要：标准流程： 理解问题：理解问题的核心，相关领域的问题、经验、限制、惯例、内外影响等等。 Collect input features Preprocess：Fillna(fill 0,mean,or by model(eg rf)), Outlier Feature engineering： Nor
阅读全文
摘要：这篇文章还讲得比较清楚： https://blog.csdn.net/u011508640/article/details/72815981 《详解最大似然估计（MLE）、最大后验概率估计（MAP），以及贝叶斯公式的理解》 MLE：Maximum Likelihood Estimation，极大似然
阅读全文
摘要：这篇文章讲得还比较清楚： https://blog.csdn.net/huguozhiengr/article/details/81777577 《统计学中的频率学派与贝叶斯学派》 频率学派认为，对于一批样本，其分布是确定的，也即是是确定的，只不过未知。 贝叶斯学派引入了主观概率的概念，认为一个事件
阅读全文
摘要：这一篇文章讲得很好： https://zhuanlan.zhihu.com/p/36564434 《梯度下降法 —— 经典的优化方法》 核心是这张图： 所以负梯度方向，不是随便得来的，是根据泰勒公式推导得来的。
阅读全文
摘要：第一篇是这个： https://zhuanlan.zhihu.com/p/32230623 在上面一篇文章已经讲了： https://www.cnblogs.com/charlesblc/p/15908598.html 接下来是这篇文章： https://zhuanlan.zhihu.com/p/3
阅读全文
摘要：参考这篇文章： https://zhuanlan.zhihu.com/p/32230623 深度学习优化算法经历了 SGD -> SGDM -> NAG ->AdaGrad -> AdaDelta -> Adam -> Nadam 这样的发展历程。 我们换一个思路，用一个框架来梳理所有的优化算法，做
阅读全文
摘要：参考这篇文章： https://zhuanlan.zhihu.com/p/33173246 https://www.sohu.com/a/220228574_717210（这篇是上面的转载） 其中ICS问题参考这里： https://blog.csdn.net/sinat_33741547/arti
阅读全文
摘要：今天读的这篇文章： 《图解BERT模型：从零开始构建BERT》 https://cloud.tencent.com/developer/article/1389555 单文本分类任务：对于文本分类任务，BERT模型在文本前插入一个[CLS]符号，并将该符号对应的输出向量作为整篇文本的语义表示，用于文
阅读全文
摘要：参考这篇文章： https://www.cnblogs.com/dogecheng/p/11615750.html 我们期望每一个 word token 都有一个 embedding。每个 word token 的 embedding 依赖于它的上下文。这种方法叫做 Contextualized W
阅读全文
摘要：文本生成相关文章，还不错，看一下 《文本生成系列之encoder-decoder》 https://mp.weixin.qq.com/s/ZSf5XUfq3LyjUtai2XVyAQ 文本生成是自然语言处理领域一种常见的任务，它实现了从源文本到目标文本之间的转换。 应用于包括机器翻译(Machine
阅读全文
摘要：这篇文章还不错，有一些值得继续思考的地方。 《周志华教授：关于深度学习的一点思考》 https://mp.weixin.qq.com/s/DlJZII9yKtgskcjTBfZCtQ Hinton 等通过“逐层训练后联合微调”来缓解梯度消失，使人们看到训练深层神经网络是可能的，由此激发了后来的研究，
阅读全文
摘要：整体回答得都比较简略，可以起到提纲挈领的作用，但是还需要继续深化。 解释Adam优化器的概念。 答：Adam结合了两个想法来改善收敛性：每个参数更新可加快收敛速度；动量可避免卡在鞍点上。 为什么必须在神经网络中引入非线性？ 答：否则，我们将获得一个由多个线性函数组成的线性函数，那么就成了线性模型。线
阅读全文
摘要：PLM：Pretrained Language Model NLG：Natural Language Generation 这篇文章从把文本生成的方法分成了三类：输入编码、模型设计、优化方法。 同时还从数据、模型、优化三个层面列出了文本生成的一些其他挑战。 N-Gram Overlap：BLEU、R
阅读全文
摘要：OOV(Out of Vocabulary)问题 NLP相对是应用科学，并不是特别的数学。但是我们天天用的算法的基本数学逻辑我认为还是需要搞懂，比如dropout, 比如天天用到的优化(SGD, momentum, adaboost, adagrad)，比如各种 batch, layer norma
阅读全文
摘要：Focal Loss for Dense Object Detection 是ICCV2017的Best student paper,文章思路很简单但非常具有开拓性意义，效果也非常令人称赞。 GHM(gradient harmonizing mechanism) 发表于 “Gradient Harm
阅读全文
摘要：这张图比较直观 当学习率设置的过小时，收敛过程将变得十分缓慢。而当学习率设置的过大时，梯度可能会在最小值附近来回震荡，甚至可能无法收敛。 下面来了解一些学习率调整的方法。 2.1 离散下降(discrete staircase) 对于深度学习来说，每 𝑡t 轮学习，学习率减半。对于监督学习来说，初
阅读全文
摘要：这篇文章的一些笔记摘要 《细粒度情感分析在到餐场景中的应用》 https://tech.meituan.com/2021/12/09/meituan-aspect-based-sentiment-analysis-daodian.html 大规模预训练模型(BERT)、提示学习(Prompt)等 N
阅读全文
摘要：针对这篇文章的读书摘要 《情感分析技术在美团的探索与应用》 https://tech.meituan.com/2021/10/20/the-applications-of-sentiment-analysis-meituan.html 我们对其所有用户评论分析后发现好评主要集中在口味、服务、性价比
阅读全文
摘要：第一种Normalization是对于将数据进行预处理时进行的操作，是对于数据集的各个特征分别进行处理，主要包括min-max normalization、Z-score normalization、 log函数转换和atan函数转换等。第二种Normalization对于每个样本缩放到单位范数（每
阅读全文
摘要：先记录一下，然后再仔细看一下。 《情感分析技术在美团的探索与应用》 https://tech.meituan.com/2021/10/20/the-applications-of-sentiment-analysis-meituan.html 《细粒度情感分析在到餐场景中的应用》 https://t
阅读全文
摘要：这些关于Transformer和Bert的文章不错，做一下记录： 《Transformer模型浅析》 https://zhuanlan.zhihu.com/p/74723305 文中引用了一篇国外的博客：https://jalammar.github.io/illustrated-transform
阅读全文
摘要：今天看了篇文章，把NLP归纳成五大类，我觉得还是有一定道理的。 https://blog.csdn.net/Datawhale/article/details/119090740
阅读全文
摘要：有不少资料讲数据集的，太多了就有些信息过剩了，把我自己认为还不错的数据集做一下记录 NLP WikiText：http://metamind.io/research/the-wikitext-long-term-dependency-language-modeling-dataset/ WikiTe
阅读全文
摘要：看的是这篇文章：《深度推荐模型之DeepFM》 https://zhuanlan.zhihu.com/p/57873613 做一些学习笔记 DeepFM模型原理，该模型可认为是Wide & Deep推荐模型的升级版。 不同点主要有以下两点： wide模型部分由LR替换为FM。FM模型具有自动学习交叉
阅读全文
摘要：《我，管理100多人团队的二三事》 https://mp.weixin.qq.com/s/inKzA2zYjLhCphtuoo190A 这篇文章其实讲的一般，但是读完了还是记录一些摘要吧。 尺有所短寸有所长。 事情能做成就好，和过程相比，我更关注结果。 毕竟条条大路通罗马。 年初的时候公司定 KPI
阅读全文
摘要：今天读了一篇文章，觉得讲得还不错，做一些摘要 《快手不能再慢了》 https://mp.weixin.qq.com/s/zHE3ei1JLPLnrAeybgcSyw 程一笑提出的一个重要改革，就是把快手的双列显示改为单列。抖音从起步开始就是单列。两者的区别是，单列的用户门槛更低，双列则更适合社交，打
阅读全文
摘要：火山引擎智能推荐平台里面的一些介绍，基本覆盖了推荐系统的各方面内容。 丰富的推荐类型 猜你喜欢 基于用户行为通过算法模型预测用户兴趣物品，实现物品的个性化推荐，通常用于首页推荐 相关推荐 结合物品之间相关性进行推荐分析，通常用于详情页推荐 灵活的黑盒&白盒功能 自动化特征工程 结合不同行业特点，自动
阅读全文
摘要：蛮好的一段关于NLP工作的总结，里面有些地方讲得还比较到位。 1. 自从来到阿里做自然语言理解的工程师，睡眠时间还能保证吗？ 在阿里挺多年了，已经习惯了这种工作节奏，一般我们在项目关键节点的时候会比较忙，别的时候其实还好的，所以正常情况下每天的睡眠时间还是有保证的。 2. 每天睁开眼后，最大的压力是
阅读全文
摘要：参考：https://www.cnblogs.com/zyp0519/p/15353930.html
阅读全文
摘要：今天看到了一篇很好的文章，做个推荐和记录： https://mp.weixin.qq.com/s/VB4eUBsE6fJNGtC_6RnRUA 里面提到了一个很有用的网站： https://oi-wiki.org/ 里面记录了信息学奥赛的题目和准备方式，讲得还比较全面，可以好好准备。 文章的全文记录
阅读全文
摘要：断更了一年。 这一年重点的工作在团队管理方面，团队人员也翻了两三倍，在管理的过程中花去了很多精力，技术方面有些懈怠了。 为了不被时代淘汰，还是要继续技术方面的积累和加强。 去年开始，互联网公司逐渐进入寒冬，退潮之后就能看出谁在裸泳了。一茬茬的新人进入互联网行业，内卷的时代里，只有持续学习提高自己，同
阅读全文
