明也无涯

摘要： 知识蒸馏是一种模型压缩方法，通过引导轻量化的学生模型“模仿”性能更好、结构更复杂的教师模型，在不改变学生模型结构的情况下提高其性能。 阅读全文

摘要： # 多目标与跷跷板 为什么要用多任务学习，有什么好处？**为什么多任务学习是有效的？** 通常业务本身包含很多目标，难以采用单一目标建模（比如通常没有显式的用户满意度评价指标）。 在CV、NLP中采用多任务损失函数是比较常见的事情，在推荐领域也可以采用多任务学习，并且能够切合实际的应用场景。例如，电 阅读全文

摘要： 本文主要介绍Spark的一些基本算子，PySpark及Spark SQL 的使用方法。 虽然我从2014年就开始接触Spark，但几年来一直没有真正地学以致用，时间一久便忘了如何使用，直到在工作中用到才再次捡起来。遂再整理一番，留作备忘。 Apache Spark™ - Unified Engine 阅读全文

摘要： 近似近邻检索ANNS Approximate Nearest Neighbor Search (ANNS) 工业界拥有超大规模的数据，往往要求满足低延迟、低成本的向量检索需求，全量计算的精确近邻检索方式难以应用。 近年来各种向量检索算法层出不穷，但是依然面临很多挑战。 检索效果大致对比：HNSW>N 阅读全文

摘要： 一网打尽十余个Transformer模型。 经典模型：Word2vec, ELMo, Transformer, GPT, BERT, XLNet, UniLM, T5, ALBERT, ELECTRA, DeBERTa, ERNIE. 阅读全文

摘要： 均匀分布与高斯分布 如何由均匀分布生成标准正态分布？并且用python实现。^normal 给你一个0到1的均匀分布，如何近似地生成一个均值为0，标准差为1的标准正态分布。你只能用 numpy.random.uniform() 这个函数，然后通过自己的一些算法，实现 numpy.random.nor 阅读全文

摘要： Graph Embedding 基本概念 Graph Embedding 技术是一种将图的拓扑结构进行向量表示的方法，从而获取到网络关系信息，可应用于推荐等多种场景。计算节点在图中的空间特征的算法就是图嵌入(Graph Embedding)或网络嵌入(Network Embedding)。 图嵌入的 阅读全文

摘要： 本篇主要介绍几种大数据SQL查询引擎及SQL常用语法，包括 Hive、Presto、SparkSQL 的区别介绍，顺带回顾了一些数据库的理论知识。 查询引擎 主要介绍Hive、Presto、SparkSQL这三个大数据SQL引擎。 Hive Apache Hive数据仓库软件支持使用SQL读取、写入 阅读全文

摘要： GBM（Gradient Boosting Machine）算法是Boosting(提升)算法的一种。主要思想是，串行地生成多个弱学习器，每个弱学习器的目标是拟合先前累加模型的损失函数的负梯度， 使加上该弱学习器后的累积模型损失往负梯度的方向减少。 且它用不同的权重将基学习器进行线性组合，使表现优秀 阅读全文

摘要： 本篇介绍文档检索排序算法：TF-IDF、BM25及其扩展。 TF-IDF TF-IDF 来源于一个最经典、也是最古老的信息检索模型，即“向量空间模型”（Vector Space Model）。向量空间模型就是希望把查询关键字和文档都表达成向量，然后利用向量之间的运算（点积或余弦相似度等）来进一步表达 阅读全文

摘要： 泰勒展开[^story] 在实际应用中对于具有复杂形式的函数我们常常希望用较为简单的函数形式表示他，而多项式就是这种简单的形式。比如对于指数函数、三角函数，我们可以使用多项式来逼近。 为了逼近（或者说是仿造）目标函数曲线f(x)，首先选择一个切入点(x0,f(f0))，然后让此处的增减性相同,即一阶 阅读全文

摘要： 排序模型LTR（L2R，learning to rank） Pointwise：对排序列表中的每一项，直接学习一个值，比如可以是预估点击率（Predict CTR，pCTR），然后按照预估值从大到小排序即可。常见模型有LR、FFM、GBDT、XGBoost。GBDT是LTR中应用较多的非线性模型。A 阅读全文

摘要： 特征组合/特征交叉 为什么要特征交叉？ 特征交叉的目的是「提升模型的效果」： 通过特征交叉，将样本映射至高维空间，从而增加模型的非线性能力，提升模型的预测效果。 从辛普森悖论的角度来看，只用低阶特征可能得出与用高阶特征相反的结论，如LR模型的表达能力很弱，容易得出错误的结论。 辛普森悖论：英国统计学 阅读全文

摘要： 偏差方差分解 (误差分解) 先引入一个问题: Machine Learning 与 Curve Fitting 的区别是什么?[^curv fit] Curve Fitting 是使用所有的数据拟合一条曲线; 而 Machine Learning 是采用真实世界中采样的一小部分数据,并且我们希望我们 阅读全文

摘要： 本文介绍Softmax运算、Softmax损失函数及其反向传播梯度计算, 内容上承接前两篇博文 "损失函数" & "手推反向传播公式" 。 Softmax 梯度 设有K类, 那么期望标签y形如$[0,0,...0,1,0...0]^T$的one hot的形式. softmax层的输出为$[a_1,a 阅读全文

摘要： Mask R CNN 论文Mask R CNN(ICCV 2017, Kaiming He,Georgia Gkioxari,Piotr Dollár,Ross Girshick, arXiv:1703.06870) 这篇论文提出了一个概念简单,灵活,通用的目标实例分割框架,能够同时检测目标并进行实 阅读全文

摘要： R FCN 原理 R FCN作者指出在图片分类网络中具有平移不变性(translation invariance),而目标在图片中的位置也并不影响分类结果;但是检测网络对目标的位置比较敏感.因此Faster R CNN将ROI的特征提取操作放在了最后分类网络中间(靠后的位置)打破分类网络的平移不变性 阅读全文

摘要： 卷积 卷积是一种定义在两个函数(\(f\) 和 \(g\))上的数学操作，旨在产生一个新的函数。\(f\) 和 \(g\) 的卷积可以写成 \(f\ast g\)，数学定义如下： \[ \begin{align} (f*g)(t) &={\int}_{-\infty}^{\infty}f(\tau) 阅读全文

摘要： 本文逐步介绍YOLO v1~v3的设计历程。 YOLOv1基本思想 YOLO将输入图像分成SxS个格子，若某个物体 Ground truth 的中心位置的坐标落入到某个格子，那么这个格子就负责检测出这个物体。 每个格子预测B个bounding box及其置信度(confidence score)，以 阅读全文

摘要： 生成对抗网络（Generative Adversarial Networks，GANs），由2014年还在蒙特利尔读博士的Ian Goodfellow引入深度学习领域。2016年，GANs热潮席卷AI领域顶级会议，从ICLR到NIPS，大量高质量论文被发表和探讨。Yann LeCun曾评价GANs是 阅读全文