随笔分类 - 数据挖掘和算法
摘要：后深度学习时代下，技术迭代全面进入深水区，以提升模型复杂度为主体的广告预估模型优化已经不再奏效。美团到店广告质量预估团队紧密结合业务特点，发挥深度模型结构灵活多变的优势，实现了进一步破局。本文先介绍了美团业务的LBS空间距离约束和长周期性两大挑战，然后介绍了上下文、用户、广告、训练方式四个维度的应对
阅读全文
摘要：客服是在用户服务体验不完美的情况下，尽可能帮助体验顺畅进行下去的一种解决办法，是问题发生后的一种兜底方案。而智能客服能让大部分简单的问题得以快速自助解决，让复杂问题有机会被人工高效解决。 在用户服务的全旅程中，美团平台/搜索与NLP部提供了问题推荐、问题理解、对话管理、答案供给、话术推荐和会话摘要等
阅读全文
摘要：剖析千人千面的大脑——推荐引擎部分，其中这篇是定位：对推荐引擎中的核心算法：协同过滤进行深挖。 首先，千人千面融合各种场景，如搜索，如feed流，如广告，如风控，如策略增长，如购物全流程等等；其次千人千面的大脑肯定是内部的推荐引擎，这里有诸多规则和算法在实现对上述各个场景进行“细分推荐排序”；最后是
阅读全文
摘要：推荐算法具有非常多的应用场景和商业价值，因此对推荐算法值得好好研究。推荐算法种类很多，但是目前应用最广泛的应该是协同过滤类别的推荐算法，本文就对协同过滤类别的推荐算法做一个概括总结，后续也会对一些典型的协同过滤推荐算法做原理总结。 1. 推荐算法概述 推荐算法是非常古老的，在机器学习还没有兴起的时候
阅读全文
摘要：所以，建立标签平台需要很大的工作量，投入很多的资源，前期也不能很快得到回报，是一个方向大致正确的事情。创业公司或者小型公司初期、用户量较少的公司还是不建议做标签平台，当公司有一定规模，用户量有一定基础、数据有一定的积累，再投入资源做标签平台还是不晚的。 为什么要建设标签平台 亚马逊的CEO Jeff
阅读全文
摘要：本文主要是尽量通俗易懂的讲清楚推荐算法是个什么东西，不追求深入、全面和绝对的精确！轻喷 首先申明一下，推荐算法是个很大的话题，实际工程中也是很多策略交织在一起，所以本文主要是尽量通俗易懂的讲清楚推荐算法是个什么东西，不追求深入、全面和绝对的精确！轻喷 以下内容分三部分：算法的核心；算法有多大用；实际
阅读全文
摘要：商品知识图谱作为新零售行业数字化的基石，提供了围绕商品的精准结构化理解，对业务应用起到了至关重要的作用。相比于美团大脑中原有的围绕商户的图谱而言，商品图谱需应对更加分散、复杂、海量的数据和业务场景，且面临着信息来源质量低、数据维度多、依赖常识以及专业知识等挑战。本文将围绕零售商品知识图谱，介绍美团在
阅读全文
摘要：众多企业管理者都将“数字化转型”视为战略核心，那么“数字化转型”应该已经有了一个清晰的概念才对，但实际上却并非如此。经过笔者多方收集，似乎大家对“数字化转型”都有自己的理解。 一、咨询公司的理解 （一）埃森哲观点 埃森哲的研究团队认为，数字化转型的最显著特征就是通过数字化应用提升运营效率。中国各行业
阅读全文
摘要：用户增长部门可能在某些公司很核心，可能是新设部门，可能有很好的绩效奖励（远远大于数据分析部门），所以在薪资、个人成长机会上，都可能是一个好选择。 很多同学会经常看到“用户增长”“增长黑客”“增长团队”之类的说法，并且这些岗位常常一眼看上去和数据分析有关系。 比如： “建立系统的增长模型，驱动增长的持
阅读全文
摘要：在数据分析工作中，细分思维的重要性，我认为再怎么强调都不为过。 然而，很多人可能会采取一些「偷懒」的做法，浅尝辄止，不去寻找合适的细分方法，导致没有得出更有价值的分析结论。 下面我们通过一些示例，介绍 5 种常见的细分方法。 1. 按时间细分 时间可以细分为不同的跨度，包括年、月、周、日、时、分、秒
阅读全文
摘要：决策树算法是一种监督式学习算法，它简单好用，易于解释，在金融科技，数字健康，教育服务，消费互联网等许多领域发挥着积极作用。决策树算法学习的结果，类似下图结构： 本文首先介绍决策树的原理，然后基于tidymodels框架设计和执行决策树算法以解决实际问题。 一、决策树算法原理 决策树算法的理解，可以参
阅读全文
摘要：01 什么是标签标签指从原数据加工而来，能够直接为业务所用并产生业务价值的数据载体。从本质上讲，标签本身也是一种数据（或映射指向数据），它是对物理层数据信息项的业务化封装，是数据资产的一种良好组织形式，是一种概念、逻辑定义，因此标签必须是可阅读、易理解的。从粒度上来讲，标签往往映射为某一对象的属性，
阅读全文
摘要：用户画像作为当下描述分析用户、运营营销的重要工具，是系统通过用户自行上传或埋点上报收集记录了用户大量信息，为便于各业务应用，将这些信息进行沉淀、加工和抽象，形成一个以用户标志为主key的标签树，用于全面刻画用户的属性和行为信息，这就是用户画像。 画像这种结构化的用户信息加工方式，极大程度上做到了完整
阅读全文
摘要：在这个大数据时代，“用户画像”这个词我们都不陌生，它经常跟精准营销挂钩。通过用户画像，我们可以根据一个人的兴趣、地理位置等进行精确的推送，达到良好的营销效果，满足用户需求的同时，也达到我们的目标。因此可以说，营销数字化的灵魂是用户画像。 01 没有用户画像的数字化，不过是个摆设。 用户画像，就是用户
阅读全文
摘要：在互联网逐渐步入大数据时代后，不可避免的给企业及消费者行为带来一系列改变与重塑。其中最大的变化莫过于，消费者的一切行为在企业面前似乎都将是“可视化”的。随着大数据技术的深入研究与应用，企业的专注点日益聚焦于怎样利用大数据来为精准营销服务，进而深入挖掘潜在的商业价值。于是，“用户画像”的概念也就应运而
阅读全文
摘要：本文对机器学习模型评估指标进行了完整总结。机器学习的数据集一般被划分为训练集和测试集，训练集用于训练模型，测试集则用于评估模型。针对不同的机器学习问题（分类、排序、回归、序列预测等），评估指标决定了我们如何衡量模型的好坏 一、Accuracy 准确率是最简单的评价指标，公式如下： 但是存在明显的缺陷
阅读全文
摘要：作者：黄天元，复旦大学博士在读，目前研究涉及文本挖掘、社交网络分析和机器学习等。希望与大家分享学习经验，推广并加深R语言在业界的应用。 邮箱：huang.tian-yuan@qq.com 关于提取关键词的方法，除了TF-IDF算法，比较有名的还有TextRank算法。它是基于PageRank衍生出来
阅读全文
摘要：来自公众号：码海 前言 大家好，我是坤哥，今天我想和大家聊一聊实时索引的构建之道，来自我司 PB 级索引数据的实战经验，相信对大家肯定有帮助。 近年来公司业务迅猛发展，数据量爆炸式增长，随之而来的的是海量数据查询等带来的挑战，我们需要数据量在十亿，甚至百亿级别的规模时依然能以秒级甚至毫秒级的速度返回
阅读全文
摘要：注：正则化是用来防止过拟合的方法。在最开始学习机器学习的课程时，只是觉得这个方法就像某种魔法一样非常神奇的改变了模型的参数。但是一直也无法对其基本原理有一个透彻、直观的理解。直到最近再次接触到这个概念，经过一番苦思冥想后终于有了我自己的理解。 0. 正则化（Regularization ） 前面使用
阅读全文
摘要：一、线性回归 一、线性回归 假设有数据有 ，其中 , 。其中m为训练集样本数，n为样本维度，y是样本的真实值。线性回归采用一个多维的线性函数来尽可能的拟合所有的数据点，最简单的想法就是最小化函数值与真实值误差的平方（概率解释-高斯分布加最大似然估计）。即有如下目标函数： 其中线性函数如下：
阅读全文