随笔分类 - 数据挖掘和算法
摘要：小诀窍：不妨尝试从交付质量上打败对手 关于作者：小姬，某知名互联网公司产品专家，对数据采集、生产、加工有所了解，期望多和大家交流数据知识，以数据作为提出好问题的基础，发觉商业价值。 0x00 前言 我将整理文章分享数据工作中的经验，因为业务内容上的差异，可能导致大家的理解不一致，无法体会到场景中的诸
阅读全文
摘要：小进阶：数据指标体系和数据治理的管理 关于作者：小姬，某知名互联网公司产品专家，对数据采集、生产、加工有所了解，期望多和大家交流数据知识，以数据作为提出好问题的基础，发掘商业价值。 0x00 前言 我将整理文章分享数据工作中的经验，因为业务内容上的差异，可能导致大家的理解不一致，无法体会到场景中的诸
阅读全文
摘要：特征工程系列：聚合特征构造以及转换特征构造 本文为数据茶水间群友原创，经授权在本公众号发表。 关于作者：JunLiang，一个热爱挖掘的数据从业者，勤学好问、动手达人，期待与大家一起交流探讨机器学习相关内容~ 0x00 前言 数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。由此可见
阅读全文
摘要：特征工程系列：特征构造之概览篇 本文为数据茶水间群友原创，经授权在本公众号发表。 关于作者：JunLiang，一个热爱挖掘的数据从业者，勤学好问、动手达人，期待与大家一起交流探讨机器学习相关内容~ 0x00 前言 数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。由此可见，特征工程在
阅读全文
摘要：特征工程系列：GBDT特征构造以及聚类特征构造 本文为数据茶水间群友原创，经授权在本公众号发表。 关于作者：JunLiang，一个热爱挖掘的数据从业者，勤学好问、动手达人，期待与大家一起交流探讨机器学习相关内容~ 0x00 前言 数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。由此
阅读全文
摘要：背景 松哥常言统计分三级：“初级说一说，中级比一比，高级找关系”；今天所言之题，即为高级找关系之一法。聚类与判别，所谓天下合久必分、分久必合，合则聚类，分则判别。 1.聚类分析 根据研究对象特征对研究对象进行分类的一种多元分析技术, 把性质相近的个体归为一类, 使得同一类中的个体都具有高度的同质性,
阅读全文
摘要：一. 概念 关联分析用于发现隐藏在大型数据集中的有意义的联系。所发现的联系可以用关联规则（association rule）或频繁项集的形式表示。 项集：在关联分析中，包含0个或多个项的集合被称为项集（itemset）。如果一个项集包含k个项，则称它为k-项集。例如:{啤酒，尿布，牛奶，花生} 是一
阅读全文
摘要：特征工程系列：数据清洗 本文为数据茶水间群友原创，经授权在本公众号发表。 关于作者：JunLiang，一个热爱挖掘的数据从业者，勤学好问、动手达人，期待与大家一起交流探讨机器学习相关内容~ 0x00 前言 数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。由此可见，特征工程在机器学习
阅读全文
摘要：特征工程系列：特征预处理（上） 关于作者：JunLiang，一个热爱挖掘的数据从业者，勤学好问、动手达人，期待与大家一起交流探讨机器学习相关内容~ 0x00 前言 数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。由此可见，特征工程在机器学习中占有相当重要的地位。在实际应用当中，可以
阅读全文
摘要：特征工程系列：特征预处理（下） 本文为数据茶水间群友原创，经授权在本公众号发表。 关于作者：JunLiang，一个热爱挖掘的数据从业者，勤学好问、动手达人，期待与大家一起交流探讨机器学习相关内容~ 0x00 前言 数据预处理包含数据探索、数据清洗和特征预处理三部分，《特征工程系列：特征预处理（上）》
阅读全文
摘要：本文为数据茶水间群友原创，经授权在本公众号发表。 关于作者：JunLiang，一个热爱挖掘的数据从业者，勤学好问、动手达人，期待与大家一起交流探讨机器学习相关内容~ 0x00 前言 我们在《特征工程系列：特征筛选的原理与实现（上）》中介绍了特征选择的分类，并详细介绍了过滤式特征筛选的原理与实现。本篇
阅读全文
摘要：0x00 前言 数据埋点是一份上手容易精通难的典型例子，可以说人人都可以埋点，但是埋点质量差异巨大，而这份差异随着时间推移会加速放大。 埋点设计的复杂性不亚于系统设计，其应用的场景、牵涉的方面和背后的思考也是相对复杂的。数据埋点的质量是依赖于日志采集为源的数据系统的根基，所以埋点是整个数据体系中很值
阅读全文
摘要：0x00 序言 本节是实战环节，以极客时间app安卓端为例，综合运用前面介绍的知识点，来解构埋点设计。虽然极客时间还有服务号、小程序、PC端、IOS端等形式，但过程大同小异，不再单独介绍。 在第二节《埋点准备工作》中介绍到，埋点设计之前有四件准备工作要做，分别是了解产品、梳理旧需求、梳理旧埋点以及熟
阅读全文
摘要：埋点管理是埋点设计的组织方式，可以细分为面向开发者的管理、面向监控者的管理和面向使用者的管理。本节节介绍面向使用者的管理。通过本节的学习，你将获得以下方面的认知： 管理目的 管理准则 管理方式 埋点验收 管理目的 管理准则 管理方式 埋点验收 0x00 引言 埋点管理归结到底是元数据的管理，而且还是
阅读全文
摘要：本文为数据茶水间群友原创，经授权在本公众号发表。 关于作者：我是水大人，资深潜水员，一个基于开发、面向分析、走向全栈的饱经摧残的数据新手，爱折腾不爱玩，爱总结爱思考的老兵，错了改改了又错的惯犯。 0x01 前言 前两节我们介绍了埋点设计四大思维，并给出了四种典型场景的埋点设计方式，本节介绍在埋点设计
阅读全文
摘要：关于作者：我是水大人，资深潜水员，一个基于开发、面向分析、走向全栈的饱经摧残的数据新手，爱折腾不爱玩，爱总结爱思考的老兵，错了改改了又错的惯犯。 0x00 前言 在上节中我们介绍了埋点设计时四种主要思维方式，本节我们挑选典型的疑难埋点场景进行埋点设计。通过本节的阅读，你将获得以下典型场景埋点设计的认
阅读全文
摘要：0x00 前言 在前两篇《初识埋点》和《埋点之前》的基础上，我们应该有了对埋点的基本认识、知道了具体的开发流程。本篇在前面铺垫的基础上进入具体的埋点设计环节。通过本篇的阅读，你将获得以下五个埋点设计思维的认知。 漏斗思维 层次思维 扩展思维 分类思维 漏斗思维 层次思维 扩展思维 分类思维 0x01
阅读全文
摘要：关于作者：我是水大人，资深潜水员，一个基于开发、面向分析、走向全栈的饱经摧残的数据新手，爱折腾不爱玩，爱总结爱思考的老兵，错了改改了又错的惯犯。 0x00 前言 上一篇我们初识了埋点，介绍什么是埋点、埋点的用途和埋点分类，那是不是马上就可以开始设计埋点了，答案是否定的。在埋点设计之前还有很多工作要做
阅读全文
摘要：关于作者：我是水大人，资深潜水员，一个基于开发、面向分析、走向全栈的饱经摧残的数据新手，爱折腾不爱玩，爱总结爱思考的老兵，错了改改了又错的惯犯。 0x00 前言 本篇为《七天数据埋点之旅》的第一篇，通过阅读本篇，你将获得以下三方面的知识： 什么是埋点？ 埋点的用途？ 埋点的分类？ 0x01 什么是埋
阅读全文
摘要：本文为数据茶水间群友原创，经授权在本公众号发表。 关于作者：JunLiang，一个热爱挖掘的数据从业者，勤学好问、动手达人，期待与大家一起交流探讨机器学习相关内容~ 0x00 前言 数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。由此可见，特征工程在机器学习中占有相当重要的地位。在
阅读全文