随笔分类 - 数据挖掘和算法
摘要：互联网的下半场流量越来越分散，作为品牌电商的严选也有了多种流量来源和销售渠道。包含主站的App、Web和Wap三端，微信小程序，天猫、淘宝、京东等外渠店铺，还有抖音、快手等新兴直播销售渠道，以及旗舰店和园区店等线下渠道。如何在全渠道范围运营好严选的用户流量，相比于平台电商来说是一个全新的命题。本文分
阅读全文
摘要：稳定性治理是系统演进过程中一个不容忽视的重要命题，这个命题往往需要持续性的投入，如何让持续性的治理工作有目标、过程可跟进、结果能检验？本文结合严选供应链技术团队在稳定性治理上的实践，对治理工作中的可用性、监控告警和线上应急三个方面做了一些思考与总结。 1. 什么是稳定性治理 稳定性治理是个比较复杂的
阅读全文
摘要：玩法繁多的线上购物节刺激了电商平台的线上消费，在这种线上购物井喷式发展的冲击下，如何实现线上线下融合衔接是对电商品牌发展的重要考验。 1. 线下零售的发展 玩法繁多的线上购物节刺激了电商平台的线上消费，在这种线上购物井喷式发展的冲击下，如何实现线上线下融合衔接是对电商品牌发展的重要考验。 1.1 线
阅读全文
摘要：数据产品是个新兴的产品分类，每个人眼里都有一个自己的数据产品，尽管在绝大部分人的概念中都是一堆报表。在过去的3年里，我们在用户需求的推动下一步步构建了网易严选数据产品体系，下文分享我们在构建过程中自己的一些思考和总结。 背景 本文内容来自我在2020产品经理大会上《网易严选数据产品实践与方法论》分享
阅读全文
摘要：严选在发展过程中，不断面临着商业环境的变化，如流量模式、竞争格局，也会遇到突然的公共卫生事件-疫情。采购系统作为严选供给端的核心系统之一，做好顶层设计并持续进行系统演进，才能适应剧烈的业务变化，服务好最终用户。本文从定义宏观、设计蓝图、落地系统、持续演进四个点展开整个采购系统架构过程，希望跟大家一起
阅读全文
摘要：文章来源：社经研究社（ID：SES-2019） 在回归分析中，我们常常关心系数估计值是否稳定，即如果将整个样本分成若干个子样本分别进行回归，是否还能得到大致相同的估计系数。对于时间序列数据，这意味着经济结构是否随着时间的推移而改变。对于横截面数据，比如，样本中有男性与女性，则可以根据性别将样本一分为
阅读全文
摘要：简介： 内容主要分为三部分。首先介绍流式计算的基本概念， 然后介绍 Flink 的关键技术，最后讲讲 Flink 在快手生产实践中的一些应用，包括实时指标计算和快速 failover。 本次由快手刘建刚老师分享，内容主要分为三部分。首先介绍流式计算的基本概念， 然后介绍 Flink 的关键技术，最后
阅读全文
摘要：0x00 前言 最近很多小伙伴在群里或者私聊问居士这么一个问题：“数据团队的职责到底是什么？” 同样都是数据组，不同公司或者说同一个公司不同团队的小伙伴有不同的遭遇： 有的小伙伴天天配置报表~ 有的小伙伴总是不停地写Sql排查数据问题~ 有的小伙伴要不停地写PPT汇报 有的小伙伴会耍一些模型 这里面
阅读全文
摘要：简介：本文由网易云音乐实时计算平台研发工程师岳猛分享，主要从以下四个部分将为大家介绍 Flink + Kafka 在网易云音乐的应用实战： 背景 Flink + Kafka 平台化设计 Kafka 在实时数仓中的应用 问题 & 改进 直播回放：https://developer.aliyun.com
阅读全文
摘要：分享嘉宾：王琛@神策数据 编辑整理：冯露 出品平台：DataFunTalk 导读：用户画像是建立在数据基础之上的用户模型，是产品改进、精准营销等业务场景中不可或缺的重要基础。而构建用户画像的过程就是要给用户打上各种维度的标签，并基于标签进行定性或定量分析。这其中，建设灵活、全面、高效的标签体系是工作
阅读全文
摘要：1、背景 数据驱动增长的方法论，帮助Facebook、Google等如此大体量的公司继续保持高效的业务增长，在国内字节跳动是最重视的数据驱动的公司，也因此获取了巨大的成功。在互联网圈，通过数据手段来驱动业务增长已经达成了共识，数据已经成为公司发展不可缺少的可靠手段。其中A/B测试坐班数据取驱动增长的
阅读全文
摘要：前言： 我根据自己的科研方向和实际工作，在利用R语言解决数据，特征和模型三方面的问题时，会搜集到一些R代码，利用【R语言】公众号将其整理和归总，分享给大家。一方面，希望这些R代码能够对大家解决实际问题有帮助或者启示；另一方面，也希望大家尝试从R代码中学习和应用R语言。 基于特征重要性的特征排序代码。
阅读全文
摘要：前言： 我根据自己的科研方向和实际工作，在利用R语言解决数据，特征和模型三方面的问题时，会搜集，阅读，修改和迁移一些R代码，利用【R语言】公众号将其整理和归总，分享给大家。一方面，希望这些R代码能够对大家解决实际问题有帮助或者启示；另一方面，也希望大家尝试从R代码中学习和应用R语言。我只是R语言代码
阅读全文
摘要：(文末有赠书福利） 在数据挖掘项目中，经常会遇到的情况是有很多特征可以用，这是一件好事，但是有的时候数据中存在很多冗余情况，也就是说数据存在相关性或者共线性。在这种情况下对于分析带来了很多麻烦。不必要的特征太多会造成模型的过于复杂，共线性相关性会造成模型的不稳定，即数据微小的变化会造成模型结果很大的
阅读全文
摘要：正文开始 一、什么是数据治理？ 维基百科：数据治理对于确保数据的准确、适度分享和保护是至关重要的。有效的数据治理计划会通过改进决策、缩减成本、降低风险和提高安全合规等方式，将价值回馈于业务，并最终体现为增加收入和利润。 笔者认为：所有为提高数据质量而展开的业务、技术和管理活动都属于数据治理范畴。数据
阅读全文
摘要：导读：本文详细介绍用户标签体系的构成及应用场景。 作者：赵宏田来源：大数据DT（ID：hzdashuju） 互联网相关企业在建立用户画像时一般除了基于用户维度（userid）建立一套用户标签体系外，还会基于用户使用设备维度（cookieid）建立相应的标签体系。基于cookieid维度的标签应用也很
阅读全文
摘要：Rian | 作者 DS数据科学之美 | 来源 在日常工作中，产品经理和数据分析师相爱相杀，其中两个角色都会涉及到数据运营指标体系的搭建。 对于产品经理来说，用什么样的指标体系去刻画他负责的产品是非常关键的，决定了他能不能及时从指标上找到产品的问题，迅速的改变打法；对于数据分析师来说，如何帮助产品去
阅读全文
摘要：正文开始 在大多数公司，成千上万的标签虽然在某种程度上是数据服务能力的象征，但到最后往往成为了一种负担，只管杀不管埋的现象太普遍了！比如现在我们的标签每天的调用量几千万次，但正如很多人想的那样，标签多可不一定是好事，今天就来谈一谈。 跟大家一样，我们碰到的标签的主要问题包括五大方面：管理问题、信任问
阅读全文
摘要：随着我们对深度学习网络认知的加深,在实际应用过程中,我们一定会厌倦深度网络训练时间长,参数规模太大而感到非常痛苦.那么今天我给大家带来的是如何实现网络剪枝.也就是在不降低准确度的情况下减少训练参数的数量,加快训练时间.从而大大节约我们得成本,这在实际应用中至关重要. 我们将演示如何使用TensorF
阅读全文