10 2020 档案
摘要：简介：本文由网易云音乐实时计算平台研发工程师岳猛分享，主要从以下四个部分将为大家介绍 Flink + Kafka 在网易云音乐的应用实战： 背景 Flink + Kafka 平台化设计 Kafka 在实时数仓中的应用 问题 & 改进 直播回放：https://developer.aliyun.com
阅读全文
摘要：电商定义：电子商务是在有效利用现代电子工具（计算机网络、现代通信工具）基础上进行企业经营管理和市场贸易的现代商务活动。 电商基本应用层次 市场：面向市场的以市场交易为中心的商务活动；以Internet为基础的整个社会的经济活动； 企业：借助于Internet重组企业的经营管理过程； 社会：电子商务是
阅读全文
摘要：作者|莱乌 作为一名服务端工程师，工作中你肯定和 Redis 打过交道。Redis 为什么快，这点想必你也知道，至少为了面试也做过准备。很多人知道 Redis 快仅仅因为它是基于内存实现的，对于其它原因倒是模棱两可。 那么今天就和小莱一起看看： - 思维导图 - 基于内存实现 这点在一开始就提到过了
阅读全文
摘要：分享嘉宾：王琛@神策数据 编辑整理：冯露 出品平台：DataFunTalk 导读：用户画像是建立在数据基础之上的用户模型，是产品改进、精准营销等业务场景中不可或缺的重要基础。而构建用户画像的过程就是要给用户打上各种维度的标签，并基于标签进行定性或定量分析。这其中，建设灵活、全面、高效的标签体系是工作
阅读全文
摘要：1、背景 数据驱动增长的方法论，帮助Facebook、Google等如此大体量的公司继续保持高效的业务增长，在国内字节跳动是最重视的数据驱动的公司，也因此获取了巨大的成功。在互联网圈，通过数据手段来驱动业务增长已经达成了共识，数据已经成为公司发展不可缺少的可靠手段。其中A/B测试坐班数据取驱动增长的
阅读全文
摘要：前言： 我根据自己的科研方向和实际工作，在利用R语言解决数据，特征和模型三方面的问题时，会搜集到一些R代码，利用【R语言】公众号将其整理和归总，分享给大家。一方面，希望这些R代码能够对大家解决实际问题有帮助或者启示；另一方面，也希望大家尝试从R代码中学习和应用R语言。 基于特征重要性的特征排序代码。
阅读全文
摘要：前言： 我根据自己的科研方向和实际工作，在利用R语言解决数据，特征和模型三方面的问题时，会搜集，阅读，修改和迁移一些R代码，利用【R语言】公众号将其整理和归总，分享给大家。一方面，希望这些R代码能够对大家解决实际问题有帮助或者启示；另一方面，也希望大家尝试从R代码中学习和应用R语言。我只是R语言代码
阅读全文
摘要：(文末有赠书福利） 在数据挖掘项目中，经常会遇到的情况是有很多特征可以用，这是一件好事，但是有的时候数据中存在很多冗余情况，也就是说数据存在相关性或者共线性。在这种情况下对于分析带来了很多麻烦。不必要的特征太多会造成模型的过于复杂，共线性相关性会造成模型的不稳定，即数据微小的变化会造成模型结果很大的
阅读全文
摘要：来自公众号：IT牧场 EXPLAIN作为MySQL的性能分析神器，读懂其结果是很有必要的，然而我在各种搜索引擎上竟然找不到特别完整的解读。都是只有重点，没有细节（例如type的取值不全、Extra缺乏完整的介绍等）。 所以，我肝了将近一个星期，整理了一下。这应该是全网最全面、最细致的EXPLAIN解
阅读全文
摘要：1 Flink介绍 Flink 是一个面向分布式数据流处理和批量数据处理的开源计算平台。和 Spark 类似，两者都希望提供一个统一功能的计算平台给用户，都在尝试建立一个统一的平台以运行批量，流式，交互式，图处理，机器学习等应用。 1.1部署模式 Flink 集群的部署，本身不依赖 Hadoop 集
阅读全文
摘要：导读 在菜鸟供应链高级运营计划专家张志利看来，供应链最关键的核心是降本增效。我们需要思考三大问题：第一，如何打造一个优质的仓配网络，库存能共享，分仓合理，备货不压库存，大促不爆仓，能更好的服务消费者，达到成本和服务平衡。第二，针对商流端不断演进的新玩法，如何用更先进的供应链能力进行支持。第三，如何贯
阅读全文
摘要：正文开始 一、什么是数据治理？ 维基百科：数据治理对于确保数据的准确、适度分享和保护是至关重要的。有效的数据治理计划会通过改进决策、缩减成本、降低风险和提高安全合规等方式，将价值回馈于业务，并最终体现为增加收入和利润。 笔者认为：所有为提高数据质量而展开的业务、技术和管理活动都属于数据治理范畴。数据
阅读全文
摘要：文章来源 https://blog.csdn.net/yehongzhi1994/article/details/108034330 思维导图 前言 在很多业务情况下，我们都会在系统中加入redis缓存做查询优化。 如果数据库数据发生更新，这时候就需要在业务代码中写一段同步更新redis的代码。 这
阅读全文
摘要：作者：不一样的科技宅来源：juejin.im/post/6844904086173646862 前言 Insert into select请慎用。 这天xxx接到一个需求，需要将表A的数据迁移到表B中去做一个备份。本想通过程序先查询查出来然后批量插入。但xxx觉得这样有点慢，需要耗费大量的网络I/O
阅读全文
摘要：1. 场景 前几天，有一个小姐姐私聊我，说她每次打开微信，界面上密密麻麻的红点提示让她很惆怅，每一条消息她都要一条条去点击，太费时间且焦虑了 本篇文章将以之前聊过的 UiAutomator2 编写自动化脚本，来帮小姐姐解决这个问题 2.准备 在开始实战之前，需要做如下准备： 1、在 PC 端配置 A
阅读全文
摘要：本文主要介绍一种通用的实时数仓构建的方法与实践。实时数仓以端到端低延迟、SQL 标准化、快速响应变化、数据统一为目标。 在实践中，我们总结的最佳实践是：一个通用的实时生产平台 + 一个通用交互式实时分析引擎相互配合同时满足实时和准实时业务场景。两者合理分工，互相补充，形成易于开发、易于维护、效率最高
阅读全文
摘要：通过近期两周的供应链管理课程学习，我对供应链链条的整合、供应链的工作方式以及供应链的结构与创新等层面的理论知识有了更为深刻的感受。 其中有一点，也是整个供应链流程最为核心、起决定性作用的部分，Push-Pull模型策略的选择， 两种模型从一定程度上直接决定了企业的生产运营成本以及可盈利空间，也长期关
阅读全文
摘要：京东集团CEO刘强东在2017年京东年会上表示：在以人工智能为代表的第四次商业革命来临之际，京东将坚定地朝着技术转型，与此同时，正式发布了京东YAIR SMART SC智慧供应链战略，围绕数据挖掘、人工智能、数据再造和技术驱动四个原动力，形成京东的智慧供应链解决方案。 现在，智慧供应链战略已经进行了
阅读全文
摘要：采购分析 原材料采购是企业生产的基础，采购物品的价格以及质量问题直接影响到产品的质量与成本。一个好的全面的采购分析对于制定下一步采购策略是至关重要的。基于数据仓库技术的商业智能系统可实现供应商信用评价、业务员业绩考核等决策分析，帮助企业为顺利生产打下坚实的基础，为最终产品在质量和成本上的定位提供科学
阅读全文
摘要：前言 基于硬件成本的不断降低、内存计算的不断成熟和企业业务管理系统应用的不断深入，流程驱动管理逐渐满足不了企业日新月异的发展需求，数据驱动管理越来越得到企业的青睐。企业需要能承载海量数据的高性能数据中心，无论企业应用了什么样的业务管理系统，真正帮助企业经营者做出决策的是数据。 六大类分析方法概要说明
阅读全文
摘要：数据分析在供应链管理中的应用 供应链管理是一种策略概念，它的顺利实现是基于高速发展的信息系统电脑管理技术，将处于供应链上游的原料材料采购、中游的制作加工、货物运输等环节以及处于供应链下游的经销商的销售环节集成为一个无缝接续的流程。大数据时代的来临以及数据分析技术的发展为供应链管理提供了新的机会和挑战
阅读全文
摘要：Hadoop生态上几个技术的关系与区别：hive、pig、hbase 关系与区别 Pig 一种操作hadoop的轻量级脚本语言，最初又雅虎公司推出，不过现在正在走下坡路了。当初雅虎自己慢慢退出pig的维护之后将它开源贡献到开源社区由所有爱好者来维护。不过现在还是有些公司在用，不过我认为与其使用pig
阅读全文
摘要：首先理清hive和hbase的概念吧： 1、hive是什么？ hive可以认为是map-reduce的一个包装。 hive的意义就是把好写的hive的sql（也叫hql）转换为复杂难写的map-reduce程序，从而降低使用Hadoop中使用map-reduce的难度。 Hive本身不存储和计算数据
阅读全文