随笔分类 - 数据仓库ETL
摘要：数据仓库是所有产品的数据中心，公司体系下的所有产品产生的所有数据最终都流向数据仓库，可以说数据仓库不产生数据，也不消费数据，只是数据的搬运工。 记得很久以前曾有一位前辈和我说过：“进来的数据是垃圾数据，出去也是垃圾数据”。 在实际环境中，往往我们一条业务线会由多个不同的系统支撑组成（例如：很多电商后
阅读全文
摘要：来自公众号：码海 前言 大家好，我是坤哥，今天我想和大家聊一聊实时索引的构建之道，来自我司 PB 级索引数据的实战经验，相信对大家肯定有帮助。 近年来公司业务迅猛发展，数据量爆炸式增长，随之而来的的是海量数据查询等带来的挑战，我们需要数据量在十亿，甚至百亿级别的规模时依然能以秒级甚至毫秒级的速度返回
阅读全文
摘要：数据已成为很多公司的核心资产，而在数据开发的过程中会引入各种质量、效率、安全等方面的问题，而数据治理就是要不断消除引入的这些问题，保障数据准确、全面和完整，为业务创造价值，同时严格管理数据的权限，避免数据泄露带来的业务风险。数据治理是数字时代很多公司一项非常重要的核心能力，本文介绍了美团酒旅平台在数
阅读全文
摘要：问题：在做不同数据库的迁移时候，单个的表还很好操作如果是多个数据库的表呢。如果是一个个的去创建那简直太麻烦了。解决办法: 读取数据库中表->创建表->表数据抽取整个抽取过程包括一个job和两个trans，先来看看整个job吧： 1、首先是数据库的表名抽取trans：作用是读取数据库的表名并以此记录。
阅读全文
摘要：原地址 ：http://ainidehsj.iteye.com/blog/1735434 需求： 1.你是否遇到了需要将mysql数据库中的所有表与数据迁移到Oracle。 2.你是否还在使用kettle重复的画着：表输入-表输出、创建表，而烦恼。 下面为你实现了一套通用的数据库迁移流程。 技术引导
阅读全文
摘要：配置主的配置文件 vi /etc/my.cnf 创建复制用户并授权给从服务器 grant replication slave on *.* to 'rpl'@'192.168.162.130' identified by '123456'; 重启主服务器的MySQL /etc/init.d/mysq
阅读全文
摘要：一、前言 自MySQL5.1.6起，增加了一个非常有特色的功能-事件调度器（Event Scheduler），可以用做定时执行某些特定任务（例如：删除记录、对数据进行汇总、数据备份等等），来取代原先只能由操作系统的计划任务来执行的工作。更值得一提的是MySQL的事件调度器可以精确到每秒钟执行一个任务
阅读全文
摘要：一：背景目前公司已有的IT系统中，各系统中的数据往往都各自存储，各自定义。每个系统的数据同公司内部的其他数据进行连接互动时，难度很大，无形中加大了跨系统数据合作的沟通成本。为解决这一问题，需要引入一个基础中间件，可以灵活提取源数据库增量信息，按业务需求灵活整合目标表信息，从而使业务系统在本地库实时、
阅读全文
摘要：进一步了解otter原理，本文主要从简单的两个例子来讲解基本的同步过程 1：单机房同步 2：异地机房同步
阅读全文
摘要：互联网的下半场流量越来越分散，作为品牌电商的严选也有了多种流量来源和销售渠道。包含主站的App、Web和Wap三端，微信小程序，天猫、淘宝、京东等外渠店铺，还有抖音、快手等新兴直播销售渠道，以及旗舰店和园区店等线下渠道。如何在全渠道范围运营好严选的用户流量，相比于平台电商来说是一个全新的命题。本文分
阅读全文
摘要：稳定性治理是系统演进过程中一个不容忽视的重要命题，这个命题往往需要持续性的投入，如何让持续性的治理工作有目标、过程可跟进、结果能检验？本文结合严选供应链技术团队在稳定性治理上的实践，对治理工作中的可用性、监控告警和线上应急三个方面做了一些思考与总结。 1. 什么是稳定性治理 稳定性治理是个比较复杂的
阅读全文
摘要：玩法繁多的线上购物节刺激了电商平台的线上消费，在这种线上购物井喷式发展的冲击下，如何实现线上线下融合衔接是对电商品牌发展的重要考验。 1. 线下零售的发展 玩法繁多的线上购物节刺激了电商平台的线上消费，在这种线上购物井喷式发展的冲击下，如何实现线上线下融合衔接是对电商品牌发展的重要考验。 1.1 线
阅读全文
摘要：数据产品是个新兴的产品分类，每个人眼里都有一个自己的数据产品，尽管在绝大部分人的概念中都是一堆报表。在过去的3年里，我们在用户需求的推动下一步步构建了网易严选数据产品体系，下文分享我们在构建过程中自己的一些思考和总结。 背景 本文内容来自我在2020产品经理大会上《网易严选数据产品实践与方法论》分享
阅读全文
摘要：通常，我们称规律背后的解决方法叫做方法论，提炼出方法论的前提是理解事情的“底层逻辑”，底层逻辑在面临变化的时候，总能应用到新的变化里，产生出新的方法论。 背景 每一款产品，在不断迭代和创新的过程中，都是以满足用户需求，解决用户痛点以及创造用户价值为目标的。业界共识的产品分类方法有许多，例如：根据服务
阅读全文
摘要：严选在发展过程中，不断面临着商业环境的变化，如流量模式、竞争格局，也会遇到突然的公共卫生事件-疫情。采购系统作为严选供给端的核心系统之一，做好顶层设计并持续进行系统演进，才能适应剧烈的业务变化，服务好最终用户。本文从定义宏观、设计蓝图、落地系统、持续演进四个点展开整个采购系统架构过程，希望跟大家一起
阅读全文
摘要：在过去的2020年，网易严选在数据任务治理方面存在一些迫切希望改善及提升的点，2020年初在部门负责人和杭研数科领导的带领下，正式组建团队以“共建”的方式来解决这些希望改善或提升点，经过这一年的项目共建，在解决严选数仓实际问题的同时，沉淀了几个比较好的产品和比较有亮点特色的建设思路及经验。 在202
阅读全文
摘要：很多人跟我一样，对于数据湖充满好奇，也许还读了不少数据湖文章，但无论别人怎么说，你还是会觉得难以把握数据湖的本质。 有些人会望文生义说，数据湖嘛，就是什么东西都可以往里面扔，特别是对非结构数据的处理比较方便。 是这样吗？ 有案例才有鉴别，有的人找了数据湖的作者AWS来说明数据湖是什么东西，比如下图：
阅读全文
摘要：如题，今天要聊得这个话题，包含了四个“治理”。 先上一张图： 看完这张图你有什么想法，这张图说明了什么？ 它是在描述公司治理、IT治理、数仓治理和数据治理的关系吗？ 如果这张图是在描述四个“治理”之间的层次结构，那你认为哪一个结构是正确的呢？ 如果您是企业的高管，您会选择哪个结构，来实施“治理”呢？
阅读全文
摘要：来自公众号：程序员内点事 《sharding-jdbc 分库分表的 4种分片策略》 中我们介绍了 sharding-jdbc 4种分片策略的使用场景，可以满足基础的分片功能开发，这篇我们来看看分库分表后，应该如何为分片表生成全局唯一的主键 ID。 引入任何一种技术都是存在风险的，分库分表当然也不例外
阅读全文
摘要：简介： 内容主要分为三部分。首先介绍流式计算的基本概念， 然后介绍 Flink 的关键技术，最后讲讲 Flink 在快手生产实践中的一些应用，包括实时指标计算和快速 failover。 本次由快手刘建刚老师分享，内容主要分为三部分。首先介绍流式计算的基本概念， 然后介绍 Flink 的关键技术，最后
阅读全文