摘要：
文章内容 自定义Flink Source，案例分别实现了继承于SourceFunction的四个案例，三个完全自定义的Source， 另外一个Source为常见的MySQL，通过这几个案例，启发我们进行实际案例的Source研发 代码版本 Flink : 1.10.0Scala : 2.12.6 官 阅读全文
摘要：
数据仓库也是公司数据发展到一定规模后必然会提供的一种基础服务，数据仓库的建设也是“数据智能”中必不可少的一环。本文将从数据仓库的简介、经历了怎样的发展、如何建设、架构演变、应用案例以及实时数仓与离线数仓的对比六个方面全面分享关于数仓的详细内容。 1.数据仓库简介 数据仓库是一个面向主题的（Subje 阅读全文
摘要：
1. Time Flink中的时间(Time)主要分为三种： Event Time：每条数据真实的产生时间，这就要求每条进入Flink应用的数据都要自己带有时间戳，标明数据产生时间； Ingestion Time：是介于Event time和 Processing Time之间的时间。在数据通过So 阅读全文
摘要：
传统的数据库SQL和实时SQL处理的差别还是很大的，这里简单列出一些区别： 尽管存在这些差异，但使用关系查询和SQL处理流并非不可能。高级关系数据库系统提供称为物化视图的功能。物化视图定义为SQL查询，就像常规虚拟视图一样。与虚拟视图相比，物化视图缓存查询的结果，使得在访问视图时不需要执行查询。缓存 阅读全文
摘要：
简介： 反压（backpressure）是实时计算应用开发中，特别是流式计算中，十分常见的问题。反压意味着数据管道中某个节点成为瓶颈，处理速率跟不上上游发送数据的速率，而需要对上游进行限速。 反压（backpressure）是实时计算应用开发中，特别是流式计算中，十分常见的问题。反压意味着数据管道中 阅读全文
摘要：
一. 数据切分 二. 分库分表带来的问题 三. 什么时候考虑切分 四. 案例分析 五. 支持分库分表中间件 六. 参考 《Java 2019 超神之路》 《Dubbo 实现原理与源码解析 —— 精品合集》 《Spring 实现原理与源码解析 —— 精品合集》 《MyBatis 实现原理与源码解析 — 阅读全文
摘要：
分布式锁的实现方式有很多，本篇文章讲述一下使用Redis实现分布式锁。网上有很多使用Redis实现分布式锁的代码，但是这些代码或多或少都有问题。这篇文章会写一个实现，同时标明一些注意点。 场景 为了便于阐述，这里假设一个游戏场景，用户A有开山斧一把，价值500元宝，用户B有800元宝，想买A的开山斧 阅读全文
摘要：
续言 前一篇文章从OLTP出发，通过对比引出OLAP，进一步介绍了数仓的基本概念，包括多维数据模型、数据立方体及其典型操作等。本篇再进一步，将介绍OLAP的类型及其代表产品，并分析主流开源OLAP产品的核心技术点。 未看过前一篇文章的读者，欢迎点击链接（温正湖：OLAP数仓入门问答-基础篇）做进一步 阅读全文
摘要：
不得不说的废话 老实说，本文是为了应付公司内部培训的作业的。汇总了下学到或用过的一些能够提高工作效率的方法，本来觉得这种文章就是渣，但回头想想，至少说了些原则和方法论（SMART/GROW/PDCA/5W2H），大家有兴趣看看，当然文中都是点到为主，要行修还得靠自己。鄙人也没有那么强的功力娓娓道来。 阅读全文
摘要：
前言 过去近七年在网易杭研一直从事数据库相关的开发工作，主要是MySQL和MongoDB这两种数据库，去年开始涉及图数据库Neo4J。上述几种，都可认为是OLTP类数据处理，由于工作需要，需要调研学习OLAP技术和相关系统，本文开始逐步进行第一轮总结，很多东西还只是片面理解，权当做个笔记。 对事物的 阅读全文