伯安知心

摘要： 概述 昨晚在CCTV加班跨年，真是感慨很多呢，2020年在世界上对谁来说都是特殊难忘的一年。新冠病毒遍布了整个世界。而对于我自己呢？延迟返京，努力学习，面试找新工作。说大一些新冠改变了世界，也给了我坚定不移的信念。最终在成功收到几家公司的offer后，最后选择了腾讯投资的工资，而现在正在CCTV写2 阅读全文

摘要： 概述 作者有幸获得领导的欣赏，从一个技术人员变成技术经理，而且是大数据数据中台的技术经理，所以学习一些技术管理知识和项目管理知识就非常必要，机会难得，对我而言意味着千载难逢，现在把最近学习的项目管理的知识分享给大家，作为巩固和记录。 为什么要学习项目管理 事实上，项目管理能力，已经成为一项职场人士的 阅读全文

摘要： 概述 网络知识是计算机最重要的一部分知识之一，我们常常遇到线上的bug大部分和网络有关系，尤其是分布式的集群中，如果想解决问题，就绕不开查看网络状态和网络连接的日志。现在我给大家分享一下网络的一些基础知识。 网络协议介绍 我们常见的网络协议见下图，我们就以下面的网络协议，来说明一下网络协议的基础介绍 阅读全文

摘要： 概述 前面大概介绍了数据数据的质量如何维护，成本如何降到最低，数据服务的功能。现在给大家讲解一下数据安全，数据研发，数据分析以及最贱实践的例子。 数据安全 在刚开始构建数据中台的时候，我们就重点考虑了数据中台的安全保障，我把它归结为五大法宝。 接下来，我就带你深入分析一下，希望学完这部分内容之后， 阅读全文

摘要： 概述 上一篇简单介绍了元数据管理，指标管理，数据模型，现在我给大家介绍一下数据质量，成本优化，数据服务的相关的知识。 数据质量 从模型设计层面，逐步将分散、杂乱、烟囱式的小数仓整合成了可复用、可共享的数据中台，数据研发效能提升了一倍。那是不是交付数据足够快，使用数据的人就满意了？光快还不够，还要保证 阅读全文

摘要： 概述 上一篇文章主要介绍了数据中台的原理知识，现在开始介绍数据中台的实现篇章，主要从3个方面来说明，第一个是元数据的管理，第二个是指标的规范的管理，第三个是数据模型的建立。 元数据 在原理篇中，我提到数据中台的构建，需要确保全局指标的业务口径一致，要把原先口径不一致的、重复的指标进行梳理，整合成一个 阅读全文

摘要： 概述 最近使用鹅厂的tbds和整套的数据中台产品，通过最近的使用和学习，略有些心得和体会，所以随笔记录以备学习和共享。 首先聊一下，到底什么是数据中台？如何来建设数据中台？数据中台有哪些应用价值？说到数据中台，你肯定不陌生，从 2018 年末开始，它突然在大数据圈儿走红。大家聊天如果不提中台，好像就 阅读全文

摘要： 概述 本人最近在学习docker相关的知识，既是工作本身的需要也是自己对技术的追求的必要，以后我也会推出容器相关的随笔，既可以增长自己的知识，也可以和读者广泛交流，岂不乐乎？话不多说。第一篇先介绍docker的基础知识。 DOCKER是什么 Docker 最初是 dotCloud 公司创始人 Sol 阅读全文

摘要： 概述 这一篇随笔介绍kafka的状态机模块，Kafka 源码中有很多状态机和管理器，比如之前我们学过的 Controller 通道管理器 ControllerChannelManager、处理 Controller 事件的 ControllerEventManager，等等。这些管理器和状态机，大多 阅读全文

摘要： 概述 今天我们主要看一下kafka的controller的代码，controller代码是kafka的非常重要的代码，需要我们深入学习。从某种意义上来说，它是kafka最核心的组件，一方面，他要为集群中的所有主题分区选取领导者副本；另一方面，它还承载着集群的全部元数据信息，并负责讲这些元数据信息同步 阅读全文