哥不是小萝莉

摘要： 1.概述 最近有同学留言，Kafka Eagle的分布式模式功能怎么使用，如何部署安装？今天笔者就为大家来详细介绍一下Kafka Eagle的分布式模式功能的安装和使用。 2.内容 首先，这里我们需要说明一下，Kafka Eagle已经更名为EFAK（Eagle For Apache Kafka）。 阅读全文

摘要： 1.概述 最近，有同学留言咨询Kafka连接器的相关内容，今天笔者给大家分享一下Kafka连接器建立数据管道的相关内容。 2.内容 Kafka连接器是一种用于Kafka系统和其他系统之间进行功能扩展、数据传输的工具。通过Kafka连接器能够简单、快速的将大量数据集移入到Kafka系统，或者从Kafk 阅读全文

摘要： 1.概述 最近有被留言关于ClickHouse的使用问题，今天笔者将为大家分享一下ClickHouse的安装细节和使用方法。 2.内容 首先安装环境如下所示： Linux：CentOS7 ClickHouse：21.8.10.19 2.1 ClickHouse是什么？ ClickHouse是一个真正 阅读全文

摘要： 1.概述 Kafka是一个分布表示实时数据流平台，可独立部署在单台服务器上，也可部署在多台服务器上构成集群。它提供了发布与订阅的功能，用户可以发送数据到Kafka集群中，也可以从Kafka集群中读取数据。之前在Kafka 2.8.0版本时，Kafka社区提出了KRaft协议的概念，现在社区发布了Ka 阅读全文

摘要： 1.概述 随着微服务和分布式计算的出现，Kafka已经成为各种主流平台系统架构中不可缺少的组成部分了。在本篇文章中，笔者将尝试为大家来解密Kafka的内部存储机制是如何运作的。 2.内容 在分布式系统中构建操作简单性，尤其是对于细微的行为，通常需要经过生产实践后才能总结出经验。而Kafka的流行很大 阅读全文

摘要： 1.概述 流处理是一种用来处理无穷数据集的数据处理引擎。通常无穷数据集具有以下几个特点： 无穷数据：持续产生的数据，它们通常会被称为流数据。例如：银行信用卡交易订单、股票交易就、游戏角色移动产生的数据等； 低延时：流数据通常都是实时处理，数据实时产生，然后流处理引擎实时处理流数据，因此延时很短。 2 阅读全文

摘要： 1.概述 离线数据处理生态系统包含许多关键任务，最大限度的提高数据管道基础设施的稳定性和效率是至关重要的。这边博客将分享Hive和Spark分区的各种策略，以最大限度的提高数据工程生态系统的稳定性和效率。 2.内容 大多数Spark Job可以通过三个阶段来表述，即读取输入数据、使用Spark处理、 阅读全文

摘要： 1.概述 前面一篇博客给大家介绍了多元线性回归的一些概念和对应的方程式的代码实现。今天笔者再为大家介绍线性回归的实战演练。比如，通过空气湿度、气压、风速等来预测当天的温度。 2.内容 线性回归是对标量因变量和一个或者多个自变量之前的线性关系的建模的最简单，且非常强大的方法。线性回归方程公式如下： 接 阅读全文

摘要： 1.概述 最近Kafka官网发布了2.8版本，在该版本中引入了KRaft模式。鉴于新版本和新特性的引入，相关使用资料较少，那边本篇博客笔者将为大家介绍Kafka2.8的安装和使用。 2.内容 2.1 版本介绍 2.1.1 目的 从Kafka2.8版本开始，可以不用Apache Zookeeper来作 阅读全文

摘要： 1.概述 在机器学习里面，常见的预测算法有以下几种： 简易平均法：包括几何平均法、算数平均法及加权平均法； 移动平均法：包括简单移动平均法和加权移动平均法； 指数平滑法：包括一次指数平滑法和二次指数平滑法，以及三次指数平滑法； 线性回归法：包括一元线性回归和二元线性回归。 本篇博客，笔者将为大家主要 阅读全文