随笔分类 -  java

Java下的记录
摘要:1.概述 本篇博客将对Ignite的基础环境、集群快照、分布式计算、SQL查询与处理、机器学习等内容进行介绍。 2.内容 2.1 什么是Ignite? 在学习Ignite之前,我们先来了解一下什么是Ignite?首先,Ignite是Apache开源的顶级项目之一。Ignite 内存数组组织框架是一个 阅读全文
posted @ 2022-10-30 17:46 哥不是小萝莉 阅读(2389) 评论(0) 推荐(1) 编辑
摘要:1.概述 最近有同学留言,关于Kafka Eagle的一些使用问题。今天笔者就为大家来详细介绍Kafka Eagle 3.0.1的功能以及使用方法。 2.内容 在3.0.1版本中,EFAK优化了分布式模式的服务性能,减少了磁盘IO和网络IO的操作次数,提升了内存和CPU的使用率。下面,我们就来看看3 阅读全文
posted @ 2022-09-25 21:22 哥不是小萝莉 阅读(2796) 评论(2) 推荐(3) 编辑
摘要:1.概述 本篇博客将对MySQL、InfluxDB、Clickhouse在写入时间、聚合查询时间、磁盘使用等方面的性能指标来进行比较。 2.内容 比较的数据集,是使用的Clickhouse官网提供的6600万的数据集来进行测试比较的,当MySQL、InfluxDB、Clickhouse也分配4CPU 阅读全文
posted @ 2022-08-28 15:19 哥不是小萝莉 阅读(1730) 评论(0) 推荐(2) 编辑
摘要:1.概述 Kafka系统的灵活多变,让它拥有丰富的拓展性,可以与第三方套件很方便的对接。例如,实时计算引擎Spark。接下来通过一个完整案例,运用Kafka和Spark来合理完成。 2.内容 2.1 初始Spark 在大数据应用场景中,面对实时计算、处理流数据、降低计算耗时等问题时,Apache S 阅读全文
posted @ 2022-07-31 17:14 哥不是小萝莉 阅读(2172) 评论(0) 推荐(2) 编辑
摘要:1.概述 Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。其核心组件包含Producer、Broker、Consumer,以及依赖的Zookeeper集群。其中Zookeeper集群是Kafka用来负责集群元数据的管理、控制器的选举等。 2.内容 目前,K 阅读全文
posted @ 2022-06-30 23:50 哥不是小萝莉 阅读(6360) 评论(2) 推荐(2) 编辑
摘要:1.概述 Clickhouse是一个开源的列式存储数据库,其主要场景用于在线分析处理查询(OLAP),能够使用SQL查询实时生成分析数据报告。今天,笔者就为大家介绍如何使用Clickhouse来构建实时数仓,来满足一些实时性要求较高的使用场景。 2.内容 2.1 什么是OLAP场景 在介绍Click 阅读全文
posted @ 2022-05-29 21:57 哥不是小萝莉 阅读(3652) 评论(0) 推荐(1) 编辑
摘要:1.概述 对于Kafka的学习,在研究其系统模块时,有些核心组件是指的我们去了解。今天给大家来剖析一下Kafka的一些核心组件,让大家能够更好的理解Kafka的运作流程。 2.内容 Kafka系统设计的非常优秀,它的核心组件由生产者、消费者、主题、代理节点、以及Zookeeper组成。这些核心组件彼 阅读全文
posted @ 2022-04-30 22:15 哥不是小萝莉 阅读(1524) 评论(2) 推荐(1) 编辑
摘要:1.概述 Apache Ranger提供了一个集中式的安全管理框架,用户可以通过操作Ranger Admin页面来配置各种策略,从而实现对Hadoop生成组件,比如HDFS、YARN、Hive、HBase、Kafka等进行细粒度的数据访问控制。本篇博客,笔者将为大家介绍如何Apache Ranger 阅读全文
posted @ 2022-03-27 14:04 哥不是小萝莉 阅读(4935) 评论(1) 推荐(2) 编辑
摘要:1.概述 客户端应用程序在运行过程中可能会产生错误,例如调用服务端接口超时、客户端处理业务逻辑发生异常、应用程序突然闪退等。这些异常信息都是会产生日志记录的,并通过上报到指定的日志服务器进行压缩存储。 本篇博客以一个应用实时日志分析平台作为案例来讲述ELK(ElasticSearch、LogStas 阅读全文
posted @ 2022-02-28 12:27 哥不是小萝莉 阅读(3545) 评论(1) 推荐(3) 编辑
摘要:1.概述 最近,有同学留言关于SQL解析器方面的问题,今天笔者就为大家分享一下SQL解析器方便的一些内容。 2.内容 2.1 SQL解析器是什么? SQL解析与优化是属于编辑器方面的知识,与C语言这类编程语言的解析上是类似的。SQL解析主要包含:词法分析、语义语法分析、优化和执行代码生成、例如,我们 阅读全文
posted @ 2022-01-31 15:46 哥不是小萝莉 阅读(11248) 评论(0) 推荐(5) 编辑
摘要:1.概述 最近有同学留言,Kafka Eagle的分布式模式功能怎么使用,如何部署安装?今天笔者就为大家来详细介绍一下Kafka Eagle的分布式模式功能的安装和使用。 2.内容 首先,这里我们需要说明一下,Kafka Eagle已经更名为EFAK(Eagle For Apache Kafka)。 阅读全文
posted @ 2021-12-26 13:43 哥不是小萝莉 阅读(2349) 评论(1) 推荐(1) 编辑
摘要:1.概述 最近,有同学留言咨询Kafka连接器的相关内容,今天笔者给大家分享一下Kafka连接器建立数据管道的相关内容。 2.内容 Kafka连接器是一种用于Kafka系统和其他系统之间进行功能扩展、数据传输的工具。通过Kafka连接器能够简单、快速的将大量数据集移入到Kafka系统,或者从Kafk 阅读全文
posted @ 2021-11-28 20:24 哥不是小萝莉 阅读(3258) 评论(0) 推荐(1) 编辑
摘要:1.概述 Kafka是一个分布表示实时数据流平台,可独立部署在单台服务器上,也可部署在多台服务器上构成集群。它提供了发布与订阅的功能,用户可以发送数据到Kafka集群中,也可以从Kafka集群中读取数据。之前在Kafka 2.8.0版本时,Kafka社区提出了KRaft协议的概念,现在社区发布了Ka 阅读全文
posted @ 2021-09-25 15:51 哥不是小萝莉 阅读(5662) 评论(1) 推荐(2) 编辑
摘要:1.概述 随着微服务和分布式计算的出现,Kafka已经成为各种主流平台系统架构中不可缺少的组成部分了。在本篇文章中,笔者将尝试为大家来解密Kafka的内部存储机制是如何运作的。 2.内容 在分布式系统中构建操作简单性,尤其是对于细微的行为,通常需要经过生产实践后才能总结出经验。而Kafka的流行很大 阅读全文
posted @ 2021-08-31 01:17 哥不是小萝莉 阅读(696) 评论(0) 推荐(1) 编辑
摘要:1.概述 流处理是一种用来处理无穷数据集的数据处理引擎。通常无穷数据集具有以下几个特点: 无穷数据:持续产生的数据,它们通常会被称为流数据。例如:银行信用卡交易订单、股票交易就、游戏角色移动产生的数据等; 低延时:流数据通常都是实时处理,数据实时产生,然后流处理引擎实时处理流数据,因此延时很短。 2 阅读全文
posted @ 2021-07-31 23:49 哥不是小萝莉 阅读(2758) 评论(0) 推荐(1) 编辑
摘要:1.概述 最近Kafka官网发布了2.8版本,在该版本中引入了KRaft模式。鉴于新版本和新特性的引入,相关使用资料较少,那边本篇博客笔者将为大家介绍Kafka2.8的安装和使用。 2.内容 2.1 版本介绍 2.1.1 目的 从Kafka2.8版本开始,可以不用Apache Zookeeper来作 阅读全文
posted @ 2021-04-30 16:31 哥不是小萝莉 阅读(7565) 评论(3) 推荐(1) 编辑
摘要:1.概述 在大数据的浪潮下,时时刻刻都会产生大量的数据。比如社交媒体、博客、电子商务等等,这些数据会以不同的类型存储在不同的平台里面。为了执行ETL(提取、转换、加载)操作,需要一个消息中间件系统,该系统应该是异步和低耦合的,即来自各种存储系统(如HDFS、Cassandra、RDBMS等)的数据可 阅读全文
posted @ 2021-02-28 16:12 哥不是小萝莉 阅读(1181) 评论(0) 推荐(3) 编辑
摘要:1.概述 Kafka是一个分布式消息中间件系统,里面存储着实际场景中的数据。Kafka原生是不支持点查询的,如果我们想对存储在Topic中的数据进行查询,可能需要对Topic中的数据进行消费落地,然后构建索引(或者数据落地到自带所以的存储系统中,例如HBase、Hive等)。今天,笔者就为大家来介绍 阅读全文
posted @ 2020-11-30 00:24 哥不是小萝莉 阅读(1151) 评论(4) 推荐(1) 编辑
摘要:1.概述 最近有同学咨询Kafka的消费和心跳机制,今天笔者将通过这篇博客来逐一介绍这些内容。 2.内容 2.1 Kafka消费 首先,我们来看看消费。Kafka提供了非常简单的消费API,使用者只需初始化Kafka的Broker Server地址,然后实例化KafkaConsumer类即可拿到To 阅读全文
posted @ 2020-09-28 08:35 哥不是小萝莉 阅读(5744) 评论(0) 推荐(2) 编辑
摘要:1.概述 Kafka Eagle是一款用于管理Kafka的监控系统,且完全开源。当前Kafka Eagle发布了2.0.0版本。今天笔者就为大家来介绍一下2.0.0更新了哪些功能。 官网地址:http://www.kafka-eagle.org/ 开源地址:https://github.com/sm 阅读全文
posted @ 2020-07-13 09:16 哥不是小萝莉 阅读(3496) 评论(12) 推荐(3) 编辑

点击右上角即可分享
微信分享提示