哥不是小萝莉

摘要： 1.概述 在Clickhouse中有多种表引擎，不同的表引擎拥有不同的功能，它直接决定了数据如何读写、是否能够并发读写、是否支持索引、数据是否可备份等等。本篇博客笔者将为大家介绍Clickhouse中的各个表引擎以及其含义。 2.内容 2.1 MergeTree 适用于高负载任务的最通用和功能最强大 阅读全文

摘要： 1.概述 本篇博客将对Ignite的基础环境、集群快照、分布式计算、SQL查询与处理、机器学习等内容进行介绍。 2.内容 2.1 什么是Ignite？ 在学习Ignite之前，我们先来了解一下什么是Ignite？首先，Ignite是Apache开源的顶级项目之一。Ignite 内存数组组织框架是一个 阅读全文

摘要： 1.概述 最近有同学留言，关于Kafka Eagle的一些使用问题。今天笔者就为大家来详细介绍Kafka Eagle 3.0.1的功能以及使用方法。 2.内容 在3.0.1版本中，EFAK优化了分布式模式的服务性能，减少了磁盘IO和网络IO的操作次数，提升了内存和CPU的使用率。下面，我们就来看看3 阅读全文

摘要： 1.概述 本篇博客将对MySQL、InfluxDB、Clickhouse在写入时间、聚合查询时间、磁盘使用等方面的性能指标来进行比较。 2.内容 比较的数据集，是使用的Clickhouse官网提供的6600万的数据集来进行测试比较的，当MySQL、InfluxDB、Clickhouse也分配4CPU 阅读全文

摘要： 1.概述 Kafka系统的灵活多变，让它拥有丰富的拓展性，可以与第三方套件很方便的对接。例如，实时计算引擎Spark。接下来通过一个完整案例，运用Kafka和Spark来合理完成。 2.内容 2.1 初始Spark 在大数据应用场景中，面对实时计算、处理流数据、降低计算耗时等问题时，Apache S 阅读全文

摘要： 1.概述 Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。其核心组件包含Producer、Broker、Consumer，以及依赖的Zookeeper集群。其中Zookeeper集群是Kafka用来负责集群元数据的管理、控制器的选举等。 2.内容 目前，K 阅读全文

摘要： 1.概述 Clickhouse是一个开源的列式存储数据库，其主要场景用于在线分析处理查询（OLAP），能够使用SQL查询实时生成分析数据报告。今天，笔者就为大家介绍如何使用Clickhouse来构建实时数仓，来满足一些实时性要求较高的使用场景。 2.内容 2.1 什么是OLAP场景 在介绍Click 阅读全文

摘要： 1.概述 对于Kafka的学习，在研究其系统模块时，有些核心组件是指的我们去了解。今天给大家来剖析一下Kafka的一些核心组件，让大家能够更好的理解Kafka的运作流程。 2.内容 Kafka系统设计的非常优秀，它的核心组件由生产者、消费者、主题、代理节点、以及Zookeeper组成。这些核心组件彼 阅读全文

摘要： 1.概述 Apache Ranger提供了一个集中式的安全管理框架，用户可以通过操作Ranger Admin页面来配置各种策略，从而实现对Hadoop生成组件，比如HDFS、YARN、Hive、HBase、Kafka等进行细粒度的数据访问控制。本篇博客，笔者将为大家介绍如何Apache Ranger 阅读全文

摘要： 1.概述 客户端应用程序在运行过程中可能会产生错误，例如调用服务端接口超时、客户端处理业务逻辑发生异常、应用程序突然闪退等。这些异常信息都是会产生日志记录的，并通过上报到指定的日志服务器进行压缩存储。 本篇博客以一个应用实时日志分析平台作为案例来讲述ELK（ElasticSearch、LogStas 阅读全文