随笔分类 - hadoop
hadoop生态圈记录
摘要：1.概述 Apache Hive是一款建立在Hadoop之上的数据仓库工具，它提供了类似于SQL的查询语言，使得用户能够通过简单的SQL语句来处理和分析大规模的数据。本文将深入分析Apache Hive的源代码，探讨其关键组件和工作原理，以便更好地理解其在大数据处理中的角色。 2.内容 在开始源代码
阅读全文
摘要：1.概述 在构建大数据分析系统的过程中，我们面对着海量、多源的数据挑战，如何有效地解决这些零散数据的分析问题一直是大数据领域研究的核心关注点。大数据分析处理平台作为应对这一挑战的利器，致力于整合当前主流的各种大数据处理分析框架和工具，以实现对数据的全面挖掘和深入分析。本篇博客笔者将为大家介绍如何构建
阅读全文
摘要：1.概述 随着大数据技术的不断发展，处理海量数据的需求变得愈发迫切。MapReduce作为一种分布式计算模型，为处理大规模数据提供了有效的解决方案。在这篇博客中，我们将探讨如何使用MapReduce框架读取快照表（Snapshot Table）的数据。快照表是一种记录某一时刻系统状态的表格，通过Ma
阅读全文
摘要：1.概述 本篇博客将对Ignite的基础环境、集群快照、分布式计算、SQL查询与处理、机器学习等内容进行介绍。 2.内容 2.1 什么是Ignite？ 在学习Ignite之前，我们先来了解一下什么是Ignite？首先，Ignite是Apache开源的顶级项目之一。Ignite 内存数组组织框架是一个
阅读全文
摘要：1.概述 Kafka系统的灵活多变，让它拥有丰富的拓展性，可以与第三方套件很方便的对接。例如，实时计算引擎Spark。接下来通过一个完整案例，运用Kafka和Spark来合理完成。 2.内容 2.1 初始Spark 在大数据应用场景中，面对实时计算、处理流数据、降低计算耗时等问题时，Apache S
阅读全文
摘要：1.概述 Apache Ranger提供了一个集中式的安全管理框架，用户可以通过操作Ranger Admin页面来配置各种策略，从而实现对Hadoop生成组件，比如HDFS、YARN、Hive、HBase、Kafka等进行细粒度的数据访问控制。本篇博客，笔者将为大家介绍如何Apache Ranger
阅读全文
摘要：1.概述 最近有被留言关于ClickHouse的使用问题，今天笔者将为大家分享一下ClickHouse的安装细节和使用方法。 2.内容 首先安装环境如下所示： Linux：CentOS7 ClickHouse：21.8.10.19 2.1 ClickHouse是什么？ ClickHouse是一个真正
阅读全文
摘要：1.概述 Kafka是一个分布表示实时数据流平台，可独立部署在单台服务器上，也可部署在多台服务器上构成集群。它提供了发布与订阅的功能，用户可以发送数据到Kafka集群中，也可以从Kafka集群中读取数据。之前在Kafka 2.8.0版本时，Kafka社区提出了KRaft协议的概念，现在社区发布了Ka
阅读全文
摘要：1.概述 离线数据处理生态系统包含许多关键任务，最大限度的提高数据管道基础设施的稳定性和效率是至关重要的。这边博客将分享Hive和Spark分区的各种策略，以最大限度的提高数据工程生态系统的稳定性和效率。 2.内容 大多数Spark Job可以通过三个阶段来表述，即读取输入数据、使用Spark处理、
阅读全文
摘要：1.概述 在机器学习里面，常见的预测算法有以下几种： 简易平均法：包括几何平均法、算数平均法及加权平均法； 移动平均法：包括简单移动平均法和加权移动平均法； 指数平滑法：包括一次指数平滑法和二次指数平滑法，以及三次指数平滑法； 线性回归法：包括一元线性回归和二元线性回归。 本篇博客，笔者将为大家主要
阅读全文
摘要：1.概述 最近有同学留言咨询Kafka数据落地到Hive的一些问题，今天笔者将为大家来介绍一种除Flink流批一体以外的方式（流批一体下次再单独写一篇给大家分享）。 2.内容 首先，我们简单来描述一下数据场景，比如有这样一个数据场景，有一批实时流数据实时写入Kafka，然后需要对Topic中的数据进
阅读全文
摘要：1.概述 前面的博客介绍过如何构建一个推荐系统，以及简要的介绍了协同过滤的实现。本篇博客，笔者将介绍协同过滤在推荐系统的应用。推荐系统是大数据和机器学习中最常见、最容易理解的应用之一。其实，在日常的生活当中，我们会频繁的遇到推荐的场景 ，比如你在电商网站购买商品、使用视频App观看视频、在手机上下载
阅读全文
摘要：1.概述 前面介绍过什么是推荐系统，以及推荐系统中的用例，比如基于用户的协同过滤来构建推荐系统。今天给大家介绍如何构建一个生产环境的推荐系统。 2.内容 现在互联网上的内容很多，我们可能每天都会接受来自不同消息。例如，电商网站、阅读博客、各类新闻文章等。但是，这些消息并不是所有的内容你都感兴趣，可能
阅读全文
摘要：1.概述 之前介绍了如何构建一个推荐系统，今天给大家介绍如何基于用户的协同过滤来构建推荐的实战篇。 2.内容 协同过滤技术在推荐系统中应用的比较广泛，它是一个快速发展的研究领域。它比较常用的两种方法是基于内存（Memory-Based）和基于模型（Model-Based）。 基于内存：主要通过计算近
阅读全文
摘要：1.概述 最近有同学咨询说，Kafka的SSL安全认证如何安装与使用？今天笔者将通过以下几个方面来介绍Kafka的SSL： Kafka 权限介绍 Kafka SSL的安装与使用 Kafka Eagle中如何配置SSL？ 2.内容 2.1 什么是Kafka权限认证？ 在Kafka 0.9.0.0之后，
阅读全文
摘要：1.概述 最近有被咨询到一些关于推荐系统的问题，今天笔者将为大家分享一些关于如何构建一个推荐系统。 2.内容 2.1 什么是推荐系统？ 推荐系统是一种信息过滤系统，它旨在预测用户对某项商品的评价。然后，此预测的评分用于向用户推荐商品。预测评分较高的商品将推荐给用户，这个推荐系统用于推荐范围广泛的项目
阅读全文
摘要：1.概述 最近有同学留言咨询，Flink消费Kafka的一些问题，今天笔者将用一个小案例来为大家介绍如何将Kafka中的数据，通过Flink任务来消费并存储到HDFS上。 2.内容 这里举个消费Kafka的数据的场景。比如，电商平台、游戏平台产生的用户数据，入库到Kafka中的Topic进行存储，然
阅读全文
摘要：1.概述 最近有些同学在学习Kafka时，问到Kafka的日志压缩（Log Compaction）问题，对于Kafka的日志压缩有些疑惑，今天笔者就为大家来剖析一下Kafka的日志压缩的相关内容。 2.内容 2.1 日志压缩是什么？ Kafka是一个基于Log的流处理系统，一个Topic可以有若干个
阅读全文
摘要：1.概述 HBase是一款非关系型、分布式的KV存储数据库。用来存储海量的数据，用于键值对操作。目前HBase是原生是不包含SQL操作，虽然说Apache Phoenix可以用来操作HBase表，但是需要集成对应的Phoenix依赖包到HBase集群中，同时需要编写对应的Schema才能实现SQL操
阅读全文
摘要：1.概述 在实际的应用场景中，数据存储在HBase集群中，但是由于一些特殊的原因，需要将数据从HBase迁移到Kafka。正常情况下，一般都是源数据到Kafka，再有消费者处理数据，将数据写入HBase。但是，如果逆向处理，如何将HBase的数据迁移到Kafka呢？今天笔者就给大家来分享一下具体的实
阅读全文