strongmore

2023年6月1日

摘要： ### Event Event是Flume传输数据的基本单位，也是事务的基本单位，在文本文件中，通常一行记录就是一个Event Event中包含header和body； - body是采集到的那一行记录的原始内容 - header类型为Map，里面可以存储一些属性信息，方便后面使用我们可以在Sou 阅读全文

posted @ 2023-06-01 08:00 strongmore 阅读(176) 评论(0) 推荐(0) 编辑

Flume详解

摘要： ### 什么是Flume Flume是一个高可用，高可靠，分布式的海量日志采集、聚合和传输的系统，能够有效的收集、聚合、移动大量的日志数据。通俗一点来说就是Flume是一个很靠谱，很方便、很强的日志采集工具。它是目前大数据领域数据采集最常用的一个框架为什么它这么香呢？主要是因为使用Flume采集阅读全文

posted @ 2023-06-01 07:30 strongmore 阅读(309) 评论(0) 推荐(0) 编辑

2023年5月31日

Hive中的表类型

摘要：在MySQL中没有表类型这个概念，因为它就只有一种表。但是Hive中是有多种表类型的，我们可以分为四种，内部表、外部表、分区表、桶表下面来一个一个学习一下这些类型的表 ### 内部表内部表也可以称为受控表，它是Hive中的默认表类型，表数据默认存储在 warehouse 目录中。在加载数据的过阅读全文

posted @ 2023-05-31 22:05 strongmore 阅读(221) 评论(0) 推荐(0) 编辑

Hive核心实战

摘要： ### Hive中数据库的操作 ```sql show databases; # 查看数据库列表 use default; # 选择数据库 create database mydb1; # 创建数据库 create database mydb2 location '/user/hive/mydb2' 阅读全文

posted @ 2023-05-31 22:00 strongmore 阅读(188) 评论(0) 推荐(0) 编辑

Hive基础使用

摘要： ### Hive的使用方式可以在Shell命令行下操作Hive，或者使用JDBC代码的方式操作 ### 命令行方式针对命令行这种方式，其实还有两种使用 - 第一个是使用bin目录下的hive命令，这个是从hive一开始就支持的使用方式 - 后来又出现一个beeline命令，它是通过HiveSer 阅读全文

posted @ 2023-05-31 17:45 strongmore 阅读(183) 评论(0) 推荐(0) 编辑

关于Hadoop集群无法正常关闭的问题

摘要： ### 原生命令正常情况我们是通过以下命令来停止和开启集群的 ```sh sbin/stop-all.sh sbin/start-all.sh ``` 但有时候不生效，通过ps还能查看到，但jps命令查看不到 ### 自定义停止命令 ```sh #!/bin/bash # 停止hadoop进程 h 阅读全文

posted @ 2023-05-31 07:13 strongmore 阅读(221) 评论(0) 推荐(0) 编辑

2023年5月30日

Hive详解

摘要： ### 什么是Hive Hive是建立在Hadoop上的数据仓库基础架构。它提供了一系列的工具，可以用来进行数据提取转化加载，可以简称为ETL。 Hive 定义了简单的类SQL查询语言，称为HQL，它允许熟悉SQL的用户直接查询Hadoop中的数据，同时，这个语言也允许熟悉MapReduce的开发者阅读全文

posted @ 2023-05-30 22:29 strongmore 阅读(157) 评论(0) 推荐(0) 编辑

Hadoop之YARN详解

摘要： ### YARN的由来从Hadoop2开始，官方把资源管理单独剥离出来，主要是为了考虑后期作为一个公共的资源管理平台，任何满足规则的计算引擎都可以在它上面执行。所以YARN可以实现HADOOP集群的资源共享，不仅仅可以跑MapReduce，还可以跑Spark、Flink。 ### YARN架构分析阅读全文

posted @ 2023-05-30 21:38 strongmore 阅读(510) 评论(0) 推荐(0) 编辑

2023年5月29日

Hadoop之MapReduce性能优化

摘要：现在我们已经掌握了MapReduce程序的开发步骤，注意了，针对MapReduce的案例我们并不需要学习太多，主要是因为在实际工作中真正需要我们去写MapReduce代码的场景已经是凤毛麟角了，因为后面我们会学习一个大数据框架Hive，Hive支持SQL，这个Hive底层会把SQL转化为MapRed 阅读全文

posted @ 2023-05-29 22:04 strongmore 阅读(168) 评论(0) 推荐(0) 编辑

Hadoop之MapReduce详解

摘要： ### 前言前面我们学习了Hadoop中的HDFS，HDFS主要是负责存储海量数据的，如果只是把数据存储起来，除了浪费磁盘空间，是没有任何意义的，我们把数据存储起来之后是希望能从这些海量数据中分析出来一些有价值的内容，这个时候就需要有一个比较厉害的计算框架，来快速计算这一批海量数据，所以MapRe 阅读全文

posted @ 2023-05-29 18:39 strongmore 阅读(224) 评论(0) 推荐(0) 编辑

怕什么真理无穷，进一寸有一寸的欢喜。

公告