随笔分类 -  大数据

大数据生态圈组件、API等
docker运行Hadoop、Spark3，Flink1.x
摘要：windows docker desktop docker-compose.yml services: #Hadoop namenode: image: bde2020/hadoop-namenode:2.0.0-hadoop3.2.1-java8 container_name: namenode 阅读全文
posted @ 2024-12-24 10:56 李好秀 阅读(25) 评论(0) 推荐(0) 编辑
数据湖选型
摘要：名称 Hudi Paimon Iceberg Delta Lake 安装依赖 基础：JavaHudi依赖于Apache Hadoop和Apache Spark 基础：Java集群：Hadoop、Zookeeper 基础：Java 基础：Java Docker 部署 可Docker 部署 ACID 事 阅读全文
posted @ 2024-11-25 15:11 李好秀 阅读(30) 评论(0) 推荐(0) 编辑
大数据体系演进
摘要：传统离线大数据架构 ​ 21世纪初随着互联网时代的到来，数据量暴增，大数据时代到来。Hadoop生态群及衍生技术慢慢走向“舞台”，Hadoop是以HDFS为核心存储，以MapReduce（简称MR）为基本计算模型的批量数据处理基础设施，围绕HDFS和MR，产生了一系列的组件，不断完善整个大数据平台的 阅读全文
posted @ 2024-07-22 21:58 李好秀 阅读(32) 评论(0) 推荐(0) 编辑
八、hive3.1.2 安装及其配置（本地模式和远程模式）
摘要：前文 一、CentOS7 hadoop3.3.1安装(单机分布式、伪分布式、分布式 二、JAVA API实现HDFS 三、MapReduce编程实例 四、Zookeeper3.7安装 五、Zookeeper的Shell操作 六、Java API操作zookeeper节点 七、Hadoop3.3.1 阅读全文
posted @ 2021-11-23 23:30 李好秀 阅读(2730) 评论(0) 推荐(0) 编辑
七、Hadoop3.3.1 HA 高可用集群QJM （基于Zookeeper，NameNode高可用+Yarn高可用）
摘要：七、Hadoop3.3.1 HA 高可用集群QJM （基于Zookeeper，NameNode高可用+Yarn高可用）前文 一、CentOS7 hadoop3.3.1安装(单机分布式、伪分布式、分布式 二、JAVA API实现HDFS 三、MapReduce编程实例 四、Zookeeper3.7安装 五、Zookeeper的Shell操作 六、Java API操作zookeeper节点 Hadoop3.3.1 HA 阅读全文
posted @ 2021-11-23 13:33 李好秀 阅读(1194) 评论(6) 推荐(0) 编辑
六、Java API操作zookeeper节点
摘要：六、Java API操作zookeeper节点前文 一、CentOS7 hadoop3.3.1安装(单机分布式、伪分布式、分布式 二、JAVA API实现HDFS 三、MapReduce编程实例 四、Zookeeper3.7安装 五、Zookeeper的Shell操作 pom.xml文件增加依赖 <!-- Zookeeper依赖--> <dep 阅读全文
posted @ 2021-11-22 01:16 李好秀 阅读(355) 评论(0) 推荐(0) 编辑
二、JAVA API实现HDFS
摘要：二、JAVA API实现HDFS前文 一、CentOS7 hadoop3.3.1安装(单机分布式、伪分布式、分布式 hdfsdemo通过HDFS上传下载文件 HDFS_CRUD windows环境下需要使用uitls.exe 可从github下载，并且要设置环境变量 HADOOP_HOME=Location 【安装解压的位置】 P 阅读全文
posted @ 2021-11-22 00:40 李好秀 阅读(198) 评论(0) 推荐(0) 编辑
五、Zookeeper的Shell操作
摘要：前文 一、CentOS7 hadoop3.3.1安装(单机分布式、伪分布式、分布式 二、JAVA API实现HDFS 三、MapReduce编程实例 四、Zookeeper3.7安装 Zookeeper的Shell操作 @ | ZooKeeper服务命令: | | | | | | 启动ZK服务: | 阅读全文
posted @ 2021-11-21 22:07 李好秀 阅读(541) 评论(0) 推荐(0) 编辑
四、Zookeeper3.7安装
摘要：前文 一、CentOS7 hadoop3.3.1安装(单机分布式、伪分布式、分布式 二、JAVA API实现HDFS 三、MapReduce编程实例 Zookeeper安装 @ 前言 ZooKeeper是用Java编写的，运行在Java环境上，因此，在部署zk的机器上需要安装Java运行环境。为了正 阅读全文
posted @ 2021-11-13 22:37 李好秀 阅读(216) 评论(0) 推荐(0) 编辑
三、MapReduce编程实例
摘要：前文 一、CentOS7 hadoop3.3.1安装(单机分布式、伪分布式、分布式 二、JAVA API实现HDFS MapReduce编程实例 @ 前言 简介 讲解_Hadoop 中文网 Hadoop测试项目：HadoopDemo 注意事项 如果下载了HadoopDemo作为测试，用到HDFS_C 阅读全文
posted @ 2021-11-13 22:36 李好秀 阅读(281) 评论(0) 推荐(0) 编辑
一、CentOS7 hadoop3.3.1安装(单机分布式、伪分布式、分布式)
摘要：一、CentOS7 hadoop3.3.1安装(单机分布式、伪分布式、分布式)@ 前言 官方镜像下载地址: Centos，hadoop，Java Centos为CentOS-7-x86_64-DVD-2009 Hadoop为hadoop-3.3.1.tar.gz Java为jdk-8u301-linux-x64.tar.gz PS：Hadoop3.X Java最低版本为1.8 阅读全文
posted @ 2021-11-13 22:32 李好秀 阅读(1744) 评论(3) 推荐(1) 编辑

点击右上角即可分享
微信分享提示