随笔分类 - Hadoop
Hadoop 是 Apache 旗下的一个用 Java 语言实现开源软件框架,是一个开发和运行处理大数据的软件平台。允许使用简单的编程模型在大量计算机集群上对大型数据集进行分布式处理。
摘要:正所谓几家欢乐几家愁,2022 年初,又一款顶级 Apache 大数据项目,正式宣告退役:Apache Ambari 于 2022-01 悄然宣布,项目不再维护,正式进入退役阶段! Ambari 是什么 Apache Ambari 是一个基于 Web 的 Apache Hadoop 集群的供应、管理
阅读全文
摘要:Yarn 集群环境搭建 环境准备 确保主机搭建 HDFS 运行环境 步骤一:修改 mapred-site.xml 配置文件 [root@node-01 ~]# cd /root/apps/hadoop-3.2.1/etc/hadoop/ [root@node-01 hadoop]# vim mapr
阅读全文
摘要:环境准备 确保主机搭建 HDFS HA 运行环境 步骤一:修改 mapred-site.xml 配置文件 [root@node-01 ~]# cd /root/apps/hadoop-3.2.1/etc/hadoop/ [root@node-01 hadoop]# vim mapred-site.x
阅读全文
摘要:引言 序列化和反序列化几乎是工程师们每天都要面对的事情,但是要精确掌握这两个概念并不容易:一方面,它们往往作为框架的一部分出现而湮没在框架之中;另一方面,它们会以其他更容易理解的概念出现,例如加密、持久化。然而,序列化和反序列化的选型却是系统设计或重构一个重要的环节,在分布式、大数据量系统设计里面更
阅读全文