随笔分类 -  大数据

大数据学习过程中的笔记
摘要:NameNode故障处理 1)需求 NameNode进程挂了并且存储的数据也丢失了 2)故障模拟 (1)kill -9 NameNode进程 kill -9 19886 (2)删除NameNode储存的数据 rm -rf /opt/module/hadoop-3.1.3/data/dfs/name/ 阅读全文
posted @ 2022-06-21 08:25 sw-code 阅读(251) 评论(0) 推荐(0) 编辑
摘要:异构存储主要解决,不同的数据,储存在不同类型的硬盘中,达到最佳性能的问题 1)存储类型 RAM_DISK:内存镜像文件系统 SSD:SSD固态硬盘 DISK:普通磁盘,在HDFS中,如果没有主动声明数据目录储存类型默认都是DISK ARCHIVE:没有特指哪种存储介质,主要指的是计算能力比较弱而储存 阅读全文
posted @ 2022-06-19 21:08 sw-code 阅读(859) 评论(0) 推荐(0) 编辑
摘要:添加白名单和黑名单 白名单,表示在白名单的主机IP地址可以用来存储数据 企业中;配置白名单,可以尽量防止黑客恶意访问攻击。 配置白名单步骤如下:原文:sw-code 1)在NameNode节点的/opt/module/hadoop-3.1.3/etc/hadoop目录创建whitelist和blac 阅读全文
posted @ 2022-06-18 13:34 sw-code 阅读(1299) 评论(0) 推荐(0) 编辑
摘要:需求分析 如下两张输入表格 order表 id pid amount 1001 01 1 1002 02 2 1003 03 3 1004 01 4 1005 02 5 1006 03 6 pd表 pid pname 01 小米 02 华为 03 格力 将商品信息表中数据根据商品pid合并的订单数据 阅读全文
posted @ 2022-06-17 20:59 sw-code 阅读(96) 评论(0) 推荐(0) 编辑
摘要:Yarn状态的查询,除了可以在hadoop103:8088页面查看以外,还可以通过命令操作。常见的命令操作如下所示。 需求:执行WordCount案例,并通过Yarn命令查看任务运行情况。原文:sw-code # 启动集群 [hadoop@hadoop102 bin]$ myhadoop.sh st 阅读全文
posted @ 2022-06-17 20:57 sw-code 阅读(796) 评论(0) 推荐(0) 编辑
摘要:测试HDFS写性能 原文:sw-code 1)写测试的原理 2)测试内容:向HDFS集群写10个128MB的文件(3个机器每个4核,2 * 4 = 8 < 10 < 3 * 4 =12) [hadoop@hadoop103 ~]$ hadoop jar /opt/module/hadoop-3.1. 阅读全文
posted @ 2022-06-17 20:54 sw-code 阅读(1043) 评论(0) 推荐(0) 编辑
摘要:上个文章对集群进行了必要的配置并成功启动集群,这篇文章,我们补充一些常用的知识点 集群启动/停止方式总结 各模块分开启动/停止 1、整体启动/停止HDFS start-dfs.sh/stop-dfs.sh 2、整体启动/停止YARN start-yarn.sh/stop-yarn.sh 各服务组件逐 阅读全文
posted @ 2021-11-16 20:51 sw-code 阅读(262) 评论(0) 推荐(0) 编辑
摘要:上篇文章通过克隆将集群搭建出来,这篇文章对Hadoop进行配置,修改配置文件,启动并测试集群。开去历史服务器以及日志聚集。 部署规划 hadoop102 hadoop103 hadoop104 HDFS NameNode、DataNode DataNode SencondNameNode、DataN 阅读全文
posted @ 2021-11-16 13:23 sw-code 阅读(797) 评论(0) 推荐(0) 编辑
摘要:上个文章搭建了一个Hadoop主机,我们用该主机进行主机克隆 克隆主机 利用VMware的克隆功能,克隆出hadoop102、hadoop103、hadoop104三台主机 克隆完成后,记得修改文件(root用户下) vim /etc/sysconfig/network-scripts/ifcfg- 阅读全文
posted @ 2021-11-15 20:06 sw-code 阅读(207) 评论(0) 推荐(0) 编辑
摘要:大数据集群经常涉及文件拷贝,我在学习大数据时总结了几种方式 三台主机:192.168.10.100、192.168.10.101、192.168.10.102有一个一样的用户:swcode 做过映射关系: hadoop100 192.168.10.100 hadoop101 192.168.10.1 阅读全文
posted @ 2021-11-15 11:24 sw-code 阅读(802) 评论(0) 推荐(0) 编辑
摘要:工具准备 1、VMware 2、CentOS 7 最小安装版 3、远程工具推荐使用 FinalShell 安装系统 1、打开VMware,根据自己的情况配置好虚拟机,选择系统镜像就可以安装了,可自行百度“VMware如何安装CentOS” 2、打开虚拟机后,选中Test this media & i 阅读全文
posted @ 2021-11-15 10:24 sw-code 阅读(332) 评论(0) 推荐(1) 编辑

点击右上角即可分享
微信分享提示
主题色彩