大数据开发 - 随笔分类 - 药水哥biss

linux环境下安装Docker

摘要：1、概念：docker是一个开源的应用容器引擎,docker可以让开发者打包他们的应用以及依赖环境包到一个轻量级、可移值的容器中。然后发布到任何流行的linux机器上。安装过程： 1、yum包更新到最新 yum update 2、安装需要的软件包 yum install -y yum-utils 阅读全文

posted @ 2023-04-13 21:27 药水哥biss 阅读(1619) 评论(0) 推荐(0) 编辑

datanode 宕机后,恢复的流程

摘要：一、大致流程 Datanode宕机了后，如果是短暂的宕机，可以实现写好脚本监控，将它启动起来。如果是长时间宕机了，那么datanode上的数据应该已经被备份到其他机器了，那这台datanode就是一台新的datanode了，删除他的所有数据文件和状态文件，重新启动。二、详细流程总体上涉及了心跳检阅读全文

posted @ 2023-03-01 17:19 药水哥biss 阅读(422) 评论(0) 推荐(0) 编辑

Hadoop读写流程

摘要：一、HDFS读流程 1、client跟namenode通信查询元数据，找到文件块block所在的datanode服务器 2、挑选一台datanode（就近原则，然后随机）服务器，请求建立socket流 3、datanode开始发送数据（从磁盘里面读取数据放入流，以packet为单位来做校验，大小为6 阅读全文

posted @ 2023-03-01 16:13 药水哥biss 阅读(205) 评论(0) 推荐(0) 编辑

Hadoop部署详细步骤

摘要：Hadoop部署详细步骤阅读全文

posted @ 2023-02-28 16:20 药水哥biss 阅读(412) 评论(0) 推荐(0) 编辑

内存不足时Linux 内核自动触发OOM-killer

摘要：问题产生：作者最近在搭建Hadoop+Hive集群时，将NameNode、DataNode、Rm全部部署到一台物理机上，查询量较大时连接挂掉。问题定位：使用JPS命令查看Metastore服务正常运行，hive2--Runjar挂掉。重启之后，过段时间又会挂掉。 Linux 内核有个机制叫OO 阅读全文

posted @ 2023-02-28 14:45 药水哥biss 阅读(269) 评论(0) 推荐(0) 编辑

随笔分类 - 大数据开发

公告

搜索

常用链接

随笔分类

随笔档案

阅读排行榜