2023年4月13日

linux环境下安装Docker

摘要： 1、概念：docker是一个开源的应用容器引擎,docker可以让开发者打包他们的应用以及依赖环境包到一个轻量级、可移值的容器中。然后发布到任何流行的linux机器上。安装过程： 1、yum包更新到最新 yum update 2、安装需要的软件包 yum install -y yum-utils 阅读全文

posted @ 2023-04-13 21:27 药水哥biss 阅读(1619) 评论(0) 推荐(0) 编辑

2023年3月2日

JIT即时编译器

摘要：一、概念 Java是编译与解释共存的语言，简单来说，字节码文件通过解释器进行一行一行解释执行，当虚拟机发现某个方法或代码块的运行特别频繁，就会把这些代码认定为“热点代码”（Hot Spot Code），在运行时，虚拟机将会把这些代码编译成本地机器码。因此被称为“即时编译”(即JIT)，热点代码的本地阅读全文

posted @ 2023-03-02 15:40 药水哥biss 阅读(182) 评论(0) 推荐(0) 编辑

2023年3月1日

datanode 宕机后,恢复的流程

摘要：一、大致流程 Datanode宕机了后，如果是短暂的宕机，可以实现写好脚本监控，将它启动起来。如果是长时间宕机了，那么datanode上的数据应该已经被备份到其他机器了，那这台datanode就是一台新的datanode了，删除他的所有数据文件和状态文件，重新启动。二、详细流程总体上涉及了心跳检阅读全文

posted @ 2023-03-01 17:19 药水哥biss 阅读(422) 评论(0) 推荐(0) 编辑

Hadoop读写流程

摘要：一、HDFS读流程 1、client跟namenode通信查询元数据，找到文件块block所在的datanode服务器 2、挑选一台datanode（就近原则，然后随机）服务器，请求建立socket流 3、datanode开始发送数据（从磁盘里面读取数据放入流，以packet为单位来做校验，大小为6 阅读全文

posted @ 2023-03-01 16:13 药水哥biss 阅读(205) 评论(0) 推荐(0) 编辑

2023年2月28日

Hadoop部署详细步骤

摘要： Hadoop部署详细步骤阅读全文

posted @ 2023-02-28 16:20 药水哥biss 阅读(412) 评论(0) 推荐(0) 编辑

内存不足时Linux 内核自动触发OOM-killer

摘要：问题产生：作者最近在搭建Hadoop+Hive集群时，将NameNode、DataNode、Rm全部部署到一台物理机上，查询量较大时连接挂掉。问题定位：使用JPS命令查看Metastore服务正常运行，hive2--Runjar挂掉。重启之后，过段时间又会挂掉。 Linux 内核有个机制叫OO 阅读全文

posted @ 2023-02-28 14:45 药水哥biss 阅读(269) 评论(0) 推荐(0) 编辑

2025年3月

日

一

二

三

四

五

六

公告

昵称：药水哥biss
园龄： 2年
粉丝： 0
关注： 1

+加关注

2023年4月13日

2023年3月2日

2023年3月1日

2023年2月28日

公告

搜索

常用链接

随笔分类

随笔档案

阅读排行榜