摘要：
线上的fsimage 有1.8G左右了，设置了6G heap 不够用了 新生代：老年代=1：2=2G: 4G NameNode的内存主要由NameSpace和BlocksMap占用，其中NameSpace存储的主要是INodeFile和INodeDirectory对象，BlocksMap存储的主要是 阅读全文
|
摘要：
线上的fsimage 有1.8G左右了，设置了6G heap 不够用了 新生代：老年代=1：2=2G: 4G NameNode的内存主要由NameSpace和BlocksMap占用，其中NameSpace存储的主要是INodeFile和INodeDirectory对象，BlocksMap存储的主要是 阅读全文
摘要：
```
#!/bin/bash
for i in hadoop01 hadoop02 hadoop03 hadoop04 hadoop05 hadoop06 hadoop07 hadoop08 hadoop09 hadoop10 hadoop11 hadoop12
do ssh -o StrictHostKeyChecking=no -p50022 $i "echo $i" & ... 阅读全文
摘要：
time 单位是秒 uploading image 665049.png 阅读全文
摘要：
把以下脚本配置到 crontab 下 ，10分钟一次，进行打点，记录复制块的进度。 想让节点快速退役（下线）的方法可以参考我的 https://www.cnblogs.com/jiangxiaoxian/p/9665588.html 文章。 日志 meta_recods.log 内容 线上参数如下（ 阅读全文
摘要：
```
>>> a = [1,2,3]
>>> b = [2,4,5]
>>> list(set(a).intersection(set(b)))
[2]
>>> list(set(a).union(set(b)))
[1, 2, 3, 4, 5]
>>> list(set(a).difference(set(b)))
[1, 3]
>>> list(set(b).difference(set(a... 阅读全文
摘要：
以下是选择复制源节点的代码 代码总结： 加快退役的三个参数 默认数分别为2，4，2 修改为 10，20，5 后 测试2w+个块（15G左右）迁移，后者比前者(默认参数)快4 5倍左右 但是如果线上不建议开过大，会严重影响线上正常服务 前两个参数已经介绍完了，下面来介绍下第三个参数的用途 dfs.na 阅读全文
摘要：
一、OS依据path中的路径信息来寻找可执行指令； 例如： cat /etc/profile 我们就可以在任意目录执行hadoop / hdfs / yarn / java 等相关命令了 二、JVM依据CLASSPATH中的路径信息来寻找可执行指令（.class文件）及配置信息（ .properti 阅读全文
摘要：
一个小例子帮助理解（我们常用的synchronized也是可重入锁） 话说从前有一个村子，在这个村子中有一口水井，家家户户都需要到这口井里打水喝。由于井水有限，大家只能依次打水。为了实现家家有水喝，户户有水用的目标，村长绞尽脑汁，最终想出了一个比较合理的方案。 首先，在水井边上安排一个看井人，负责维 阅读全文
摘要：
我们常用的ssh 免密登陆是用了 非对称加密的rsa算法（最为常用），与对称加密的相比会慢一些，但是更安全。秘钥长度超过768位无法破解。 默认长度是2048位（无法破解，非常安全） 非对称加密就是公私钥对，公钥（public key）和私钥（private key）。私钥只能由一方安全保管，不能外 阅读全文
摘要：
先上图，文章以后再上 截图有先后 所以有些延迟，但是不耽误总体的理解(active nn=a nn=active namenode; s nn=standby nn=standby namenode; journalnode=jn；edits_log=elog ； fsimage=fsg ) 一般认 阅读全文
|