摘要：
在HDFS集群的运维过程中，肯定会遇到DataNode的新增和删除，即上线与下线。这篇文章就详细讲解下DataNode的上线和下线的过程。 背景 在我们的微职位视频课程中，我们已经安装了3个节点的HDFS集群，master机器上安装了NameNode和SecondaryNameNode角色，slav 阅读全文
摘要：
在HDFS中，提供了fsck命令，用于检查HDFS上文件和目录的健康状态、获取文件的block信息和位置信息等。 我们在master机器上执行hdfs fsck就可以看到这个命令的用法。 查看文件目录的健康信息 执行如下的命令： 其中有一个比较重要的信息，就是Corrupt blocks，表示损坏的 阅读全文
摘要：
我们在安装HDFS的时候，我们在hdfs-site.xml配置过DataNode的数据存储的文件目录，如下： 目录/home/hadoop-twq/bigdata/dfs/data就是DataNode存放数据的地方，这个目录对应的存储介质就是普通的磁盘(DISK)。除了普通磁盘，存储介质其实还有固态 阅读全文
摘要：
新建一个maven工程 我们先在IDEA中新建一个名为ObjectSizeFetcherAgent的maven工程，如下图： 在maven项目中的pom.xml中新增一个打jar包的插件，如下： 在项目的resources中新建一个名为META-INF的目录，在这个目录下新建一个名为MANIFEST 阅读全文
摘要：
我们在如何获取一个Java对象所占内存大小的文章中写了一个获取Java对象所占内存大小的工具类(ObjectSizeFetcher)，那么接下来，我们使用这个工具类来看一下Java中各种类型的对象所占内存的大小 基本类型 基本类型的内存占用情况如下表： 以上基本类型所占内存大小是Java规定的，引用 阅读全文
摘要：
我们在Java单个对象内存布局中讲解了单个简单的Java对象所占内存的大小的计算。那么这篇文章主要是讲解复杂Java对象所占内存大小的计算，我们把继承、复合的对象称为复杂对象 继承对象 然后重新打包，执行如下的命令： 得到的结果如下： 可以看出new Child()的内存大小为40字节，那么这个40 阅读全文