摘要：
@ 单点启动 如果集群是第一次启动，需要格式化NameNode hadoop namenode -format 在某一台机器上启动NameNode节点 hadoop-daemon.sh start namenode 在其他机器上启动DataNode节点 hadoop-daemon.sh start 阅读全文
摘要：
记住一句话： 节点距离=两个节点到达最近的共同祖先的距离总和 如图： 在同一节点上，它们之间的距离当然是0，2*0=0 在同一机架上的不同节点，它们的共同祖先就是这个机架，而这两个节点到机架的距离都是1，所以这两个节点的距离为1+1=2 在同一集群的不同机架上的节点，它们的共同祖先是集群，而这两个节 阅读全文
摘要：
@ 写数据流程 ①服务端启动HDFS中的NN和DN进程 ②客户端创建一个分布式文件系统客户端，由客户端向NN发送请求，请求上传文件 ③NN处理请求，检查客户端是否有权限上传，路径是否合法等 ④检查通过，NN响应客户端可以上传 ⑤客户端根据自己设置的块大小，开始上传第一个块，默认0-128M, NN根 阅读全文
摘要：
假如我有一个文件在HDFS上分成了0~3，共四块，那么如何把它们下载到本地并且恢复成完整的文件呢？ public class TestCustomUploadAndDownload { private FileSystem fs; private FileSystem localFs; privat 阅读全文
摘要：
在之前的总结中，对文件的上传和下载都是默认的全部大小。 那么，如何做到上传文件时，只上传这个文件的一部分或只下载文件的某一部分？ 官方实现的代码： InputStream in=null; OutputStream out = null; try { in = srcFS.open(src); ou 阅读全文
摘要：
Java部分 1、基础篇 ①怎么理解面对对象？ ②重载和重写区别？ ③什么是字节码？采用字节码文件最大的好处？ ④列举基本数据类型？分别所占字节？ ⑤StringBuffer、StringBuild区别？ ⑥异常怎么处理？ 2、集合篇 ①都有哪些集合？ ②Hashmap是线程安全的吗？为什么？ ③H 阅读全文
摘要：
Linux部分 ①列举你使用的常用指令？ ②怎么查看服务是否开启？后面的参数都是什么意思？ ③怎么查看服务器内存使用情况？ ④日志查看指令？ ⑤跨机房怎么传输文件？ Hadoop部分 ①怎么搭建一个Hadoop集群？ ②Hadoop的Shuffer机制？ ③切片概念？文件256M时，几个切片？ ④M 阅读全文