随笔分类 - Hadoop
摘要：bin/hdfs namenode -format sbin/start-dfs.sh
阅读全文
摘要：MapReduce MapTask收集我们的map()方法输出的kv对，放到内存缓冲区中 从内存缓冲区不断溢出本地磁盘文件，可能会溢出多个文件 多个溢出文件会被合并成大的溢出文件 在溢出过程及合并的过程中，都要调用Partitioner进行分区和针对key进行排序 ReduceTask根据自己的分区
阅读全文
摘要：缺点： 存储层面：1个文件块，占用namenode多大内存150字节 128G能存储多少文件块？ 128 g* 1024m1024kb1024byte/150字节 = 9.1亿文件块 每个小文件都有一份元数据，其中包括文件路径，文件名，所有者，所属组，权限，创建时间等，这些信息都保存在Namenod
阅读全文
摘要：简介 定义： HDFS（Hadoop Distributed File System），它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。 HDFS的使用场景：适合一次写入，多次读出的场景。一个文件经过创建、写入和关
阅读全文
摘要：新手刚学hadoop,啥也不懂,跟着视频上的老师敲,因为懒,在代码中少加了一个目录, 重点是最后一句,输出路径不能是已经存在的,最后一个目录地址必须是还没有被创建的,解决把以前建的目录删掉或者在代码中加一个还不存在的目录地址 2021-11-06 16:38:56,759 WARN [org.apa
阅读全文
