哼哈1983

摘要： 不管是maptask还是reducetask 启动以后进程名都叫yarn child由applicationmaster启动上面的yarn child 数据来源由客户端负责划分输入切片:扫描输入目录中的所有文件 遍历每一个文件 按照128M规格划分范围例如一个200M的文件就能划分成两个split, 阅读全文

摘要： HDFS读写文件流程 客户端要向HDFS写数据，首先要跟namenode通信以确认可以写文件并获得接收文件block的datanode，然后，客户端按顺序将文件逐个block传递给相应datanode，并由接收到block的datanode负责向其他datanode复制block的副本 写详细步骤： 阅读全文