2018年8月19日

MapReduce-文本输入

摘要: 1.TextInputFormat TextInputFormat是默认的InputFormat。每条记录是一行输入。键是LongWritable类型,存储该行在整个文件中的字节偏移量。值是这行的内容,不包括任何行终止符(换行符和回车符),它被打包成一个Text对象。一般情况下,很难取得行号,因为文 阅读全文

posted @ 2018-08-19 23:06 嘣嘣嚓 阅读(273) 评论(0) 推荐(0) 编辑

MapReduce-输入分片与记录

摘要: 一个输入分片(split)就是一个由单个map操作来处理的输入块。每一个map操作只处理一个输入分片。每个分片被划分为若干个记录,每条记录就是一个键值对,map一个接一个地处理记录。输入分片和记录都是逻辑概念,不必将它们对应到文件,尽管其常见形式都是文件。在数据库的场景中,一个输入分片可以对应于一个 阅读全文

posted @ 2018-08-19 23:04 嘣嘣嚓 阅读(1049) 评论(0) 推荐(0) 编辑

导航