HDFS在把大文件分割成多个数据块时,有可能会把一条完整的记录划分到不同的数据块中

当在一个数据块中的最后一条记录不完整的情况下,输入分片(input split)中就会包含下一个数据块的存储信息以及最后一条记录的剩余数据的字节偏移量。

下面这张图表示了数据块和输入分片两者的关系

 

posted on 2016-12-12 16:19  wd5s  阅读(809)  评论(0编辑  收藏  举报

导航