2016年12月12日

HDFS在把大文件分割成多个数据块时，有可能会把一条完整的记录划分到不同的数据块中
摘要： 当在一个数据块中的最后一条记录不完整的情况下，输入分片（input split）中就会包含下一个数据块的存储信息以及最后一条记录的剩余数据的字节偏移量。 下面这张图表示了数据块和输入分片两者的关系 阅读全文
posted @ 2016-12-12 16:19 wd5s 阅读(809) 评论(0) 推荐(0) 编辑

导航