Hadoop HDFS 文件块大小
HDFS中的文件在物理上是分块存储(Block),块的大小可以通过配置参数(dfs.blocksize)来配置，默认大小在Hadoop2.x/3.x版本中是128M，1.x版本中是64M.
建议配置为物理机硬盘每秒的读取速度,如机械硬盘则建议为128M，SSD则配置为256M。
- HDFS的块设置太小，会增加寻址时间，程序一直在找块的开始位置。
- 如果块设置的太大，从磁盘传输数据的时间会明显大于定位这个块开始位置所需的时间，导致程序在处理这块数据时，会非常慢
- HDFS块的大小设置主要取决于硬盘传输速率(读的速度)
作者：奇
出处：https://www.cnblogs.com/fanqisoft/p/17892268.html
版权：本作品采用「本文版权归作者和博客园共有，欢迎转载，但必须给出原文链接，并保留此段声明，否则保留追究法律责任的权利。」许可协议进行许可。
【推荐】国内首个AI IDE，深度理解中文开发场景，立即下载体验Trae
【推荐】编程新体验，更懂你的AI，立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包，你的智能百科全书，全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell：AI 加持，快人一步
· 阿里最新开源QwQ-32B，效果媲美deepseek-r1满血版，部署成本又又又降低了！
· 单线程的Redis速度为什么快？
· SQL Server 2025 AI相关能力初探
· AI编程工具终极对决：字节Trae VS Cursor，谁才是开发者新宠？
· 展开说说关于C#中ORM框架的用法！
2022-12-10 Docker 安装 Kibana
2022-12-10 Docker 安装 Logstash
2022-12-10 在Docker容器中编辑文件
2020-12-10 Debian 配置apt-get源为网络源
2019-12-10 TypeScript TSLint(TypeScript代码检查工具)
2019-12-10 TypeScript tsconfig.json(TypeScript配置)
2019-12-10 TypeScript 模块