摘要: 通过命令”ssh-keygen -t rsa“ 生成之后会在用户的根目录生成一个 “.ssh”的文件夹 进入“.ssh”会生成以下几个文件 authorized_keys:存放远程免密登录的公钥,主要通过这个文件记录多台机器的公钥id_rsa : 生成的私钥文件id_rsa.pub : 生成的公钥文 阅读全文
posted @ 2019-06-12 13:59 北漂屌丝 阅读(127) 评论(0) 推荐(0) 编辑
摘要: HDFS Block 和 Split 是一对多的关系;HDFS block 是数据的物理表示,而 Split 是 block 中数据的逻辑表示; HDFS block 是数据的物理表示,而 Split 是 block 中数据的逻辑表示; 阅读全文
posted @ 2019-06-12 08:47 北漂屌丝 阅读(303) 评论(0) 推荐(0) 编辑
摘要: block、packet与chunk 在DFSClient写HDFS的过程中,有三个需要搞清楚的单位:block、packet与chunk; block是最大的一个单位,它是最终存储于DataNode上的数据粒度,由dfs.block.size参数决定,默认是64M;注:这个参数由客户端配置决定;p 阅读全文
posted @ 2019-06-12 08:44 北漂屌丝 阅读(1280) 评论(0) 推荐(0) 编辑
摘要: 一个数据块在DataNode上以文件形式存储在磁盘上,包括两个文件,一个是数据本身,一个是元数据包括数据块的长度,块数据的校验和,以及时间戳 DataNode启动后向NameNode注册,通过后,周期性(1小时)的向NameNode上报所有的块信息 心跳是每3秒一次,心跳返回结果带有NameNode 阅读全文
posted @ 2019-06-12 08:39 北漂屌丝 阅读(251) 评论(0) 推荐(0) 编辑