每周总结第二周-大数据初步学习

HDFS

分布式存储

原因：数据太大，单台服务器无法存储。

架构分析：去中心化模式
中心化模式（大多）

部署HDFS集群环境

在VMware虚拟机集群部署HDFS集群环境

在node1虚拟机中完成了hadoop的下载

修改workers hadooop-env.sh core-site.xml hdfs-site.xml

hdfs-site.xml 配置内容
<configuration>
<property>
<name>dfs.datanode.data.dir.perm</name>
<value>700</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/data/nn</value>
</property>
<property>
<name>dfs.namenode.hosts</name>
<value>node1,node2,node3</value>
</property>
<property>
<name>dfs.blocksize</name>
<value>268435456</value>
</property>
<property>
<name>dfs.namenode.handler.count</name>
<value>100</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/data/dn</value>
</property>
</configuration>