7月10日day2总结

今天学习过程和小结

上午：

java项目建立方法，maven

Tomcat的部署和MySQL的安装与权限。

分配时中datanote和namenote

DataNode 作用

1Data Node以数据块的形式存储HDFS文件

2Data Node 响应HDFS 客户端读写请求

3Data Node 周期性向NameNode汇报心跳信息

4Data Node 周期性向NameNode汇报数据块信息

5Data Node 周期性向NameNode汇报缓存数据块信息

6Name Node根据汇报内容，修改NameNode的命名空间，同时向DataNode 返回指令，比如创建，删除和复制数据块指令，然后DataNode根据这些指令在本地进行创建，删除和复制数据块

下午：第一节

Hadoop安装配置

分布式配置

 

IO进程

以.开头的都是隐藏那个目录

下午：第二节hdfs配置

跳不跳页面

下午：第三节（和大数据的关系--大数据读取也只能是这样）

字节流、字符流。转换

字节流

缓存区

字符串：main方法先入栈。string不可变，只能改指针指向。--拼字符串stringbuffer

buffer.append("a")

System.out.println(buffer.toString())线程安全

加锁防止其他线程进入。解锁。

加锁使用sychronized

多线程拼接字符串

stringbuilder常用

Hadoop的安装和配置，包括虚拟的分布式，用ssh连自己的IP不需要输入密码，在notepad++上更改两个xml文件

遇到问题总结

1.在Tomcat和Hadoop安装时都是导入压缩包然后解压，但是在MySQL时是用命令下载的。

2.在Hadoop的namenode和datanode配置时老是出错，在格式化Hadoop服务以后，重新运行start-dfs.sh但是一直提示can't find。然后查阅资料后修改了开启dfs的命令。变成sh start-dfs.sh。然后登陆192.168.122.141:50070检测namenode正确

3.ssh在配置时，一开始忘记下载ssh配置文件了，这个也是用命令下载，yum命令。

学习技能思维导图