本周总结(数据库原理的小学期和Hadoop安装)
本周做数据库小学期的作业,完成一个机票预订系统,用户可以进行机票的预定和退票,管理员可以进行机票信息的增删改查,不过本周这个系统管理员部分的机票信息的修改还没有完成,Hadoop的安装在本周完成,代码花了6个多小时,学习Hadoop安装花了2个多小时,解决Hadoop安装遇到的问题花了1个多小时。
下周完成机票预订系统,并把数据库作业需要的文档完成,在学习Hadoop连接数据库。
本周遇到的问题?
执行./sbin/start-dfs.sh启动Hadoop进程后日志报告中出现错误:
ERROR conf.Configuration:error parsing conf hdfs-site.xml或core-sit.xml时,原因是在伪分布式配置修改core-site.xml和hdfs-site.xml时出现了拼写错误,需要先关闭进程sbin/stop-dfs.sh,再重新进入/usr/local/hadoop/etc/hadoop/使用gedit ./hdfs-site.xml打开相应的xml文件仔细查找错误,保存后重启hadoop进程
core-site.xml文件正确配置:
<configuration> <property> <name>hadoop.tmp.dir</name> <value>file:/usr/local/hadoop/tmp</value> <description>Abase for other temporary directories.</description> </property> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration>
hdfs-site.xml文件正确配置
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/data</value>
</property>
</configuration>
2.执行过一次NameNode格式化后,若后续开启Hadoop进程后输入jps没有列出相应成功进程提示的话,不要急着再一次格式化NameNode,因为多次格式化NameNode之后可能出现即便成功配置,启动进程后输入jps仍只显示jps的情况,而没有其它三个Node的情况,那样问题就比较麻烦了
要按照以下顺序排除所有错误后再格式化:
- 先重启Hadoop
./sbin/stop-dfs.sh #关闭Hadoop ./sbin/start-dfs.sh #开启Hadoop进程
- 重新打开core-site.xml和hdfs-site.xml核对错误
- 排除java环境变量问题
- 格式化NameNode