本周总结(数据库原理的小学期和Hadoop安装)

本周做数据库小学期的作业,完成一个机票预订系统,用户可以进行机票的预定和退票,管理员可以进行机票信息的增删改查,不过本周这个系统管理员部分的机票信息的修改还没有完成,Hadoop的安装在本周完成,代码花了6个多小时,学习Hadoop安装花了2个多小时,解决Hadoop安装遇到的问题花了1个多小时。

下周完成机票预订系统,并把数据库作业需要的文档完成,在学习Hadoop连接数据库。

本周遇到的问题?

执行./sbin/start-dfs.sh启动Hadoop进程后日志报告中出现错误:
ERROR conf.Configuration:error parsing conf hdfs-site.xml或core-sit.xml时,原因是在伪分布式配置修改core-site.xml和hdfs-site.xml时出现了拼写错误,需要先关闭进程sbin/stop-dfs.sh,再重新进入/usr/local/hadoop/etc/hadoop/使用gedit ./hdfs-site.xml打开相应的xml文件仔细查找错误,保存后重启hadoop进程
core-site.xml文件正确配置:

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

hdfs-site.xml文件正确配置

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/data</value>
    </property>
</configuration>

2.执行过一次NameNode格式化后,若后续开启Hadoop进程后输入jps没有列出相应成功进程提示的话,不要急着再一次格式化NameNode,因为多次格式化NameNode之后可能出现即便成功配置,启动进程后输入jps仍只显示jps的情况,而没有其它三个Node的情况,那样问题就比较麻烦了
要按照以下顺序排除所有错误后再格式化:

  1. 先重启Hadoop
./sbin/stop-dfs.sh #关闭Hadoop
 ./sbin/start-dfs.sh #开启Hadoop进程
  1. 重新打开core-site.xml和hdfs-site.xml核对错误
  2. 排除java环境变量问题
  3. 格式化NameNode
posted @ 2022-07-02 16:51  好(justice)……  阅读(51)  评论(0编辑  收藏  举报