2024/07/19（暑假学习hadoop第二周总结）

本周的学习任务主要是完成Hadoop中有关的组件的配置。有关于此配置的过程严格按照黑马程序员大数据入门到实战教程，大数据开发必会的Hadoop、Hive，云平台实战项目全套一网打尽_哔哩哔哩_bilibili来进行配置。

首先就是HDFS的配置，这是Hadoop分布式文件系统，用于在多个服务器上构建存储集群。

然后就是YARN的配置，这是Hadoop的资源管理框架，负责集群资源的管理和作业的调度。YARN的配置主要包括资源调度器和应用程序管理器的设置。。

最后再是HIVE架构的配置，首先是在我们的Linux虚拟机1号上安装好mysql，在MySQL的安装过程中，到yum -y install mysql-community-server这步可能会报错。解决方法就是https://www.cnblogs.com/maowenqiang/articles/7728685.html在这篇文章中，具体就是在我们的虚拟机上分别运行

mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
yum clean all
yum makecache

命令
之后再继续按照视频即可。
最后我们要用Java程序连接到，就需要我们导入依赖

     <dependency>
          <groupId>org.apache.hive</groupId>
          <artifactId>hive-jdbc</artifactId>
          <version>3.1.3</version>
      </dependency>

            Class.forName("org.apache.hive.jdbc.HiveDriver");
            Connection con = DriverManager.getConnection("jdbc:hive2://node1:10000/test", "hadoop", "");

使用此连接我们的hive数据库，但是再idea中无法修改和删除数据，这个问题还没解决，插入会显示超时，但是后面会插入进去，也不知道啥原因，查询没有影响。

要注意的点就是在进行hive数据库操作时要保证我们虚拟机上的hiveserver2服务是启动的。