24-暑假软件工程周报(3)

本周,我继续深入学习Hadoop和HBase。在上次报告的基础上,我主要集中在HBase的配置和使用方面,并遇到了一些问题,通过查阅资料和调试成功解决了这些问题。

1.我学习了HBase的基本概念和架构。HBase是一个基于Hadoop HDFS的分布式数据库,专门用于处理大规模数据的随机读写。它通过Zookeeper进行集群管理,以保证高可用性和一致性。在实际配置HBase集群时,我首先安装和配置了Zookeeper。Zookeeper的配置需要确保所有节点的 `zoo.cfg` 文件一致,并正确设置 `dataDir` 和 `clientPort`。启动Zookeeper后,我验证了其正常运行。

2.HBase的安装和配置。我下载了最新版本的HBase,并在每个节点上解压缩。配置文件主要包括 `hbase-site.xml` 和 `hbase-env.sh`。在 `hbase-site.xml` 中,我配置了HBase根目录(`hbase.rootdir`)指向HDFS路径,并设置了Zookeeper的连接信息。在 `hbase-env.sh` 中,我配置了Java Home路径,并根据节点的硬件配置调整了Heap Size。

3.在启动HBase时,我遇到了由于Zookeeper连接失败导致的启动问题。经过检查,发现是由于防火墙设置阻止了通信。我通过关闭防火墙和配置正确的防火墙规则,解决了这个问题。随后,我启动了HBase集群,并通过HBase Shell验证了集群的正常运行。

4.实际使用HBase中,学习了创建表、插入数据和查询数据的基本操作。

 

本周我对HBase的配置和使用有了更深入的理解,提高了在分布式环境中解决问题的能力。

 

工作时间:7月14日 8:00-11:00 

工作内容:

基本完成小区水电费管理系统页面配置

进行mysql数据库配置

 

工作时间:7月15日 8:00-11:00 

工作内容:

基本完成水电费大程序编译,可正常运行使用。

 

学习Oracle课程

 

工作时间:7月16日 8:00-11:00 

工作内容:

继续学习Oracle应用和css应用,Hadoop

 

工作时间:7月17日 8:00-11:00 

工作内容:

学习Oracle数据库,试运行第一个程序,完成增删改查过程。

 

工作时间:7月18日 8:00-11:00 

工作内容:

完成数据库程序测试

Hadoop环境配置,选取3.1.3

 

工作时间:7月19日 8:00-11:00 

完成数据库程序验收

完成Hadoop及hbase数据库环境配置,测试程序完成

 

 

工作时间:7月20日 14:30-17:00

实现idea连接hbase数据库

完成考试验收

 

 

posted @ 2024-07-21 10:54  KuanDong24  阅读(8)  评论(0编辑  收藏  举报