11 2024 档案
摘要:在初期阶段,项目团队只使用了少量HBase节点以满足基本的读写需求。随着数据量的增加和业务需求的复杂化,HBase集群扩展到了几十个节点。此时,性能问题逐渐暴露出来:如读写延迟增大、热点问题严重等。为了应对这些挑战,项目团队逐步引入了一系列优化措施,并通过持续的调优,显著提升了HBase集群的性能。
阅读全文
摘要:1.1、介绍Hadoop 广义上来说,Hadoop通常是指一个更广泛的概念——Hadoop生态圈。 狭义上说,Hadoop指Apache这款开源框架,它的核心组件有: (1)、HDFS(分布式文件系统):解决海量数据存储; (2)、YARN(作业调度和集群资源管理的框架):解决资源任务调度; (3)
阅读全文
摘要:在搭好HA集群之后,想测试一下集群的高可用性,于是先把active的namenode给停掉: hadoop-daemon.sh stop namenode 或者直接kill掉该节点namenode的对应进程也可。 但是通过hdfs haadmin -getServiceState master1 查
阅读全文
摘要:在MySQL中,如果你想要将一行数据的多列值放到另一列的多个行中,你可以使用一个辅助表(例如,使用nums表)来生成序列,然后与你的原始表进行联接。 比如下面一行一行数据,包含col1~col5总共5列,现在需要将这5类转换到一列中。 转换前的数据: 转换后的结果: 以下是一个示例: 首先,创建一个
阅读全文