假期
HBase性能优化与预分区学习:8小时
Java Web项目安全性增强:8小时
Hadoop集群管理:6小时
本周完成的内容:
本周我集中研究了HBase的性能优化问题,特别是如何通过预分区技术来提高HBase在大数据场景下的查询性能。HBase中的数据按行键存储,因此如果行键设计不合理,容易导致数据集中在少数Region上,进而造成负载不均衡。通过使用预分区技术,我将数据分散存储在多个Region上,从而提升了系统的负载均衡性和查询效率。此外,我还学习了HBase的集群扩展策略,了解了如何在不影响现有集群稳定性的情况下动态添加节点。
在Java Web项目中,本周的主要任务是增强系统的安全性。我重点实现了以下安全功能:
- SQL注入防护:通过使用预编译的SQL语句以及参数化查询,防止恶意用户通过输入恶意SQL语句篡改数据。
- XSS攻击防护:在前端引入了输入验证机制,并通过对用户输入的数据进行HTML转义,防止恶意脚本的注入。
- 用户会话管理:为防止会话劫持,我增强了用户会话管理,加入了CSRF(跨站请求伪造)防护机制,确保每个请求都有一个唯一的Token进行验证。
遇到的问题:
在使用HBase预分区时,遇到了分区数量过多导致查询效率反而下降的问题。通过调研资料,我发现预分区的数量并不是越多越好,过多的分区会导致RegionServer负担过重。最终,通过合理设定分区数量,查询性能得到优化。
在Web项目安全性增强的过程中,CSRF防护机制的引入一度导致部分表单提交失败。经过排查,我发现是因为Token生成逻辑与表单提交之间的同步问题,通过修正逻辑,问题得以解决。
下周计划:
下周我将继续研究分布式系统的容错机制,学习如何在Hadoop集群中实现数据的高可用性和故障恢复。同时,我也计划为Java Web项目增加日志系统,用于记录用户操作并对系统进行监控。
本文来自博客园,作者:赵千万,转载请注明原文链接:https://www.cnblogs.com/zhaoqianwan/p/18300654
千万千万赵千万