假期

Hadoop YARN学习：8小时

java Web用户权限管理模块开发：10小时

Python数据处理项目：5小时

本周完成的内容：
本周我集中学习了Hadoop的YARN（Yet Another Resource Negotiator）框架。YARN 是 Hadoop 生态系统中的一个关键组件，它负责管理集群中的计算资源，并调度运行各种分布式应用程序。YARN的工作机制非常灵活，能够在多种计算框架下进行调度，例如 MapReduce、Spark 等。我深入学习了 ResourceManager 和 NodeManager 的角色分工，并通过搭建小型集群实际操作了 YARN 中的任务调度过程。通过这次学习，我对 YARN 的工作原理有了更加系统的认识，特别是在处理大规模数据时，如何有效地分配资源以避免集群资源浪费。

在Java Web开发方面，本周的重点是开发用户权限管理功能。通过引入拦截器机制，我实现了不同用户角色的权限控制。例如，普通用户只能查看和修改自己的数据，而管理员可以对所有用户的数据进行管理。为了实现这一点，我在数据库中设计了用户权限字段，并在Servlet中增加了权限校验逻辑。在前端，通过不同的权限控制视图，确保每个用户看到的页面内容符合其角色。

遇到的问题：
YARN学习过程中，遇到的一个问题是节点之间的资源调度不够平衡。某些节点任务繁重，而其他节点的资源利用率却不高。为了解决这个问题，我调整了 YARN 的调度策略，从 FIFO（先到先服务）切换到 Capacity Scheduler，显著提升了资源的利用效率。

在用户权限管理模块开发中，由于数据库表设计问题，我一开始没有对用户角色进行规范化处理，导致权限管理时逻辑变得复杂。后来通过设计角色表并进行数据库规范化处理，简化了权限管理的逻辑，使系统更具扩展性。

下周计划：
下周我计划进一步完善权限管理功能，增加更细粒度的权限控制，比如模块级别的权限。同时，我也会开始着手Hadoop的HBase（分布式数据库）的学习，探索如何将大规模数据存储和高效查询结合起来。