摘要:
本周我进一步学习了Hadoop的YARN框架,重点理解了YARN如何管理资源以及任务的调度过程。我还尝试了使用Python的PySpark库进行大数据处理,运行了一些简单的Spark作业。此外,我还开始了对Hive的学习,了解了Hive的基本概念以及如何使用Hive进行数据查询和分析。 本周总共花费 阅读全文
摘要:
本周我集中学习了Hive的查询优化技术,了解了如何使用分区、桶、索引等方式来提升查询性能。同时,我开始学习HBase,了解了HBase的架构、数据模型以及如何使用HBase进行数据存储和检索。此外,Python方面,我练习了更多的数据处理和分析任务,特别是使用Pandas进行数据聚合和可视化。 本周 阅读全文