07 2024 档案
摘要：本周我进一步学习了Hadoop的YARN框架，重点理解了YARN如何管理资源以及任务的调度过程。我还尝试了使用Python的PySpark库进行大数据处理，运行了一些简单的Spark作业。此外，我还开始了对Hive的学习，了解了Hive的基本概念以及如何使用Hive进行数据查询和分析。 本周总共花费
阅读全文
摘要：本周我集中学习了Hive的查询优化技术，了解了如何使用分区、桶、索引等方式来提升查询性能。同时，我开始学习HBase，了解了HBase的架构、数据模型以及如何使用HBase进行数据存储和检索。此外，Python方面，我练习了更多的数据处理和分析任务，特别是使用Pandas进行数据聚合和可视化。 本周
阅读全文
摘要：本周主要学习了Hadoop的基本概念和架构，重点放在理解HDFS（Hadoop分布式文件系统）和MapReduce编程模型上。我阅读了Hadoop官方文档，浏览了相关的博客和教程，并且尝试在本地搭建了一个Hadoop集群环境。与此同时，我还进行了Python的基础复习，尤其是针对数据处理和分析的相关
阅读全文
