摘要:
Hadoop YARN学习:8小时 java Web用户权限管理模块开发:10小时 Python数据处理项目:5小时 本周完成的内容:本周我集中学习了Hadoop的YARN(Yet Another Resource Negotiator)框架。YARN 是 Hadoop 生态系统中的一个关键组件,它 阅读全文
摘要:
Hadoop分布式集群:10小时 Python编程练习:5小时 Java Web项目:7小时 本周完成的内容:本周,我完成了一个结合Python与Hadoop的小型数据处理项目。在这个项目中,我使用Python编写了数据预处理脚本,并将处理好的数据上传至HDFS分布式文件系统中。随后,我编写了一个M 阅读全文
摘要:
java Web项目开发:12小时 Python数据分析:6小时 Hadoop数据集处理:4小时 本周完成的内容:本周,我学习了如何使用Python与SQL进行数据分析,并结合Java Web项目实现了用户数据管理模块。在Python方面,我复习了Pandas库的使用方法,Pandas可以非常方便地 阅读全文
摘要:
Java Web开发:4小时 Hadoop实践:8小时 Python语法复习:5小时 本周完成的内容:在本周的学习中,我将Hadoop的理论知识付诸实践,运行了一个简单的MapReduce程序来处理文本数据。在实际操作中,MapReduce分为两个阶段:Map阶段用于分割任务,Reduce阶段则负责 阅读全文
摘要:
本周进度报告 时间安排: 学习Hadoop基础框架:8小时 Java Web开发:4小时 解决问题与调试:3小时 本周完成的内容:本周我主要学习了Hadoop技术的基础知识以及Java Web开发的入门内容。Hadoop作为分布式计算的核心框架,其主要组件包括HDFS(分布式文件系统)和MapRed 阅读全文
摘要:
HBase分布式数据库学习:10小时 Java Web项目优化:7小时 Python数据可视化练习:5小时 本周完成的内容:本周我开始学习HBase,它是基于Hadoop的分布式数据库,能够处理大规模数据的高效读写操作。HBase不同于传统的关系型数据库,它采用了NoSQL的存储模式,特别适用于需要 阅读全文
摘要:
Hadoop高可用性学习:10小时Java Web项目日志系统开发:7小时Python数据分析复习:5小时 本周完成的内容:本周我重点学习了Hadoop集群的高可用性(High Availability)配置,尤其是如何通过配置NameNode HA来避免单点故障。在Hadoop的默认配置下,Nam 阅读全文
摘要:
在上周完成了CentOS虚拟机的配置和Hadoop的基本环境搭建之后,本周我进一步配置了YARN、MySQL和Hive。这些步骤的完成,使我对大数据处理和管理工具的使用有了更深入的理解。 配置YARN YARN是Hadoop的资源管理框架,它能够管理集群资源并调度作业。以下是我配置YARN的具体步骤 阅读全文
摘要:
在本阶段的学习中,我主要集中在使用VMware配置CentOS虚拟机,并在此基础上安装和配置Hadoop集群。通过这些步骤,我进一步加深了对虚拟化技术和大数据处理框架的理解。 配置VMware及CentOS虚拟机 首先,我下载并安装了VMware Workstation,这是一个强大的虚拟机管理工具 阅读全文
摘要:
所花时间(包括上课):1 打码量(行):100 博客量(篇):1 了解到知识点:完成全部,学期结束 <template> <view class="container"> <view v-for="(message, index) in historyTextList" :key="index" : 阅读全文