2024年8月
第六周总结
摘要： 本周我着眼于大数据技术的未来发展趋势。随着技术的进步，Hadoop生态系统也在不断发展和完善。新的工具和技术不断涌现，例如Apache Flink、Apache Kafka等，它们提供了更高效的数据处理能力。此外，机器学习和人工智能的发展也对大数据技术产生了深远影响。越来越多的企业开始利用大数据技术 阅读全文
posted @ 2024-08-17 21:18 混沌武士丞 阅读(1) 评论(0) 推荐(0) 编辑
第五周总结
摘要： 本周我进一步探索了Hadoop生态系统中的其他工具和技术。除了核心的HDFS和MapReduce之外，我还学习了Hive、Pig和Spark等工具。Hive提供了SQL-like查询语言HiveQL，使用户能够轻松进行数据提取、转换和加载（ETL）。Pig则提供了一种脚本语言Pig Latin，用于 阅读全文
posted @ 2024-08-10 18:33 混沌武士丞 阅读(1) 评论(0) 推荐(0) 编辑
第四周总结
摘要： 本周我专注于学习如何部署和管理Hadoop集群。首先，我了解了Hadoop集群的不同部署模式，包括单机模式、伪分布式模式以及完全分布式模式。接着，我学习了如何配置Hadoop环境，包括设置Hadoop的环境变量、配置core-site.xml等配置文件。我还学习了如何监控和管理集群的性能，例如使用H 阅读全文
posted @ 2024-08-04 20:25 混沌武士丞 阅读(1) 评论(0) 推荐(0) 编辑
2024年7月
第三周总结
摘要： 本周我深入了解了Hadoop的核心组件——HDFS和MapReduce。HDFS采用主从架构，NameNode作为主节点管理文件系统的命名空间和客户端对文件的访问，DataNode作为从节点存储实际的数据块。HDFS设计有多个副本以确保数据的可靠性。MapReduce则是一种分布式计算模型，它通过M 阅读全文
posted @ 2024-07-28 20:12 混沌武士丞 阅读(1) 评论(0) 推荐(0) 编辑
第二周总结
摘要： 本周我专注于深入理解Hadoop的架构及其实现大规模数据处理的核心机制。开始于周一，我通过阅读官方文档，掌握了HDFS和MapReduce的基本概念。随后，在我的Ubuntu虚拟机上搭建了Hadoop的伪分布式环境，这一过程涉及JDK和SSH的安装配置，以及Hadoop核心配置文件的编辑。 周三成功 阅读全文
posted @ 2024-07-13 20:39 混沌武士丞 阅读(5) 评论(0) 推荐(0) 编辑
7.8
摘要： 今天学习时间 1小时 代码半小时 主要在vm里克隆了三个虚拟机 并且实现主机用户之间的SSH免密登录互通 还有每个主机的IP设置 映射等等 配置主机名映射：首先，修改/etc/hosts文件，将服务器和主机名进行映射。这样可以在各自服务器下通过主机名访问对应的IP地址。这一步是为了方便管理和识别不同 阅读全文
posted @ 2024-07-08 16:52 混沌武士丞 阅读(2) 评论(0) 推荐(0) 编辑
7.7
摘要： 今天主要完成数据结构第二阶段的作业 迷宫问题 学习时间2小时 代码时间1小时 #include <stdio.h>#include <malloc.h>#define STACK_INIT_SIZE 100#define STACKINCREMENT 10 //记录通道块在迷宫矩阵当中的横、纵坐标s 阅读全文
posted @ 2024-07-07 16:41 混沌武士丞 阅读(4) 评论(0) 推荐(0) 编辑
暑假第一周总结
摘要： 在过去的一周里，我对大型数据库技术有了初步的认识。大数据是指无法用传统数据处理工具有效处理的海量、高速、多样化的信息资产。Hadoop作为一个主流的大型数据库处理框架，其核心组件包括HDFS（Hadoop Distributed File System）和MapReduce。HDFS是一种分布式文件 阅读全文
posted @ 2024-07-06 21:20 混沌武士丞 阅读(1) 评论(0) 推荐(0) 编辑
7.6
摘要： 今天 配置了finalshell远程连接linux 并且 学了文件类指令 学习时间：两小时 代码时间:半小时 1) pwd显示当前工作目录 2）、ls 列出目录的内容 ls：列出当前目录中的文件和子目录。 ls -l：以长格式列出当前目录中的文件和子目录，包括文件权限、所有者、文件大小、修改日期等详 阅读全文
posted @ 2024-07-06 16:55 混沌武士丞 阅读(3) 评论(0) 推荐(0) 编辑
7.5
摘要： 今天学了linux的基础操作 学习时间一小时 阅读全文
posted @ 2024-07-05 22:25 混沌武士丞 阅读(2) 评论(0) 推荐(0) 编辑
下一页