07 2024 档案
摘要:本周我深入了解了Hadoop的核心组件——HDFS和MapReduce。HDFS采用主从架构,NameNode作为主节点管理文件系统的命名空间和客户端对文件的访问,DataNode作为从节点存储实际的数据块。HDFS设计有多个副本以确保数据的可靠性。MapReduce则是一种分布式计算模型,它通过M
阅读全文
摘要:本周我专注于深入理解Hadoop的架构及其实现大规模数据处理的核心机制。开始于周一,我通过阅读官方文档,掌握了HDFS和MapReduce的基本概念。随后,在我的Ubuntu虚拟机上搭建了Hadoop的伪分布式环境,这一过程涉及JDK和SSH的安装配置,以及Hadoop核心配置文件的编辑。 周三成功
阅读全文
摘要:今天学习时间 1小时 代码半小时 主要在vm里克隆了三个虚拟机 并且实现主机用户之间的SSH免密登录互通 还有每个主机的IP设置 映射等等 配置主机名映射:首先,修改/etc/hosts文件,将服务器和主机名进行映射。这样可以在各自服务器下通过主机名访问对应的IP地址。这一步是为了方便管理和识别不同
阅读全文
摘要:今天主要完成数据结构第二阶段的作业 迷宫问题 学习时间2小时 代码时间1小时 #include <stdio.h>#include <malloc.h>#define STACK_INIT_SIZE 100#define STACKINCREMENT 10 //记录通道块在迷宫矩阵当中的横、纵坐标s
阅读全文
摘要:在过去的一周里,我对大型数据库技术有了初步的认识。大数据是指无法用传统数据处理工具有效处理的海量、高速、多样化的信息资产。Hadoop作为一个主流的大型数据库处理框架,其核心组件包括HDFS(Hadoop Distributed File System)和MapReduce。HDFS是一种分布式文件
阅读全文
摘要:今天 配置了finalshell远程连接linux 并且 学了文件类指令 学习时间:两小时 代码时间:半小时 1) pwd显示当前工作目录 2)、ls 列出目录的内容 ls:列出当前目录中的文件和子目录。 ls -l:以长格式列出当前目录中的文件和子目录,包括文件权限、所有者、文件大小、修改日期等详
阅读全文
摘要:今天主要配置虚拟机上linux系统的网卡配置 学习时间1小时 代码半小时
阅读全文
摘要:今天跟着黑马学习大数据技术 学习用时1小时 解决问题1小时 没打代码 大数据技术首先要掌握linux技术 于是去安装了虚拟机 部署了Linux系统 解决的问题就是 安装过程 和配置过程的问题
阅读全文
摘要:今天把数据结构的第一阶段作业写完了 学习用时2小时 代码用时1小时 首先搜资料然后 手敲复刻代码 遇到的问题 是重新移盘之后的visual studio不能用的 重新安装后 也会报错 需要去注册表删除路径重置。 明天准备学习大数据技术。 下面是代码 7-13 中缀表达式转换为后缀表达式并求值 #in
阅读全文