Hadoop-day07 HDFS的读写流程
摘要：HDFS的读写流程（重点！） 写数据 写数据就是将客户端上的数据上传到HDFS 2.6.1 宏观过程 每一个block块都需要进行机架感知，得到block块以及副本的存储DN的节点，然后DN节点之间组成pipeline,然后客户端将block块拆分成多个packet,每个packet大小为64K,然
阅读全文
posted @
2022-06-26 16:30
+1000
阅读(58)
推荐(0) 编辑
Hadoop-day06 Hadoop进程理解
摘要：hadoop相关进程 HDFS相关（NN,DN,SNN） NameNode(NN) NameNode中存储的信息： 1.文件 --> 元数据 元数据包括：名称，大小，时间，权限等等 2.文件 --> Blocks（每128M生成一个Block块） block0 - 111 block1 - 222
阅读全文
posted @
2022-06-26 15:45
+1000
阅读(82)
推荐(0) 编辑
Hadoop-day03 hadoop基本命令
摘要：一、Hadoop环境变量的配置 首先进入linux环境配置的文件 vim /etc/profile 这样就进入配置文件的界面 然后按下英文字母i就可以进入文件的编辑模式，后面输入环境变量的配置： HADOOP_HOME= （hadoop文件的根目录） PATH=.:$HADOOP/bin（Hadoo
阅读全文
posted @
2022-06-24 20:43
+1000
阅读(113)
推荐(0) 编辑
Hadoop-day05 MapReduce案例
摘要：一、统计一段英文短文中个单词的数量 英文短文如下： Convolutional layers are an important part of distinguishing traditional neural networks and play an important role in extra
阅读全文
posted @
2022-06-24 16:45
+1000
阅读(66)
推荐(0) 编辑
Hadoop-day04 MapReduce
摘要：一、MapReduce架构特点 MapReduce1.x JobTracker 主节点，单点，负责调度所有的作用和监控整个集群的资源负载。 TaskTracker 从节点，自身节点资源管理和JobTracker进行心跳联系，汇报资源和获取task。 Client 以作业为单位，规划作业计算分布，提交
阅读全文
posted @
2022-06-23 20:01
+1000
阅读(36)
推荐(0) 编辑
Hadoop-day02 Hadoop集群搭建
摘要：Hadoop集群搭建（完全分布式版本）（三节点） 一、准备工作 三台虚拟机：master、node1、node2 时间同步 ntpdate ntp.aliyun.com 调整时区 cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime jdk1.8 j
阅读全文
posted @
2022-06-22 15:10
+1000
阅读(29)
推荐(0) 编辑
Hadoop-day01 Hadoop基本介绍
摘要：Hadoop2.7.6学习 Hadoop(java) HDFS MapReduce Hadoop三大开源发行版本：Apache、Cloudera（CDH）、Hortonworks（HDP）。Apache版本最原始（最基础）的版本，对于入门学习最好。Cloudera在大型互联网企业中用
阅读全文
posted @
2022-06-22 15:00
+1000
阅读(104)
推荐(0) 编辑
