随笔分类 - hadoop
摘要：public class WordCount { //map读取数据的key类型定死是LongWritable,代表的是行号,从0开始,value是一行数据，Text static class MyMapper extends Mapper<LongWritable, Text, Text, Lon
阅读全文
摘要：问题分析： 单个reduce可能存在数据量过多导致数据倾斜 解决办法： 1、对数据的key加上随机前缀，让他们的hash值发生变化，分布一些到其他reduce里面去 2、适当增加reduce个数
阅读全文
摘要：MapReduce的计算流程 1.1 原始数据File The books chronicle the adventures of the adolescent wizard Harry Potter and his best friends Ron Weasley and Hermione Gra
阅读全文
摘要：1、防火墙 service firewalld stop2、时间同步 yum install ntp ntpdate -u s2c.time.edu.cn 或者 date -s 20180503 3、免密钥 (远程执行命令) 在两个主节点生成密钥文件 ssh-keygen -t rsa ssh-co
阅读全文
摘要：一、搭建高可用集群 1.1 zookeeper搭建 1、上传安装包到master并解压 tar -xvf zookeeper-3.4.6.tar.gz 2、配置环境变量 vim /etc/profile export ZOOKEEPER_HOME=/usr/local/soft/zookeeper-
阅读全文
摘要：一、Hadoop-HA 1.1 Hadoop1.x带来的问题 1、单点故障 a. 每个群集只有一个NameNode，NameNode存在单点故障（SPOF）。 b. 如果该计算机或进程不可用，则整个群集在整个NameNode重新启动或在另一台计算机上启动之前将不可用 c. 如果发生意外事件（
阅读全文
摘要：一、写数据 写数据就是将客户端上的数据上传到HDFS 1.1 宏观过程 1.客户端向HDFS发送写数据请求 hdfs dfs -put students.txt /shujia/ 2. Filesystem通过rpc调用namenode的put方法 a. nn首先检查是否有足够的空间权限等条件创建这
阅读全文
摘要：进程理解 HDFS相关（NN,DN,SSN） NameNode(NN) 功能： 1、接受客户端的读/写服务 因为NameNode知道数据文件与DataNode的对应关系 2、保存文件的时候会保存文件的元数据信息 a. 文件的归属 b. 文件的权限 c. 文件的大小，时间 d. Block信息，但是b
阅读全文
摘要：一、搭建Hadoop集群 NameNode：接受客户端的读/写服务,收集 DataNode 汇报的 Block 列表信息 DataNode：真实数据存储的地方（block） SecondaryNameNode：做持久化的时候用到 进程master（主）node1（从）node2（从） NameNod
阅读全文
摘要：一、分布式文件系统 1、FS File System 文件系统时极域硬盘之上的文件管理的工具 我们用户操作文件系统可以和硬盘进行解耦 2、DFS Distributed File System 分布式文件系统 将我们的数据存放在多台电脑上存储 分布式文件系统有很多,HDFS(Hadoop Distr
阅读全文
