随笔分类 - Hadoop
Hadoop环境搭建
摘要：一、MapReduce案例 1.1 好友推荐系统 固定类别推荐 莫扎特 >钢琴 >贝多芬 >命运交响曲 数据量 QQ好友推荐 > 每个QQ200个好友 5亿QQ号 解决思路： 需要按照行进行计算 将相同推荐设置成相同的key，便于reduce统一处理 数据： tom hello hadoop cat
阅读全文
摘要：一、MapReduce设计理念 map >映射 reduce >归纳 mapreduce必须构建在hdfs之上的一种大数据离线计算框架 在线：实时数据处理 离线：数据处理时效性没有在线那么强，但是相对也需要很快得到结果 mapreduce不会马上得到结果，他会有一定的延时（磁盘IO） 如果数据量小，
阅读全文
摘要：一、Hadoop-HA 1.1 Hadoop1.x带来的问题 1、单点故障 a. 每个群集只有一个NameNode，NameNode存在单点故障（SPOF）。 b. 如果该计算机或进程不可用，则整个群集在整个NameNode重新启动或在另一台计算机上启 动之前将不可用 c. 如果发生意外事件
阅读全文
摘要：进程理解 HDFS相关进程理解（NN,DN,SSN） NameNode中存放的是数据文件与元数据的映射信息，数据文件和block快的映射信息，block块和DataNode的映射信息，前两者存放在磁盘里，Hadoop stop后不会消失，第三个存放在内存中，会消失；DataNode通过PING P
阅读全文
摘要：Hadoop中常见的shell命令 1、如何将Linux本地的数据上传到HDFS中？ hadoop fs -put 本地的文件 HDFS中的目录hdfs dfs -put 本地的文件 HDFS中的目录 2、如何创建HDFS中的文件夹？ 需求：想创建/shujia/bigdata17 hadoop f
阅读全文
摘要：基础配置 1、关闭防火墙 systemctl stop firewalld.service #停止firewall systemctl disable firewalld.service #禁止firewall开机启动 查看防火墙状态 firewall-cmd --state systemctl s
阅读全文
