摘要：
HDFS上传脚本实例： HDFS下载实例： 阅读全文
摘要：
一、HDFS的新特性HA (一)HDFS的HA机制 Hadoop 2.2.0 版本之前，NameNode是HDFS集群的单点故障点，每一个集群只有一个NameNode ，如果这个机器或者进程不可用，整个集群就无法使用，直到重启NameNode或者新重启一个NameNode节点 。 影响HDFS集群不 阅读全文
摘要：
1 HDFS简介 1.1 Hadoop 2.0介绍 Hadoop是Apache的一个分布式系统基础架构，可以为海量数据提供存储和计算。Hadoop 2.0即第二代Hadoop系统，其框架最核心的设计是HDFS、MapReduce和YARN。其中，HDFS为海量数据提供存储，MapReduce用于分布 阅读全文
摘要：
前言 最近刚接触Hadoop, 一直没有弄明白NameNode和Secondary NameNode的区别和关系。很多人都认为，Secondary NameNode是NameNode的备份，是为了防止NameNode的单点失败的，直到读了这篇文章Secondary Namenode - What i 阅读全文
摘要：
Flink概述 Apache Flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。Flink设计为在所有常见的集群环境中运行，以内存速度和任何规模执行计算。 Flink特点 1)随处部署应用与其它组件集成！flink是分布式系统，需要计算资源才可执行程序。flink可以与常见 阅读全文
摘要：
1.hdfs的客户端 1）.网页形式->测试用 http://192.168.37.129:50070/dfshealth.html#tab-overview 2）.命令行形式->测试用 3）.企业级API 2.命令行形式 1）查看帮助 hdfs dfs -help 2）查看当前目录信息 hdfs 阅读全文
摘要：
1.Linux的目录结构 bin:存放二进制的可执行文件 sbin:存放二进制的可执行文件，只有root才能访问 etc:存放系统配置文件 usr:用于存放共享的系统资源（约定俗称） home:存放用户文件的根目录 root:超级用户的目录 dev:用于存放设备文件 lib:存放根本文件系统中的程序 阅读全文
摘要：
HBase上RegionServer的cache主要分为两个部分，分别是memstore&blockcache，其中memstore主要用于写缓存，而blockcache用于读缓存。 当数据写入hbase时，会先写入memstore，RegionServer会给每个region提供一个memstor 阅读全文
摘要：
1-> 集群的准备工作 1）关闭防火墙(进行远程连接) firewall-cmd --state -- 显示centOS7防火墙状态 systemctl stop firewalld -- 关闭防火墙 systemctl disable firewalld -- 禁止开机自启动 2）永久修改设置主机 阅读全文