Hadoop——HDFS异构存储&HBase冷热分离
摘要：前言 总体上HDFS异构存储的价值在于，根据数据热度采用不同策略从而提升集群整体资源使用效率。 对于频繁访问的数据，将其全部或部分保存在更高访问性能的存储介质（内存或SSD）上，提升其读写性能； 对于几乎不会访问的数据，保存在归档存储介质上，降低其存储成本。 但是HDFS异构存储的配置需要用户对目录
阅读全文
posted @ 2020-09-09 09:43
随笔分类 - Hadoop
Hadoop、Spark——完全分布式HA集群搭建
摘要：前言 完全分布式就是把Hadoop核心组件分开部署到不同的服务器节点上运行。 通常，建议HDFS和YARN以单独的用户身份运行。在大多数安装中，HDFS进程以“hdfs”执行。YARN通常使用“yarn”帐户。 搭建分为四个阶段，每一个是环境准备，第二个是Zookeeper集群的搭建，第三是Hado
阅读全文
posted @ 2020-08-26 10:53
Hadoop——集群参数配置详解
摘要：一、配置文件 在hadoop集群中，需要配置的文件主要包括四个，分别是core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml， 这四个文件分别是对不同组件的配置参数，主要内容如下表所示： 二、配置时重要参数 1、core-site.xml
阅读全文
posted @ 2020-08-26 10:52
Spark——需要HADOOP来运行SPARK吗？
摘要：前言 Spark，是分布式计算平台，是一个用scala语言编写的计算框架，基于内存的快速、通用、可扩展的大数据分析引擎。 Hadoop，是分布式管理、存储、计算的生态系统；包括HDFS（存储）、MapReduce（计算）、Yarn（资源调度）。 Hadoop和Apache Spark都是当今蓬勃发展
阅读全文
posted @ 2020-08-05 15:37
Hadoop——常用命令
摘要：查询 hadoop dfs -ls / hadoop dfs -ls -R / 注：-R 是递归查询 创建目录 hadoop dfs -mkdir /test 创建文件 hadoop dfs -touchz /aa.txt 查看文件内容 hadoop dfs -cat /test/aa.txt 上传
阅读全文
posted @ 2020-08-05 15:35
Hadoop管理与监控——安全模式（safemode）
摘要：启动Hadoop和HBase之后，执行jps命令，已经看到有HMaster的进程，但是进入到监控界面查看，没有节点信息： 进入到logs目录查看master的日志：发现一直显示下面的内容： 原来是Hadoop在刚启动的时候，还处在安全模式造成的，稍等片刻会自动退出安全模式。 为什么NameNode会
阅读全文
posted @ 2019-12-30 15:25
Hadoop集群安装压缩工具Snappy，用于Hbase
摘要：最近项目中要用到Hadoop和Hbase，为了节省服务器的存储成本，并提高吞吐，安装并开启HBase的数据压缩为Snappy。 主流的HBase压缩方式有GZip | LZO | Snappy，Snappy的压缩比会稍微优于LZO。相比于gzip，Snappy压缩率不如gzip，但是压缩和解压缩速度
阅读全文
posted @ 2019-07-30 15:31
Hadoop、Hbase —— 服务启动、验证、停止
摘要：一、Hadoop 1、启动Hadoop 启动过程如下： 2、验证Hadoop是否启动成功 2.1、在主节点上用jps命令可以看到SecondaryNameNode和NameNode进程： 2.2、在任一子节点上hadoop2或者hadoop3用jps命令可以查看到DataNode进程 2.3、作为进
阅读全文
posted @ 2019-07-30 11:22
