随笔分类 - 大数据
摘要：目录 HBASE 基本操作 hbase shell：进入hbase shell环境 status命令：查看集群状态 version：查看版本信息 create：创建表 drop 删除表 list：查看所有表 desc ：查看表结构 exists ：查看表是否存在 表的启动和禁用 列簇的增删改 插入数
阅读全文
摘要：本次部署方式：编译安装redis 5.0.3 redis部署目录：/usr/local [ec2@redis local]$ cd /usr/local 下载redis 5.0.3压缩包 [ec2@redis local]$ sudo wget http://download.redis.io/re
阅读全文
摘要：目录 1、什么是Canal？ canal产生的背景： canal工作原理主要是利用了mysql的主从复制原理： canal工作原理： 实验环境： 实验目的： 2、mysql的安装部署 mysql下载路径： 开启二进制日志 配置mysql slave的权限 3、kafka的安装部署 kafka下载路径
阅读全文
摘要：目录 1、下载HBase二进制源码包 2、配置环境变量 3、配置ZooKeeper和Hbase配置项 4、修改regionservers文件 5、修改冲突jar包 6、查看相关进程是否启动 7、访问hbase页面 部署集群： 192.168.20.11 node1 192.168.20.12 nod
阅读全文
摘要：目录 1、下载apache-zookeeper包 2、修改配置 3、添加服务器id 4、启动ZooKeeper集群 5、客户端连接 6、添加新节点： 部署ZooKeeper集群之前请先部署jdk 使用hadoop用户部署ZooKeeper集群 1、下载apache-zookeeper包 部署机器：
阅读全文
摘要：目录 1、YARN是一个通用资源管理系统和调度平台 2、YARN架构 ResourceManager(RM) NodeManager（NM） ApplicationMaster（AM） 3、程序提交YARN交互流程 4、YARN资源调度器Scheduler Capacity Scheduler 特性
阅读全文
摘要：目录 HDFS文件系统 1、文件系统定义 2、大数据时代，面对海量数据，传统的文件存储系统会面临哪些挑战？ 3、分布式存储系统的核心属性及功能含义 一、分布式存储的优点 二、元数据记录的功能 三、分块存储好处 四、副本机制的作用 4、HDFS简介 HDFS适用场景 5、HDFS主从架构 分块存储 副
阅读全文
摘要：目录 Hadoop集群安装部署 1、集群环境准备 2、建立免密通道 3、集群时间同步 4、jdk1.8安装 5、hadoop安装部署 6、Hadoop配置文件配置 7、格式化操作 8、启动hadoop集群 启动HDFS集群： 启动YARN集群 9、访问HDFS的web页面（端口9870） 10、访问
阅读全文
摘要：目录 1、Hadoop是什么 1.1、狭义上的Hadoop： 1.2、广义上的Hadoop： 1.3、Hadoop核心组件： 2、Hadoop特性优点 3、Hadoop架构变迁 4、Hadoop集群 HDFS集群和YARN集群逻辑上分离，物理上一起 1、Hadoop是什么 1.1、狭义上的Hadoo
阅读全文
