jsqup

2022年9月15日

摘要：日期模拟 import java.text.SimpleDateFormat; import java.util.Calendar; import java.util.Date; import java.util.Random; public class DataUtil { public stat 阅读全文

posted @ 2022-09-15 10:13 jsqup 阅读(59) 评论(0) 推荐(0)

1.项目流程

摘要：图阅读全文

posted @ 2022-09-15 10:08 jsqup 阅读(29) 评论(0) 推荐(0)

2022年9月13日

hbase读写流程

摘要：读流程 1) HRegionServer保存着meta表以及表数据，要访问表数据，首先Client先去访问zookeeper，从zookeeper里面获取meta表所在的位置信息，即找到这个meta表在哪个HRegionServer上保存着。 2) 接着Client通过刚才获取到的HRegionSe 阅读全文

posted @ 2022-09-13 10:20 jsqup 阅读(33) 评论(0) 推荐(0)

2022年9月12日

HBase命令行操作

摘要： hbase安装完成之后，给我们提供了一个命令行客户端，hbase shell 命名空间有关的命令：namespace组增删改查 create_namespace "demo" # 创建一个demo的命名空间 drop_namespace "demo" # 删除一个demo的命名空间 list_na 阅读全文

posted @ 2022-09-12 22:37 jsqup 阅读(241) 评论(0) 推荐(0)

HBase概述

摘要： 1. 概述 HBase是基于Hadoop的一个非关系型数据库（NoSQL数据库），HBase存储底层也是基于HDFS存储的。HBase和Hive很像，Hive是数据仓库 2. HBase中的基本概念 NameSpace:类似于关系型数据库的Database，每个命名空间下有多个表 Table:表名阅读全文

posted @ 2022-09-12 17:03 jsqup 阅读(67) 评论(0) 推荐(0)

2022年9月9日

SparkStandalone--HA搭建

摘要：不需要设置master在哪个节点上，只要在配置了HA模式的Spark集群上，任何一台机器都可以启动Master 需要先启动zookeeper zkServer.sh start 三台节点 [root@node1 conf]# pwd /opt/app/spark-2.3.1/conf [root@n 阅读全文

posted @ 2022-09-09 17:22 jsqup 阅读(47) 评论(0) 推荐(0)

Zookeeper--HA搭建

摘要： 1. 上传zookeeper解压： tar -zxvf zookeeper-3.4.5.tar.gz 2. 修改配置文件[三台节点] [node123]# cd /opt/app/data/zookeeper-3.4.5/conf/ [node123]# mv zoo_sample.cfg zoo. 阅读全文

posted @ 2022-09-09 15:45 jsqup 阅读(42) 评论(0) 推荐(0)

Kafka--HA搭建

摘要： [123]zkServer.sh start [node123]# tar -xvf kafka_2.11-0.8.2.1.tgz [node123]# cd kafka_2.11-0.8.2.1/config [node123]# vi server.properties { broker.id= 阅读全文

posted @ 2022-09-09 15:45 jsqup 阅读(25) 评论(0) 推荐(0)

YARN-HA搭建

posted @ 2022-09-09 15:38 jsqup 阅读(35) 评论(0) 推荐(0)

HBASE-HA搭建

摘要： Zookeeper集群的正常部署，并启动[三个节点] zkServer.sh start Hadoop集群的正常部署并启动[三个节点] start-dfs.sh start-yarn.sh HBASE高可用搭建 hbase-env.sh export JAVA_HOME=/opt/app/jdk1. 阅读全文

posted @ 2022-09-09 11:41 jsqup 阅读(69) 评论(0) 推荐(0)

公告