摘要：
1、数据库操作 1、进入 hbase 客户端、帮助命令 [hui@hadoop201 conf]$ hbase shell help 2、查看所有库 namespace 也称之为 命名空间 hbase:008:0> list_namespace NAMESPACE default hbase hba 阅读全文
摘要：
1、部署说明 1.1、Java 版本 集群安装的jdk 版本是 [hui@hadoop201 ~]$ chkall.sh echo $JAVA_HOME hadoop201 /opt/module/jdk1.8 hadoop202 /opt/module/jdk1.8 hadoop203 /opt/ 阅读全文
摘要：
1、Hbase 简介 1.1、Hbase 定义 hbase 是一种基于 HDFS 存储的 分布式、可扩展、支持海量数据存储的NoSQL数据库。可以实现，对海量数据的增删改查、 NoSQL = Not Only SQL,Hbase 源于 谷歌的 Bigtable 的开源，依赖于 Hadoop 的 hd 阅读全文
摘要：
问题场景 今天刚装完hbase,启动后，主节点的 HMaster 直接挂了，但是 backup-masters 启动了，查看了 主节点的 master 的日志如下： 2022-05-09 15:51:16,355 INFO [Thread-14] wal.ProcedureWALFile: Arch 阅读全文
摘要：
1、数据采集——maxwell 实现 1.1、maxwell 介绍 Maxwell 是由美国zendesk开源，用java编写的Mysql实时抓取软件，其抓取的原理也是基于binlog。 1.2、maxwell 与 canal 对比 Maxwell没有canal那种server+client模式，只 阅读全文
摘要：
问题场景 今天在装 hbase ，刚配置环境变量source 后 发现常用的命令都无法使用了 [hui@hadoop201 ~]$ ll -bash: ls: command not found [hui@hadoop201 ~]$ ls -bash: ls: command not found 问 阅读全文
摘要：
1、需求分析 1.1、当日新增付费用户分析 按省份|用户性别|用户年龄段，统计当日新增付费用户首单平均消费及人数占比无论是省份名称、用户性别、用户年龄，订单表中都没有这些字段，需要订单（事实表）和维度表（省份、用户）进行关联，形成宽表后将数据写入到ES，通过Kibana进行分析以及图形展示。 1.2 阅读全文
摘要：
1、需求分析&实现思路 1.1、用户首次登录趋势图 从项目的日志中获取用户的启动日志，如果是当日第一次启动，纳入统计。将统计结果保存到ES中，利用Kibana进行分析展示 1.2、实现思路 第一步：SparkStreaming 消费Kafka数据：Kafka作为数据来源，从kafka中获取日志，ka 阅读全文
摘要：
今天把项目所需一些工具类进行封装，主要包括一下工具类 配置文件加载工具 ES相关工具 Redis 工具 kafka 工具 Offset 维护工具 1、配置文件加载工具类 配置文件主要记录些 redis kfka 等相关组件的配置信息，需要有一个工具来对配置文件进行加载。 import java.io 阅读全文
摘要：
今天主要介绍ES API 1、准备工作 1.1、创建 maven 工程引入依赖 <!--Java操作ES的客户端工具Jest--> <dependency> <groupId>io.searchbox</groupId> <artifactId>jest</artifactId> <version> 阅读全文