09 2021 档案
摘要：一、服务集群版本 hadoop 2.8.1 hbase 2.0.5 hive 3.1.2 java 1.8.0 kafka 2.11.0 maxwell 1.25.0 nginx 1.12.2 phoenix 5.0.0 zookeeper 3.4.10 二、启动服务节点 三、在navicat中建库
阅读全文
摘要：在centos 7 上安装 mysql 包如下错误： 解决方法： 执行下面这条命令，安装perl依赖 yum install -y perl-Module-Install.noarch 完成后，再次安装，报如下错误：net-tools 被 MySQL-server-5.6.25-1.el6.x86_
阅读全文
摘要：一、基本操作 1.进入HBase客户端命令 bin/hbase shell 2.查看帮助命令 help 3.查看当前数据库中有那些表 list 二、表的操作 1.创建表 create 'student','info' 2.插入数据到表中 > put 'student','1001','info:se
阅读全文
摘要：一、前提：已经安装了ZK、KAFKA、Hadoop 二、架构图： hadoop101 hadoop102 hadoop103 HDFS NameNode SecondaryNameNode DataNode DataNode DataNode YARN ResourceManager NodeMan
阅读全文
摘要：问题： 解决办法： 一、找不到主类 错误: 找不到或无法加载主类 com.*.App 修改成自己的项目就可以了； 二、java 找不到符号 三、（解决了我的问题，程序可以跑起来的办法） java: You aren't using a compiler supported by lombok, so
阅读全文
摘要：前言：已经安装了ZK、HADOOP、HBASE 一、下载tar包 http://phoenix.apache.org/download.html 二、安装 1.解压 tar -zxvf phoneix-4.14.0-hbase-1.13.1-bin-tar.gz -C /opt/module/ 2.
阅读全文
摘要：前言：接上一篇 需求描述：数据类型分别是页面数据、曝光数据、启动数据，分成三个流写入Kafka // 5.使用侧输出流将 启动、曝光、页面数据分流 OutputTag<String> startoutputTag = new OutputTag<String>("start"){ }; Output
阅读全文
摘要：前言：接上一篇 1.需求描述：识别新老用户 本身客户端业务有新老用户的标识，但是不够准确，需要用实时计算再次确认（不涉及业务操作，只是单纯的做个状态确认） 2.利用侧输出流实现数据拆分 根据日志数据内容，将日志数据分成3类，页面日志、启动日志和曝光日志。页面日志输出到主流，启动日志输出到启动侧输出流
阅读全文
摘要：环境安装： 1.jdk 2.Zookeeper 3.Kafka 4.maven 5.开启Mysql的binlog 一、binlog监控Mysql的库 二、编写FlinkCDC程序 1.添加pom文件 <?xml version="1.0" encoding="UTF-8"?> <project xm
阅读全文
摘要：分析 去本地仓库，检查是否有该jar包${user.home}/.m2 去远程仓库查看，检查是否有该版本的jar包 通过对比，发现远程仓库里有了最新版本的路径，但是里面确没有jar包。 解决 通过分析，可以总结如下：spring-boot-maven-plugin没有设置version，它会先去远程
阅读全文
