09 2020 档案
摘要：这些天做HBase，但是遇到Hbase连接上之后读取数据的时候，一直卡在那儿，程序既不报错也不结束，让我好生纠结，困扰我一整天。现在问题终于解决，现在写了一段Demo代码，具体如下： public static void main(String[] args) throws IOException
阅读全文
摘要：错误 i was trying to run the “cross component lineage with Apache Atlas, across apache sqoop, storm and hive” using your Tutorial (VM), but I encountere
阅读全文
摘要：Griffin 入门 1 Griffin 概述 Apache Griffin 是一个开源的大数据数据质量解决方案，它支持批处理和流模式两种数据质量检测方式，可以从不同维度度量数据资产，从而提升数据的准确度和可信度。例如： 离线任务执行完毕后检查源端和目标端的数据数量是否一致，源表的数据空值等。 2
阅读全文
摘要：pom.xml 里面添加 <!-- Java Compiler --><plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-compiler-plugin</artifactId> <version>3.1</v
阅读全文
摘要：1.第一种方法 当存储路径与表所在路径不一致时，可以load进去，如果表中字段类型不对应，该字段的值将会为空 load data inpath 'hdfs://hadoop01:9000/tmp/sales_info.txt' overwrite into table sales_info part
阅读全文
摘要：这个工具可以说是非常好用的，既可以连接Hive 有可以连接Mysql,如果你还在寻找sqlyog的破解版，我跟你说，这款工具绝对超sqlyog一万倍，强烈推荐！！！！，关键是他还集成了navicat的ER图关系，navicat也都用过，除了图关系做的比较好，其他的功能都显的很鸡肋。 连接Hive:数
阅读全文
摘要：1 高可用 在 HBase 中 HMaster 负责监控 HRegionServer 的生命周期，均衡 RegionServer 的负载，如果 HMaster 挂掉了，那么整个 HBase 集群将陷入不健康的状态，并且此时的工作状态并 不会维持太久。所以 HBase 支持对 HMaster 的高可用
阅读全文
该文被密码保护。
该文被密码保护。
摘要：shell脚本报错/bin/bash^M: bad interpreter: No such file or directory，通过查阅资料得知，shell脚本格式必须是unix才行，但我这个脚本是在windows上编写完成传到Linux服务器上的，所以一执行就报错： windows环境下的文件是
阅读全文
该文被密码保护。
摘要：hive-site.xml配置错误，提示文件sparkeventlog不存在，每次涉及HDFS路径参数的时候，添加core-site.xml中 fs.defaultFS 对应的 {hostname}:port 信息。例如，之前关于sparkeventlog的配置参数是这样子的：/user/hive/
阅读全文
摘要：问题原因：证书不在有效期，linux系统时间不对。解决办法：将linux系统时间修改成当前时间
阅读全文
摘要：Exception in thread "main" java.io.IOException: Failed on local exception: org.apache.hadoop.ipc.RpcException: RPC response exceeds maximum data lengt
阅读全文
摘要：1 mysql的准备 1.1 导入模拟业务数据库 1.2 赋权限 在mysql中执行 GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%' IDENTIFIED BY 'canal' ; 1.3 修改/et
阅读全文
摘要：1 什么是 canal 阿里巴巴B2B公司，因为业务的特性，卖家主要集中在国内，买家主要集中在国外，所以衍生出了杭州和美国异地机房的需求，从2010年开始，阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务。 canal是用java开发的基于数据库增
阅读全文
摘要：1 建表 连接hadoop103mysql数据库，利用navicat导入mysql脚本，建立表 1）gmall0105.sql 2）base_province表数据.sql 2 生成数据并导入到数据库中 三个文件放在同一个文件夹下 1）修改保存application.properties loggi
阅读全文
摘要：1 拷贝日志生成jar包到虚拟机的某个目录 2 修改application.properties # 外部配置打开 # logging.config=./logback.xml #业务日期 mock.date=2020-05-16 #模拟数据发送模式 mock.type=http #http模式下，
阅读全文
摘要：3.1 Nginx 入门 3.1.1简介 Nginx ("engine x") 是一个高性能的HTTP和反向代理服务器,特点是占有内存少，并发能力强，事实上nginx的并发能力确实在同类型的网页服务器中表现较好，中国大陆使用nginx网站用户有：百度、京东、新浪、网易、腾讯、淘宝等。 3.1.2 N
阅读全文
摘要：2 日志采集模块打包部署 (部署到服务器) 2.1 修改logback中的配置文件 <?xml version="1.0" encoding="UTF-8"?> <configuration> <property name="LOG_HOME" value="/opt/applog/gmall010
阅读全文
摘要：1.1 springboot简介 Spring Boot 是由 Pivotal 团队提供的全新框架，其设计目的是用来简化新 Spring 应用的初始搭建以及开发过程。 该框架使用了特定的方式来进行配置，从而使开发人员不再需要定义样板化的配置。 1.1.1有了springboot 我们就可以… 1 不
阅读全文
摘要：1 父工程 gmall2020-parent 1.1 建立工程 (课堂中命名可能与课件中不一致) 2 pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" x
阅读全文
摘要：1 实时需求概览 1.1 实时需求与离线需求的比较 离线需求，一般是根据前一日的数据生成报表，虽然统计指标、报表繁多，但是对时效性不敏感。 实时需求，主要侧重于对当日数据的实时监控，通常业务逻辑相对离线需求简单一下，统计指标也少一些，但是更注重数据的时效性，以及用户的交互性。 1.2 需求明细 1.
阅读全文
摘要：环境：ubuntu 源于一次项目需要修改系统时间，但是每次修改后又被同步回网络时间，找了好久发现是这个原因： NTP即Network Time Protocol（网络时间协议），是一个互联网协议，用于同步计算机之间的系统时钟。timedatectl程序可以自动同步Linux系统时钟到使用NTP的远程
阅读全文
摘要：可视化任务创建是如何完成的 Tableau可视化制作的流程 初级分析师的可视化任务
阅读全文
摘要：什么是可视化 案例 为什么可视化 案例 可视化的客观性 Tableau优势
阅读全文
