数仓采集通道的设计
摘要：数仓采集通道的设计 文章目录 数仓采集通道的设计写在前面方案一：方案二：方案三：最终方案 写在前面 离线和实时数仓共用一套数据采集通道系统数据采集存储到HDFS上完全分布式（三台节点） 方案一： (node01)Flume（TailDir Source） + Kafka Channel + HDFS
阅读全文
posted @
2022-10-17 05:30
WHYBIGDATA
阅读(37)
推荐(0) 编辑
Hive执行脚本: Return Code 2 from org.apache.hadoop.hive.ql.exec.MapRedTask
摘要：Hive执行脚本: Return Code 2 from org.apache.hadoop.hive.ql.exec.MapRedTask 文章目录 Hive执行脚本: Return Code 2 from org.apache.hadoop.hive.ql.exec.MapRedTask0. 写
阅读全文
posted @
2022-09-22 18:41
WHYBIGDATA
阅读(128)
推荐(0) 编辑
jps查看进程出现「xxxx -- process information unavailable」
摘要：jps查看进程出现「xxxx – process information unavailable」 文章目录 jps查看进程出现「xxxx -- process information unavailable」0. 写在前面1. 报错2. 参考 0. 写在前面 实验背景：离线数仓使用Kerberos
阅读全文
posted @
2022-09-19 05:30
WHYBIGDATA
阅读(37)
推荐(0) 编辑
离线数仓之Kerberos基本使用及问题记录
摘要：离线数仓之Kerberos基本使用及问题记录 文章目录 离线数仓之Kerberos基本使用及问题记录0. 写在前面1. Kerberos基本使用0. 启动Kerberos相关服务1. 安全模式下启动Hadoop集群 2. 安装Kerberos客户端访问HDFS页面0. Windows下安装MIT K
阅读全文
posted @
2022-09-18 05:30
WHYBIGDATA
阅读(80)
推荐(0) 编辑
关于Presto对lzo压缩的表查询使用记录
摘要：关于Presto对lzo压缩的表查询使用记录 文章目录 关于Presto对lzo压缩的表查询使用记录0.写在前面1.正文0.提前说明1.查询ads层表2.查询dwd|dws|dwt层表3.查询ods层表 0.写在前面 实验背景：离线数仓项目Presto版本：0.196Hive版本：3.1.2Hado
阅读全文
posted @
2022-09-15 05:30
WHYBIGDATA
阅读(51)
推荐(0) 编辑
Kylin启动失败||启动成功但Web界面显示404
摘要：Kylin启动失败||启动成功但Web界面显示404 文章目录 Kylin启动失败||启动成功但Web界面显示4040.写在前面1.原因一：环境变量配置问题2.原因二：Kylin兼容性问题没有得到解决3.原因三：hive-site.xml配置文件的问题 0.写在前面 实验背景：离线数仓项目Kylin
阅读全文
posted @
2022-09-14 05:30
WHYBIGDATA
阅读(191)
推荐(0) 编辑
Superset执行「superset db upgrade」命令的报错记录
摘要：Superset执行「superset db upgrade」命令的报错记录 文章目录 Superset执行「superset db upgrade」命令的报错记录零、写在前面一、「superset db upgrade」报错记录0. 按照尚硅谷视频操作，执行到「superset db upgrad
阅读全文
posted @
2022-09-13 05:30
WHYBIGDATA
阅读(966)
推荐(0) 编辑
DataGrip连接Hive执行DDL操作报错：「FAILED: ParseException line 1:5 cannot recognize input near ‘show‘ ‘indexe
摘要：DataGrip连接Hive执行DDL操作报错：「FAILED: ParseException line 1:5 cannot recognize input near ‘show’ ‘indexes’ ‘on’ in ddl statement」 文章目录 DataGrip连接Hive执行DDL操
阅读全文
posted @
2022-09-08 05:30
WHYBIGDATA
阅读(377)
推荐(0) 编辑
