摘要: 在使用hive时要想查询hive数据的时候必须要进入hive中查询得到,在使用的时候稍显麻烦。我们采用DBever的数据连接hive数据可以使hive的数据可视化。 1、下载DBever https://dbeaver.com/download/enterprise/ 2、下载之后 解压安装包 3、 阅读全文
posted @ 2021-07-26 18:44 a庄生晓梦 阅读(1113) 评论(0) 推荐(0) 编辑
摘要: HUE的下载和安装可以看这篇博客:https://www.cnblogs.com/blogxiaochong/p/15061652.html 这里我们假设HUE已经安装成功,与HBASE集成的时候只需要修改hue.ini的配置文件 1、修改hue.ini的配置文件 cd /export/server 阅读全文
posted @ 2021-07-26 16:52 a庄生晓梦 阅读(285) 评论(0) 推荐(0) 编辑
摘要: HUE的下载和安装可以看这篇博客:https://www.cnblogs.com/blogxiaochong/p/15061652.html 这里我们假设HUE已经安装成功,与mysql集成的时候只需要修改hue.ini的配置文件 1、修改hue.ini的配置文件 cd /export/server 阅读全文
posted @ 2021-07-26 16:38 a庄生晓梦 阅读(371) 评论(0) 推荐(0) 编辑
摘要: 说明:上一篇已经写了HUE的下载和安装这里只写集成HIVE的配置修改 https://www.cnblogs.com/blogxiaochong/p/15061652.html 1、修改hue.ini的配置 cd /export/servers/hue/desktop/conf vim hue.in 阅读全文
posted @ 2021-07-26 16:18 a庄生晓梦 阅读(286) 评论(0) 推荐(0) 编辑
摘要: 背景:因为每次使用hdfs和hive的时候都需要进入hdfs的页面和hive的客户端才能查看并进行操作很麻烦,所以采用hue来集成hdfs和hive,这里先接受hue与hdfs的集成,下次在写hue与hive的集成 HUE的下载地址: https://github.com/cloudera/hue/ 阅读全文
posted @ 2021-07-26 15:28 a庄生晓梦 阅读(434) 评论(0) 推荐(0) 编辑
摘要: 做迁移业务之前需要了解,我们搭建的hbase集群的数据时存储在什么位置,可以通过hbase-site.xml查看rootdir 1、进行快照的生成 我们对usermr生成快照 a、先查看一下表数据: b、生成快照并查看 c、在hadoop集群上查看我们已经生成的快照 d、进行快照的迁移 这里只是模拟 阅读全文
posted @ 2021-07-13 20:52 a庄生晓梦 阅读(246) 评论(0) 推荐(0) 编辑
摘要: 需求:对业务数据根据上行流量和上行总流量做一个排序处理,上行流量升序,上行流量相同的上行总流量升序 数据说明:7,8,9,10位置的数据类型分别为upFlow,dowFlow,upCountFlow,downCountFlow 1363157985066 13726230503 00-FD-07-A 阅读全文
posted @ 2021-07-13 18:00 a庄生晓梦 阅读(109) 评论(0) 推荐(0) 编辑
摘要: 需求:目前业务有一对真实数据,需要入库到数据库中,但是需要进行清洗操作,去除数据长度都符合的数据。要求符合要求的数据和清洗出来的数据都需要保存。 1.不多说直接上代码 package com.kkt.mr2.Dataclean;/** * @author yang**** * @date 2021. 阅读全文
posted @ 2021-06-25 10:40 a庄生晓梦 阅读(1439) 评论(0) 推荐(0) 编辑
摘要: 要实现flume采集到的数据直接落地到hive需要满足一些要求 1、需要开启hive的事务配置 <property> <name>hive.support.concurrency</name> <value>true</value></property><property> <name>hive.e 阅读全文
posted @ 2020-08-12 14:42 a庄生晓梦 阅读(519) 评论(0) 推荐(0) 编辑