摘要: 前言: 之前有朋友加好友与我探讨一些问题,我觉得这些问题倒挺有价值的;于是就想在本公众号开设一个问答专栏,方便技术交流与分享,专栏名就定为: 《读者来信》 。如遇到本人能力有限难以解决的问题,我将转发该文至我的资源圈尽力寻求大佬们出手帮助,并附上提问者微信二维码,希望给大家提供这样一个互帮互助解决问 阅读全文
posted @ 2020-04-06 11:08 周蓬勃 阅读(788) 评论(0) 推荐(0) 编辑
摘要: 前言: 《读者来信》是HBase老店开设的一个问答专栏,旨在能为更多的小伙伴解决工作中常遇到的HBase相关的问题。老店会尽力帮大家解决这些问题或帮你发出求救贴,老店希望这会是一个互帮互助的小平台。有问题请直接在老店后台留言,有好的解决方案也请不要吝啬,诚挚欢迎大家能在留言区积极探讨解决方案,大胆发 阅读全文
posted @ 2020-04-05 13:17 周蓬勃 阅读(700) 评论(0) 推荐(1) 编辑
摘要: 在工作中,有时候只是想简单看下HBase表某些关键指标的值,这个时候总不能现写Java代码去查看,以下几个小技巧你可能会经常用到。 1. 某行有许多列,只想获取指定2~3列的数据 2. 想看某个字段多个版本的数据 3. 想看被16进制化的中文或数字 对于Int型、Long型数值,支持toInt|to 阅读全文
posted @ 2020-04-05 11:41 周蓬勃 阅读(1991) 评论(0) 推荐(0) 编辑
摘要: sqoop 沟通hdfs和关系型数据库的桥梁,可以从hdfs导出数据到关系型数据库,也可以从关系型数据库导入数据到hdfs 下载:Apache 提供的工具 安装: 要求必须有jdk 和 hadoop的支持,并且有版本要求。 上传到linux中,进行解压 sqoop可以通过JAVA_HOME找到jdk 阅读全文
posted @ 2016-08-21 00:11 周蓬勃 阅读(265) 评论(0) 推荐(0) 编辑
摘要: zookeeper原理 zookeeper为了保证可靠性,不能用一台机器,而应该是一个集群 为了保证zookeeper集群数据能够一致,必须有一个拍板说了算的人,这就是leader,其他的是follower。 某一时刻集群里只能有且仅有一个leader。 leader可以执行增删改和查询操作,而fo 阅读全文
posted @ 2016-08-21 00:08 周蓬勃 阅读(593) 评论(0) 推荐(0) 编辑
摘要: zookeeper的java api操作 创建会话: Zookeeper(String connectString,int sessionTimeout,Watcher watcher) Zookeeper(String connectString,int sessionTimeout,Watche 阅读全文
posted @ 2016-08-21 00:07 周蓬勃 阅读(4528) 评论(0) 推荐(0) 编辑
摘要: zookeeper的shell下操作 进入%ZK_HOME%/bin 执行zkCli.sh [-server ip:port] #如不指定,则连接本机 创建: create [-s] [-e] path data acl #创建数据节点 --其中 -s表示顺序节点 -e表示临时节点,两个都不加则是持 阅读全文
posted @ 2016-08-21 00:06 周蓬勃 阅读(336) 评论(0) 推荐(0) 编辑
摘要: zookeeper集群的搭建 需要先安装jdk,并且配置jdk的环境变量 下载zookeeper的安装包 上传到linux集群环境下 解压安装包 tar -zxvf zookeeper-3.4.7.tar.gz 进入conf目录,复制zoo-sample.cfg为zoo.cfg,通过修改zoo.cf 阅读全文
posted @ 2016-08-21 00:05 周蓬勃 阅读(215) 评论(0) 推荐(0) 编辑
摘要: Zookeeper 1.Zookeeper概述 Zookeeper是一个工具,可以实现集群中的分布式协调服务。 所谓的分布式协调服务,就是在集群的节点中进行可靠的消息传递,来协调集群的工作。 Zookeeper之所以能够实现分布式协调服务,靠的就是它能够保证分布式数据一致性。 所谓的分布式数据一致性 阅读全文
posted @ 2016-08-21 00:04 周蓬勃 阅读(5852) 评论(0) 推荐(1) 编辑
摘要: HIVE的UDF 新建java工程,导入hive相关包,导入hive相关的lib。 创建类继承UDF 自己编写一个evaluate方法,返回值和参数任意。 为了能让mapreduce处理,String要用Text处理。 将写好的类打成jar包,上传到linux中 在hive命令行下,向hive注册U 阅读全文
posted @ 2016-08-21 00:03 周蓬勃 阅读(182) 评论(0) 推荐(0) 编辑