03 2020 档案

Hbase集群间数据迁移方法总结（包括不通信集群）
摘要：1.不同版本间集群是否可以迁移？2.distcp命令的作用是什么？3..MEAT表的作用是什么？4.相互不通信集群，数据该如何迁移？HBase迁移数据方案一（集群互联）花了一天的时间查资料做测试，略微的总结了一下hbase数据迁移的方法。一、需要在hbase集群停掉的情况下迁移步骤：(1)执行Had 阅读全文
posted @ 2020-03-17 16:14 纯捡垃圾吃的 阅读(1245) 评论(0) 推荐(0) 编辑
[转]Hbase集群搭建及所有配置调优参数整理及API代码运行
摘要：最近为了方便开发，在自己的虚拟机上搭建了三节点的Hadoop集群与Hbase集群，hadoop集群的搭建与zookeeper集群这里就不再详细说明，原来的笔记中记录过。这里将hbase配置参数进行相应整理，方便日后使用。 首先vi ~/.bash_profile将hbase的环境变量进行配置，最后s 阅读全文
posted @ 2020-03-17 10:52 纯捡垃圾吃的 阅读(319) 评论(0) 推荐(0) 编辑
[转]kerberos在Cloudera manager +CDH中的运用实践
摘要：hadoop在用户权限上做的只是像linux用户级别的安全认证，即对文件的访问权限。对于一些数据安全比较重视的公司是不够的，如果对数据安全有要求，而且是认证方式的，可以使用kerberos，但是并不是很好用，当初阿里巴巴在安全上使用kerberos，后来嫌弃太麻烦就抛弃了，自己开发了一套安全认证系统 阅读全文
posted @ 2020-03-13 11:34 纯捡垃圾吃的 阅读(563) 评论(0) 推荐(0) 编辑
log4j.properties 配置示例
摘要：1.需要的jar如下: !-- log4j --> <dependency> <groupId>log4j</groupId> <artifactId>log4j</artifactId> <version>1.2.17</version> </dependency> <dependency> <g 阅读全文
posted @ 2020-03-10 11:24 纯捡垃圾吃的 阅读(1525) 评论(0) 推荐(0) 编辑
spark去重计数操作（代码示例）
摘要：val cityUserNoAppTypeDStream = CitySummaryBolt.noAppType(cleanBoltData) .map(x => (x, 0)).reduceByKey(_ + _).map(x => x._1).map(x => (x._1, 1l)).reduc 阅读全文
posted @ 2020-03-06 10:03 纯捡垃圾吃的 阅读(866) 评论(0) 推荐(0) 编辑

返回顶部
点击右上角即可分享
微信分享提示