摘要：
最近为了方便开发，在自己的虚拟机上搭建了三节点的Hadoop集群与Hbase集群，hadoop集群的搭建与zookeeper集群这里就不再详细说明，原来的笔记中记录过。这里将hbase配置参数进行相应整理，方便日后使用。 首先vi ~/.bash_profile将hbase的环境变量进行配置，最后s 阅读全文
摘要：
hadoop在用户权限上做的只是像linux用户级别的安全认证，即对文件的访问权限。对于一些数据安全比较重视的公司是不够的，如果对数据安全有要求，而且是认证方式的，可以使用kerberos，但是并不是很好用，当初阿里巴巴在安全上使用kerberos，后来嫌弃太麻烦就抛弃了，自己开发了一套安全认证系统 阅读全文
摘要：
1.需要的jar如下: !-- log4j --> <dependency> <groupId>log4j</groupId> <artifactId>log4j</artifactId> <version>1.2.17</version> </dependency> <dependency> <g 阅读全文
摘要：
val cityUserNoAppTypeDStream = CitySummaryBolt.noAppType(cleanBoltData) .map(x => (x, 0)).reduceByKey(_ + _).map(x => x._1).map(x => (x._1, 1l)).reduc 阅读全文
摘要：
Docker已经将Registry开源，Registry本身也是一个容器。 1. 修改配置/etc/docker/daemon.json，去掉docker默认的https的访问 里面的内容是一个json对象,加上一项insecure-registries: { "insecure-registrie 阅读全文