摘要：
如果直接将几百万数据仍到bitset，内存是否够用？实际测试，600万ip放到一个bitSet中，jvm内存会爆。 所以，就简单做了下分组，构建一个HashMap<String, BitSet>， 以192.168.6.2为例，将192.168直接截取为字符串，当作hashmap的key，后2位补零 阅读全文
摘要：
阿里的七天学会NodeJS文档。学习学习，虽然做大数据的，但是免不了干些杂活，比如写写js。抽个空学学nodejs。 http://nqdeng.github.io/7-days-nodejs/ 阅读全文
摘要：
网上找了一下，自己写了个KerberosUtil工具类，测试过可以用。 注意这个不是 org.apache.hadoop.security.authentication.util.KerberosUtil类。 其实网上用的SecurityUtil.login()登录验证，源码中也是调用 UserGr 阅读全文
摘要：
执行hadoop 报错 网上说是文件本身的问题，需要get下来用zcat检测； 还有个参数也会导致这个问题。 -D mapreduce.input.fileinputformat.split.minsize=134217728 -D mapreduce.input.fileinputformat.s 阅读全文
摘要：
今天在跑一个任务的时候，报错java.nio.channels.ClosedChannelException。 报错的位置在代码context.write(outkey, outVal);这行。 原因是我该reducer的setup的时候，调用了HDFS文件系统去读一个文件（虽然很少有这么用的），读 阅读全文
摘要：
1.做完host 账号 密码（数据库服务器）配置之后，选择ssh 2.配置中转服务器ip的登录的账号密码。（中转服务器必须可以连你的Navicat客户端和数据库服务器。） 3.可以直接连接。 阅读全文
摘要：
之前以为缩写词如TCP 等这些类名中也一直大写。 不规范缩写（有些单词不能缩写） 我就经常为了少些几个单词这个样搞。 （四）OOP规约 这里没懂？why？可变参数会有什么bug吗？ 就是说 Integer n1=1000; Integer n2=1000; System.out.println(n1 阅读全文
摘要：
原文地址：http://blog.csdn.net/tophawk/article/details/78704074 程序计数器：它的生命周期与线程相同，线程私有。较小的内存区域，用以完成分支、循环、跳转、异常处理、线程恢复等基础功能。不会发生内存溢出(OutOfMemory=OOM)错误。 虚拟机 阅读全文
摘要：
方法一.可以通过hadoop官方网址查询， 网址如下： http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/core-default.xml http://hadoop.apache.org/docs/cur 阅读全文