摘要：
问题描述部门的Hadoop集群运行有一个多月了，今天需要做点调整，但是突然发现Hadoop不能正常关闭！Hadoop版本：2.6.0具体情况如下：[root@master ~]# stop-dfs.sh Stopping namenodes on [master]master: no... 阅读全文
摘要：
RPC基本概念 RPC(Remote Procedure Call)是远程过程调用的简称，是一种常用的分布式网络通信协议。RPC要解决的问题就是，在分布式服务框架中实现不同服务节点(不同JVM上)之间的通信。 作为一个牛B的分布式系统，Hadoop实现了自己的RPC通信协... 阅读全文
摘要：
因为要给百技上实训课，让新同学们自行实现一个简易RPC框架，在准备PPT时，就想写个示例，发现原来一个RPC框架只要一个类，10来分钟就可以写完了，虽然简陋，也晒晒： RPC核心类： /* * Copyright 2011 Alibaba.com All right reserve... 阅读全文
摘要：
查看文件详细信息 参数说明 权限说明 文件类型说明 d 目录 - 普通文件 l 连接文件 b 存储设备，例如硬盘，U盘 c 串行接口设备，例如键盘、鼠标 设置文件权限 命令：chmod (chang... 阅读全文
摘要：
Hadoop版本： Hadoop 2.6.0 连接HDFS String URL="hdfs://hadoop001:9000";Configuration conf = new Configuration();conf.set("fs.defaultFS", URL);File... 阅读全文
摘要：
搭建了一个Hadoop的环境，Hadoop集群环境部署在几个Linux服务器上，现在想使用windows上的Java客户端来操作集群中的HDFS文件，但是在客户端运行时出现了如下的认证错误，被折磨了几天，问题终得以解决。以此文记录问题的解决过程。 （如果想看最终解决问题的方法拉到最后... 阅读全文
摘要：
出现问题 公司是做互联网广告投放的，需要统计广告展现量在前五百的域名。最简单粗暴的做法就是group by，根据url分组，然后再sort一下就搞定晒！结果问题就出现了。 如下统计的2015-02-28当日22时的日志，文档数量：904405。 db['log.201... 阅读全文
摘要：
在对超过百万条记录的集合进行聚合操作。DBObject match=(DBObject)JSON.parse("{$match:{logType:{'$in':[5,9]}}}");DBObject group=(DBObject)JSON.parse("{$group:{'_id'... 阅读全文