12 2014 档案

Hadoop mapreduce自定义排序WritableComparable
摘要：本文发表于本人博客。今天继续写练习题，上次对分区稍微理解了一下，那根据那个步骤分区、排序、分组、规约来的话，今天应该是要写个排序有关的例子了，那好现在就开始！ 说到排序我们可以查看下hadoop源码里面的WordCount例子中对LongWritable类型定义，它实现抽象接口WritableCom... 阅读全文
posted @ 2014-12-26 14:03 求 败 阅读(1327) 评论(2) 推荐(0) 编辑
Hadoop mapreduce自定义分区HashPartitioner
摘要：本文发表于本人博客。在上一篇文章我写了个简单的WordCount程序，也大致了解了下关于mapreduce运行原来，其中说到还可以自定义分区、排序、分组这些，那今天我就接上一次的代码继续完善实现自定义分区。首先我们明确一下关于中这个分区到底是怎么样，有什么用处？回答这个问题先看看上次代码执行的结果，... 阅读全文
posted @ 2014-12-25 16:21 求 败 阅读(4238) 评论(0) 推荐(1) 编辑
Hadoop 编写WordCount
摘要：本文发表于本人博客。前面几次讲了关于Hadoop的环境搭建、HDFS操作，今天接着继续。本来Hadoop源码中就有一个例子WordCount,但是今天我们来自己实现一个加深对这个Mapper、Reducer的理解，如有不对欢迎指正。我们先来梳理一下思路，对于自定义Mapper以及Reducer，我们... 阅读全文
posted @ 2014-12-24 15:10 求 败 阅读(1714) 评论(2) 推荐(0) 编辑
Java基础知识陷阱(九)
摘要：本文发表于本人博客。今天我来说说关于JAVA多线程知识，有错误请指出。大家都知道JAVA在服务端上处理也有很大优势，很多公司也有在服务器跑JAVA进程，这说明JAVA在处理这个多线程以及并发下也有一定有优点的(这说法有点坑了)。下面来看看那java中，不具备直接操作像操作系统一样的PV信号，然而它提... 阅读全文
posted @ 2014-12-19 11:10 求 败 阅读(1255) 评论(4) 推荐(3) 编辑
Hadoop HDFS的Java操作
摘要：本文发表于本人博客。这次来看看我们的客户端用url方式来连接JobTracker。我们已经搭建了伪分布环境，就知道了地址。现在我们查看HDFS上的文件，比如地址：hdfs://hadoop-master:9000/data/test.txt。看下面代码： static final String... 阅读全文
posted @ 2014-12-17 09:36 求 败 阅读(659) 评论(0) 推荐(0) 编辑
Hadoop HDFS的Shell操作实例
摘要：本文发表于本人博客。 我们知道HDFS是Hadoop的分布式文件系统，那既然是文件系统那最起码会有管理文件、文件夹之类的功能吧，这个类似我们的Windows操作系统一样的吧,创建、修改、删除、移动、复制、修改权限等这些操作。 那我们现在来看看hadoop下是怎么操作的。 先输入hadoop ... 阅读全文
posted @ 2014-12-16 11:43 求 败 阅读(886) 评论(0) 推荐(0) 编辑
Hadoop RPC实例
摘要：本文发表于本人博客。上次写了个hadoop伪分布环境搭建的笔记了，今天来说下hadoop分布式构建的基础RPC，这个RPC在提交Job任务的时候底层就是创建了RPC来实现远程过程调用服务端。我们首先可以通过Job的waitForCompletion(boolean verbose)方法来跟踪代码，按... 阅读全文
posted @ 2014-12-16 10:28 求 败 阅读(911) 评论(0) 推荐(0) 编辑
Java基础知识陷阱系列
摘要：Java基础知识陷阱系列今天抽空把Java基础知识陷阱有关的文章汇总于此，便于大家查看。Java基础知识陷阱(一)Java基础知识陷阱(二)Java基础知识陷阱(三)Java基础知识陷阱(四)Java基础知识陷阱(五)Java基础知识陷阱(六)Java基础知识陷阱(七)Java基础知识陷阱(八)Ja... 阅读全文
posted @ 2014-12-15 16:42 求 败 阅读(289) 评论(0) 推荐(0) 编辑
Java基础知识陷阱(八)
摘要：本文发表于本人博客。这次我来说说关于&跟&&的区别，大家都知道&是位运算符，而&&是逻辑运算符，看下面代码： public static void main(String[] args) throws Exception { int a = 1; int b =... 阅读全文
posted @ 2014-12-15 16:29 求 败 阅读(940) 评论(0) 推荐(0) 编辑
Java基础知识陷阱(七)
摘要：本文发表于本人博客。上次说了下HashSet和HashMap之间的关系，其中HashMap这个内部有这么一句：static final float DEFAULT_LOAD_FACTOR = 0.75f; 这一句表示一个常量，作用是当容器数量大小达到0.75%的时候就进行重新在构建一个2倍大小的数组... 阅读全文
posted @ 2014-12-12 17:30 求 败 阅读(936) 评论(0) 推荐(2) 编辑
Java基础知识陷阱(六)
摘要：本文发表于本人博客。上次说了下equals跟==的问题，今天再来认识一下这个equals()跟hasCode()。上次的代码如下： class Person{ public String name; public Person(String name){ ... 阅读全文
posted @ 2014-12-11 13:55 求 败 阅读(1036) 评论(6) 推荐(1) 编辑
Java基础知识陷阱(五)
摘要：本文发表于本人博客。今天我来说说关于静态变量初始化、数组、==与equals的问题，看下面代码：public class Test{ private final int age; private String name; public Test(){ ... 阅读全文
posted @ 2014-12-10 17:14 求 败 阅读(818) 评论(4) 推荐(0) 编辑
Java基础知识陷阱(四)
摘要：本文发表于本人博客。今天我们来说说关于java继承以及反射有关的问题，大家先看下下面代码，试问可以编译通过不，为什么具体说说原因？public class Test{ public static void main(String[] args){ Person p... 阅读全文
posted @ 2014-12-09 11:31 求 败 阅读(839) 评论(2) 推荐(0) 编辑
Java基础知识陷阱(三)
摘要：本文发表于本人博客。之前都讲了有关字符串的陷阱，那今天来说下关于静态这个东西，这分为静态变量、静态方法，先看下面的代码请问结果输出是什么？：class Person01{ private static Person01 person = new Person01(); publi... 阅读全文
posted @ 2014-12-05 17:27 求 败 阅读(317) 评论(4) 推荐(1) 编辑
Java基础知识陷阱(二)
摘要：本文发表于本人博客。 上次说了一些关于字符串的知识，都是比较基础的，那这次也说下关于对象地址问题，比如传参。先看下面代码： public void changeInt(int a){ a = 3; } int a = 1; changeInt(a); Sy... 阅读全文
posted @ 2014-12-05 14:47 求 败 阅读(905) 评论(2) 推荐(0) 编辑
hadoop伪分布搭建
摘要：本文发表于本人博客。先来看看hadoop的大体架构是如何，主要分为HDFS以及MapRedure。HDFS的架构主从结构主节点，只有一个：namenode从节点，有很多个：datanodesnamenode负责： 接收用户的请求 维护文件系统的目录结构 管理文件与block之间的关系，bl... 阅读全文
posted @ 2014-12-04 16:54 求 败 阅读(2663) 评论(2) 推荐(0) 编辑
Java基础知识陷阱(一)
摘要：本文发表于本人博客。事隔好多年了，重新拿起来Java这门语言，看似熟悉其实还很陌生，想想应该梳理下顺便提高下自己。这次先来看看Java里面的String这个对象。经典的先看下面一段代码,请问最终创建几个对象,分别在哪里？ String s0 = new String("luoliang.me... 阅读全文
posted @ 2014-12-03 16:12 求 败 阅读(244) 评论(0) 推荐(0) 编辑
Node.js API学习笔记（二）
摘要：本文发表于本人博客。上一节笔记说到创建Buffer实例，这节继续讲Buffer。本节讲解下Buffer的一些静态方法、写入以及读取方法。Buffer.isEncoding(编码)判断nodejs是否支持此编码 console.log(Buffer.isEncoding("gb2312"));/... 阅读全文
posted @ 2014-12-01 23:23 求 败 阅读(220) 评论(0) 推荐(0) 编辑