My Technology Home

摘要： 1. split大小的计算公式 minSize=max{minSplitSize,mapred.min.split.size} （minSplitSize大小默认为1B） maxSize=mapred.max.split.size（不在配置文件中指定时大小为Long.MAX_VALUE） splitSize=max{minSize,min{maxSize,blockSize}}(注意，blockSize为文件在hdfs中的块大小，比如我们先配置的dfs.block.size的值为67108864，也即64MB，后向分布式文件系统中存入一个1GB大小的文件A，该文件在hdfs中的块大... 阅读全文

摘要： split方法可以根据指定的表达式regex将一个字符串分割成一个子字符串数组。 它的参数有两种形式，也即：split(String regex)和split(String regex, int limit)，其中split(String regex)实际上是通过调用split(String regex, int limit)来实现的,limit的值为0。那么，当limit>0和limit0子数组的长度最大为limit，也就是如果可能的话可以进行limit-1次分割，余下的作为一个子字符串(除非经过limit-1次已经把字符串分割完毕)； limit<0时表示数组的长度没有限制； 阅读全文

摘要： 在安装好jdk并配置好后，就可以进行eclipse的安装了，其步骤如下： 1.下载eclipse 我所用的eclipse为：eclipse-dsl-juno-SR1-linux-gtk.tar 2. 安装eclipse 我安装在了/home/cloud目录下，tar -zxvfeclipse-dsl-juno-SR1-linux-gtk.tar 3. 撰写脚本eclipse.sh #!/bin/bash # # 执行 eclipse # export JAVA_HOME=/home/cloud/jdk #jdk的安装目录 ... 阅读全文

摘要： 当我们由于某种需要需要的得到jar的路径是可以用下面的方式来获得： basePath = new Solution().getClass().getProtectionDomain().getCodeSource().getLocation().getPath(); basePath = URLDecoder.decode(basePath,"utf-8"); System.out.println("basePaht:"+basePath); if(basePath.endsWith(".jar")){ ... 阅读全文

摘要： 当我们需要把一个链表中的元素放入数组时，jdk给我们提供了一种方法，也即运用toArray()，方法的使用如下：public class Test { public static void main(String[] args) { List list = new ArrayList(); list.add(1); list.add(2); Integer[] array = list.toArray(new Integer[list.size()]); for(int element:array){ ... 阅读全文

摘要： 转载自博客：http://blog.sina.com.cn/s/blog_77126fa501018s3d.htmlvmlite虚拟机启动出错，就把这个虚拟机删除掉重新建立，系统虚拟硬盘使用之前的，启动系统后不能上网，通过ifconfig查看网卡没启动，遂启动网卡服务，但是出错，就是：device eth0 does not seem to be present, delaying initialization，然后想到是不是ifcfg-eth0的配置文件里保存了以前的MAC地址，就把这一行删除掉在重启网卡，还是一样的错误，随后网上查了下资料，把/etc/udev/rules.d/70-per 阅读全文

摘要： 为了实现国际化，我们在jsp中所用到的标签等应该避免使用硬编码，而应该使用资源文件中的key来代替，以动态的呈现不同的语言。运用jstl实现国际化有一下步骤：编写中英文资源文件我们编写两个资源文件globalMessages_en_US.properties和globalMessages_zh_CN.properties英文资源文件(globalMessages_en_US.propertie)内容：id=IDname=Your Name中文资源文件内容：id=用户IDname=用户名为防止中文乱码，将中文资源文件转换成unicode编码id=\u7528\u6237IDname=\u75.. 阅读全文

摘要： 这两个方法经常搞混淆，现对其进行总结以加深记忆。compareTo(Object o)方法是java.lang.Comparable<T>接口中的方法，当需要对某个类的对象进行排序时，该类需要实现Comparable<T>接口的，必须重写public int compareTo(T o)方法，比如MapReduce中Map函数和Reduce函数处理的 <key,value>,其中需要根据key对键值对进行排序，所以，key实现了WritableComparable<T>接口，实现这个接口可同时用于序列化和反序列化。WritableComparab 阅读全文

摘要： 在命令行下执行mapreduce程序时，我们需要输入很长的字符串，文件的输入路径、输出路径等。 一个简单的python脚本即可，省去这些不必要的麻烦，以后执行mapreduce程序时，只需要进行稍微更改即可。runjob.py脚本内容如下：#!/usr/bin/pythonimport oscmd = 'hadoop jar examples.jar org.apache.hadoop.myexamples.WordCount hdfs://NameNode:9000/user/cloud/input/cite1.txt hdfs://NameNode:9000/user/cloud/ 阅读全文

摘要： 我们知道ArrayList是允许重复的，有序的元素的集合,但当我们想用它来放入不同的元素时，contains()方法就派上用场了。 首先，我们来看下contains()方法的源代码：public boolean contains(Object o) { return indexOf(o) >= 0; } public int indexOf(Object o) { if (o == null) { for (int i = 0; i < size; i++) if (elementData[i]==null) retur... 阅读全文