摘要： 1 单机模式部署 1.1 JDK安装 命令：sudo apt-get install openjdk-6-jdk目录：/usr/lib/jvm/java-6-openjdk配置环境变量：sudo gedit /etc/environment在其中添加如下两行： CLASSPATH=./:/usr/lib/jvm/java-6-openjdk/libJAVA_HOME=/usr/lib/jvm/java-6-openjdkPATH添加：:/usr/lib/jvm/java-6-openjdk1.2 新增hado... 阅读全文

摘要： Pig是一个大规模数据分析平台。Pig的基础结构层包括一个产生MapReduce程序的编译器。在编译器中，大规模并行执行依据存在。Pig的语言包括一个叫Pig Latin的文本语言，此语言有如下特性：1.易于编程。实现简单的和高度并行的数据分析任务非常容易。2.自动优化。任务编码的方式允许系统自动去优化执行过程，从而使用户能够专注于逻辑，而非效率3.可扩展性，用户可以轻松编写自己的函数用于特殊用途的处理。1 安装 1.安装java，配置环境变量2.安装pig，配置环境变量ps：安装一款平台级软件一般都是要配置环境变量用于系统执行时进... 阅读全文

摘要： deb格式软件安装 deb包是debian，ubuntu等LINUX发行版的软件安装包，是类似于rpm的软件包，而非debian,ubuntu系统不推荐使用deb软件包，因为要解决软件包依赖问题，安装也比较麻烦。1.一般在此类发行版中可以直接双击安装。2.手动安装。如果您喜欢使用终端，您需要管理员权限来安装一个 .deb 文件。 打开终端后，输入： sudo dpkg -i package_file.deb 要卸载一个 .deb 文件，在您的软件包管理器中取消选中它。或者在终端中，输入:sudo dpkg -r package_name rpm格式软件安装 ... 阅读全文

摘要： java -cp .;c:\dir1\lib.jar Test -cp 和 -classpath 一样，是指定类运行所依赖其他类的路径，通常是类库，jar包之类，需要全路径到jar包，window上分号“;” 分隔，linux上是分号“:”分隔。不支持通配符，需要列出所有jar包，用一点“.”代表当 阅读全文

摘要： 配置文件：/etc/network/interfaces打开后里面可设置DHCP或手动设置静态ip。前面auto eth0，让网卡开机自动挂载.1.以DHCP方式配置网卡编辑文件/etc/network/interfaces:sudo vi /etc/network/interfaces并用下面的行来替换有关eth0的行:# The primary network interface - use DHCP to find our addressauto eth0iface eth0 inet dhcp用下面的命令使网络设置生效:sudo /etc/init.d/networking resta 阅读全文

摘要： VMware，鼎鼎大名的虚拟机软件，没有人不知道吧？当然，在Linux下使用虚拟机软件，并不一定需要使用VMWare，Xen也是非常不错的选择，有很多评测就认为XEN的表现优于VMware.可惜的是Xen不支持安装Windows之类的OS. VMware里的客户操作系统（Guest operating system），其网络连接方式允许是：桥接方式（Bridged network）、地址转换方式（NAT network），单独主机方式（Host only），以及自定义方式。 其中，桥接方式相当于将虚拟机上的操作系统直接接入到你所在的局网的交换机，你可以为它的网卡绑定一个IP，也可以让它... 阅读全文

摘要： 1.使用vi编辑器时候，按方向键会产生A,B,C之类的解决办法：ubuntu server 8.04, vim版本为 7.1.138，客户端使用pietty。vim 在插入模式下，方向键被转为A B C D，退格键仅移动光标回退，并不删除。Del键有时会改变大小写。命令模式下，u键撤销只能回退一步。后面在网上找到解决办法：编辑vim下面的vimrc文件, 增加set nocp, 一切正常。如果还不行的话，再下载一个vim即可2.系统运行时本地网卡eth0不见了笔者最近用VMvare装centos,安装配置完后，ssh远程连接不上，以为是防火墙没有关闭，setup进去关闭后，有用ifconfig 阅读全文

摘要： 问题1：Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-outAnswer：程序里面需要打开多个文件，进行分析，系统一般默认数量是1024，（用ulimit -a可以看到）对于正常使用是够了，但是对于程序来讲，就太少了。修改办法：修改2个文件。 /etc/security/limits.confvi /etc/security/limits.conf加上：* soft nofile 102400* hard nofile 409600 $cd /etc/pam.d/ $sudo vi login 添加 sessio... 阅读全文

摘要： ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in /var/lib/hadoop-0.20/cache/hdfs/dfs/data: namenode namespaceID = 240012870; datanode namespaceID = 1462711424. 问题：Namenode上namespaceID与datanode上namespaceID不一致。 问题产生原因：每次namenode format会重新创建一个na.. 阅读全文

摘要： 泛型是对集合的补充，JDK1.5增加泛型支持很大程度上都是为了让集合能记住其元素的数据类型。在没有泛型之前，一旦把一个对象丢进Java集合中，集合就会忘记对象的类型，把所有的对象都当成Object类型处理。当程序从集合中取出对象后，就需要进行强制类型转换，这种强制类型转换不仅让代码臃肿，而且容易引起ClassCastException异常。 增加了泛型支持后的集合，完全可以记住集合中元素的类型，并可以在编译时检查集合中元素的类型，如果试图向集合中添加不满足类型要求的对象，编译器就会提示错误。增加泛型后的集合，可以让代码更简洁、健壮(Java泛型可以保证如果程序在编译时没有警告，运行时就不... 阅读全文