Tao's Blog

摘要： 在hadoop中使用lzo的压缩算法可以减小数据的大小和数据的磁盘读写时间，不仅如此，lzo是基于block分块的，这样他就允许数据被分解成chunk，并行的被hadoop处理。这样的特点，就可以让lzo在hadoop上成为一种非常好用的压缩格式。lzo本身不是splitable的，所以当数据为text格式时，用lzo压缩出来的数据当做job的输入是一个文件作为一个map。但是sequence file本身是分块的，所以sequence file格式的文件，再配上lzo的压缩格式，就可实现lzo文件方式的splitable。由于压缩的数据通常只有原始数据的1/4，在HDFS中存储压缩数据，可以 阅读全文

摘要： 1. Java内存泄露监控工具http://wenku.baidu.com/view/cb7becb765ce050876321307.html2.性能测试总结之内存泄露和内存溢出http://www.uml.org.cn/Test/200912106.asp刚刚做完了一个项目的性能测试，“有幸”也遇到了内存泄露的案例，所以在此和大家分享一下。主要从以下几部分来说明，关于内存和内存泄露、溢出的概念，区分内存泄露和内存溢出；内存的区域划分，了解GC回收机制；重点关注如何去监控和发现内存问题；此外分析出问题还要如何解决内存问题。下面就开始本篇的内容：第一部分 概念众所周知，java中的内存java 阅读全文

摘要： 查看文件编码在Linux中查看文件编码可以通过以下几种方式：1.在Vim中可以直接查看文件编码:set fileencoding即可显示文件编码格式。如果你只是想查看其它编码格式的文件或者想解决用Vim查看文件乱码的问题，那么你可以在~/.vimrc 文件中添加以下内容：set encoding=utf-8 fileencodings=ucs-bom,utf-8,cp936这样，就可以让vim自动识别文件编码（可以自动识别UTF-8或者GBK编码的文件），其实就是依照 fileencodings提供的编码列表尝试，如果没有找到合适的编码，就用latin-1(ASCII)编码打开。2. enca 阅读全文

摘要： Xms Xmx XX:PermSize XX:MaxPermSize1.各个参数的含义什么？我们首先了解一下JVM内存管理的机制，然后再解释每个参数代表的含义。堆(Heap)和非堆(Non-heap)内存按照官方的说法：“Java虚拟机具有一个堆，堆是运行时数据区域，所有类实例和数组的内存均从此处分配。堆是在Java虚拟机启动时创建的。”“在JVM中堆之外的内存称为非堆内存(Non-heap memory)”。可以看出JVM主要管理两种类型的内存：堆和非堆。简单来说堆就是Java代码可及的内存，是留给开发人员使用的；非堆就是JVM留给自己用的，所以方法区、JVM内部处理或优化所需的内存(如JI 阅读全文

摘要： 很多情况下需要php调用其他程序如shell命令、shell脚本、可执行程序等等，此时需要使用到诸如exec/system/popen/proc_open等函数，每种函数有各自适合使用的场景以及需要注意的地方。前提：PHP没有运行在安全模式如果PHP运行在安全模式下，那么在执行外部命令、打开文件、连接数据库、基于HTTP的认证这4个方面将会受到制约，可能在调用外部程序时无法获取预期的结果，此时需要设置特定目录，可以在php.ini中编辑safe_mode_exec_dir参数来指定。1. exec原型：string exec ( string command [, array &out 阅读全文

摘要： 第一、Logger.getLogger()和LogFactory.getLog()的区别1.Logger.getLogger()是使用log4j的方式记录日志；2.LogFactory.getLog()则来自apache的common-logging包。common-logging组件： Jakarta Commons Logging (JCL)提供的是一个日志(Log)接口(interface)，同时兼顾轻量级和不依赖于具体的日志实现工具。它提供给中间件/日志工具开发者一个简单的日志操作抽象，允许程序开发人员使用不同的具体日志实现工具。了解包里情况，可以查看它的API文档：http://ww 阅读全文

摘要： 在系统维护的过程中，随时可能有需要查看 CPU 使用率，并根据相应信息分析系统状况的需要。在 CentOS 中，可以通过 top 命令来查看 CPU 使用状况。运行 top 命令后，CPU 使用状态会以全屏的方式显示，并且会处在对话的模式 -- 用基于 top 的命令，可以控制显示方式等等。退出 top 的命令为 q （在 top 运行中敲 q 键一次）。 操作实例: 在命令行中输入 “top” 即可启动 top top 的全屏对话模式可分为3部分：系统信息栏、命令输入栏、进程列表栏。 第一部分 -- 最上部的 系统信息栏 ： 第一行（top）： “00:11:04”为系统当... 阅读全文

摘要： Linux是一个多用户，多任务的系统，可以同时运行多个用户的多个程序，就必然会产生很多的进程，而每个进程会有不同的状态。在下文将对进程的R、S、D、T、Z、X六种状态做个说明。PROCESS STATE CODESHere are the different values that the s, stat and state output specifiers (header "STAT" or "S") will display to describe the state of a process.DUninterruptible sleep(usua 阅读全文

摘要： MySQL会出现中文乱码的原因不外乎下列几点：1.server本身设定问题，例如还停留在latin12.table的语系设定问题(包含character与collation)3.客户端程式(例如php)的连线语系设定问题强烈建议使用utf8!!!!utf8可以兼容世界上所有字符!!!!一、避免创建数据库及表出现中文乱码和查看编码方法1、创建数据库的时候：CREATE DATABASE `test`CHARACTER SET 'utf8'COLLATE 'utf8_general_ci';2、建表的时候 CREATE TABLE `database_user` ( 阅读全文

摘要： apache/" target="_blank">Apache的配置由httpd.conf文件配置，因此下面的配置指令都是在httpd.conf文件中修改。主站点的配置(基本配置) (1) 基本配置: ServerRoot "/mnt/software/apache2" #你的apache软件安装的位置。其它指定的目录如果没有指定绝对路径，则目录是相对于该目录。 PidFile logs/httpd.pid #第一个httpd进程(所有其他进程的父进程)的进程号文件位置。 Listen 80 #服务器监听的端口号。 ServerName 阅读全文