摘要： （一）备份namenode的元数据namenode中的元数据非常重要，如丢失或者损坏，则整个系统无法使用。因此应该经常对元数据进行备份，最好是异地备份。1、将元数据复制到远程站点（1）以下代码将secondary namenode中的元数据复制到一个时间命名的目录下，然后通过scp命令远程发送到其它... 阅读全文

摘要： hadoop存在多种日志文件，其中master上的日志文件记录全面信息，包括slave上的jobtracker与datanode也会将错误信息写到master中。而slave中的日志主要记录完成的task任务信息。默认情况下，hadoop日志保存在HADOOP_INSTALL/logs目录，但一般情... 阅读全文

摘要： 一、Nutch日志实现方式1、Nutch使用slf4j作为日志接口，使用log4j作为具体实现。关于二者的基础，请参考http://blog.csdn.net/jediael_lu/article/details/43854571http://blog.csdn.net/jediael_lu/art... 阅读全文

摘要： 使用slf4j作为日志系统时，由于slf4j只是一个接口，它需要一个具体实现来执行。具体参考http://blog.csdn.net/jediael_lu/article/details/43854571由于slf4j统一了API接口，因此，若log4j实现来日志输出，则只需要设置配置文件的内容即可... 阅读全文

摘要： slf4j只是一个门面（facet），它不包含具体的实现，而是将一些log4j，java.logging等实现包装成统一的接口。借用下图展示了常用日志文件的关系： 通过上面的图，可以简单的理清关系！ commons-logging和slf4j都是日志的接口，供用户使用，而没有提供实现！ lo... 阅读全文

摘要： 在日志中常用的记录当前时间及程序运行时长的方法： public void inject(Path urlDir) throws Exception { SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss"); ... 阅读全文

摘要： 一、Avro的基本功能1、定义了数据模式文件的语法，一般使用json文件。以及一些数据基本类型与复杂类型。2、定义了数据序列化到文件后的数据格式，此格式可供各种语言进行读取。3、为部分语言定义了序列化文件的读取API，如JAVA等。4、扩展了hadoop的基本mapreduce，提供了用于使用Avr... 阅读全文

摘要： 第一部分：编码基础为什么需要编码：用计算机看得懂的语言（二进制数）表示各种各样的字符。一、基本概念ASCII、Unicode、big5、GBK等为字符集，它们只定义了这个字符集内有哪些字符，以及分别用什么数字表示。而UTF-8与UTF-16则定义了Unicode字符集如何使用计算机看得懂的语言进行传... 阅读全文

摘要： http://www.ibm.com/developerworks/cn/java/j-lo-chinesecoding/几种常见的编码格式为什么要编码不知道大家有没有想过一个问题，那就是为什么要编码？我们能不能不编码？要回答这个问题必须要回到计算机是如何表示我们人类能够理解的符号的，这些符号也就是... 阅读全文

摘要： 简单来说，unicode，gbk和大五码就是编码的值，而utf-8,uft-16之类就是这个值的表现形式．而前面那三种编码是一兼容的，同一个汉字，那三个码值是完全不一样的．如＂汉＂的uncode值与gbk就是不一样的，假设uncode为a040，gbk为b030，而uft-8码，就是把那个值表现的形... 阅读全文