摘要： RawLocalFileSystem是hadoop中实现的本地文件系统，在该类中与文件元数据和目录相关的操作，都是通过适配方式适配到java.io.File的对应API来完成的，适配过程简单，代码清晰。1.文件元数据和目录相关的操作分析下面主要以mkDirs()方法为例来窥探该类的实现和一些独到之处... 阅读全文

摘要： 转自：http://www.iteye.com/topic/1002652CountDownLatch，一个同步辅助类，在完成一组正在其他线程中执行的操作之前，它允许一个或多个线程一直等待。主要方法public CountDownLatch(int count);public voidcountDo... 阅读全文

摘要： public synchronized T register(final String name, final String desc, final T source) { if (this.monitoring) { registerSource(name, desc, source)... 阅读全文

摘要： ${COLUMN:-}如果COLUMN是空变量，或者变量不存在，返回-后面的内容，如果变量有值返回这个值。 阅读全文

摘要： flume 是 cloudera公司研发的日志收集系统，采用3层结构：1. agent层，用于直接收集日志;2.connect 层，用于接受日志; 3. 数据存储层，用于保存日志。由一到多个master管理1和2层节点。本文采用单节点试用flume日志处理。flume 单节点使用示例flume号称水... 阅读全文

摘要： 转自：http://wly719.iteye.com/blog/18273941、syslog格式介绍在Unix类操作系统上，syslog广泛 应用于系统日志。syslog日志消息既可以记录在本地文件中，也可以通过网络发送到接收syslog的服务器。接收syslog的服务器可以对多个设备 的sysl... 阅读全文

摘要： 转自：http://blog.chinaunix.net/uid-25120309-id-3359929.htmlsyslog 系统日志应用1) 概述syslog是Linux系统默认的日志守护进程。默认的syslog配置文件是/etc/syslog.conf文件。程序，守护进程和内核提供了访问系统的... 阅读全文

摘要： 进程cpu资源分配就是指进程的优先权（priority）。优先权高的进程有优先执行权利。配置进程优先权对多任务环境的linux很有用，可以改善系统性能。还可以把进程运行到指定的CPU上，这样一来，把不重要的进程安排到某个CPU，可以大大改善系统整体性能。一、先看系统进程：首先，我想用一个简单的命令来... 阅读全文

摘要： 1.背景 Hadoop在设计时考虑到数据的安全与高效，数据文件默认在HDFS上存放三份，存储策略为本地一份，同机架内其它某一节点上一份，不同机架的某一节点上一份。这样如果本地数据损坏，节点可以从同一机架内的相邻节点拿到数据，速度肯定比从跨机架节点上拿数据要快；同时，如果整个机架的网络出现异常，也能保... 阅读全文

摘要： 0、准备和数据文件比如有一个数据文件，只有一列（在之前可以通过各种手段过滤出只有数字这一列），比如操作的响应时间Txt代码49089811892352021214942701465152936923563563027229761278091681355164618858189771、求和cat da... 阅读全文