基于log4j的消息流的实现之一消息获取

需求：

目前的程序中都是基于log4j来实现日志的管理，想要获取日志中的一部分消息，展示给用户。

约束：

由于程序中除了自己开发的代码，还会有层层依赖的第三方jar中的日志输出。需要展示给用户的消息，也有部分包括在第三方的包中。不可能去修改第三方jar来获得消息，所以只能从Log4j本身的消息入手，获取log4j的消息来进行处理。

方案：

第一步，增加新的logger

log4j.rootLogger=INFO, console

log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss,SSS} %-5p %-20c %X{key}  %x - %m%n

log4j.logger.hermes=INFO, hermes
log4j.appender.hermes=org.apache.log4j.ConsoleAppender
log4j.appender.hermes.layout=org.apache.log4j.PatternLayout
log4j.appender.hermes.layout.ConversionPattern=%X{key} %x  %m%n

log4j.logger.org.apache.flink.yarn=INFO, hermes

如上，第1行定义了一个全局的logger，这个没有疑义，所有的日志都会输出到这个logger。

关键是第7行，又定义了一个叫hermes的logger，它有一个同名的appender叫hermes，简化了他的layout，只是拿出必须的输出日志即可。注意这里有一个%X{key}的配置项，这里是为了拿到MDC的值，好区分这条消息是哪个session打印出来的。

第12行也很关键，将包org.apache.flink.yarn的日志都按照hermes是标准输出，这里是包名，当然也可以指定到具体的类名。

如此这样，对于包org.apache.flink.yarn中的日志，会打印两份，一份是以console的形式输出，一份是以hermes的形式输出。

当然，我们不希望在日志中见到两行实质上一样的内容，这就是第二步要做到事情。

第二步：截取消息

这里有两个方案：一个方案是自定义appender，获取消息；一个方案是获取指定的logger，获取消息。

方案1：自定义appender

import org.apache.log4j.AppenderSkeleton;
import org.apache.log4j.LogManager;
import org.apache.log4j.spi.LoggingEvent;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

public class AdapterAppender extends AppenderSkeleton {
    @Override
    protected void append(LoggingEvent loggingEvent) {
        String message = this.layout.format(loggingEvent);
        System.out.println("<<<<<<<<<<***********"+message+"***********>>>>>>>>>>");
    }

    @Override
    public void close() {

    }

    @Override
    public boolean requiresLayout() {
        return true;
    }
}

自定义appender还是很简单的，只要继承AppenderSkeleton即可。其中的append方法就可以拿到日志消息，标准化之后就可以拿来用了。

当然，上面log4j的配置也就需要改下了：

log4j.appender.hermes=cn.123.flink.log.AdapterAppender

方案2：获取logger来获取消息

import java.io.IOException;
import java.io.PipedReader;
import java.io.PipedWriter;
import java.io.Writer;
import java.util.Scanner;

import org.apache.log4j.*;

public class LogAppender extends Thread{

    private PipedReader reader;

    public LogAppender(String appenderName) {
        try {
            Logger root = Logger.getLogger(appenderName);
            // 获取子记录器的输出源
            Appender appender = root.getAppender(appenderName);
            // 定义一个未连接的输入流管道
            reader = new PipedReader();
            // 定义一个已连接的输出流管理，并连接到reader
            Writer writer = new PipedWriter(reader);
            // 设置 appender 输出流
            ((WriterAppender) appender).setWriter(writer);
        }catch (IOException ioe){
            ioe.printStackTrace();
        }
    }

    @Override
    public void run() {
        // 不间断地扫描输入流
        Scanner scanner = new Scanner(reader);
        // 将扫描到的字符流显示在指定的JLabel上
        while (scanner.hasNextLine()) {
            try {
                String line = scanner.nextLine();
                System.out.println("*****************************"+line);
                //睡眠
                Thread.sleep(100);
            } catch (Exception ex) {
                System.out.println("Exception from LogAppender:"+ex.getMessage());
            }
        }
    }
}

 

对比上面的日志的配置，13行的构造函数就可以传入hermes来获取hermes这个logger。

 

参考了下面的文档：

http://logging.apache.org/log4j/1.2/apidocs/org/apache/log4j/PatternLayout.html

http://logging.apache.org/log4j/1.2/apidocs/org/apache/log4j/MDC.html

http://logging.apache.org/log4j/1.2/apidocs/org/apache/log4j/NDC.html

https://logging.apache.org/log4j/2.x/manual/thread-context.html

http://yshjava.iteye.com/blog/1325036

https://stackoverflow.com/questions/2763740/log4j-log-output-of-a-specific-class-to-a-specific-appender

https://stackoverflow.com/questions/5549838/get-live-log4j-messages

https://sysgears.com/articles/how-to-redirect-stdout-and-stderr-writing-to-a-log4j-appender/