使用MongoDB 记录业务日志

      最近公司有个需求，要对业务日志进行记录并根据日志排查问题，以前都是使用log4net之类的日志组件来记录到文件，这种方式已经不能满足业务的需要，因为日志文件会很大，即使进行分割后，查找也是很不方便，何况现在项目基本都是分布式，会有多台应用服务器，那么就需要把多台服务器上的日志弄到一起，十分的麻烦，经过选择后ELK进入视线，测试环境也搭建了一套，现在唯一的问题就是怎么把多台服务器上的日子泵出到elstaticsearch中，我们的应用服务器都是windows，所以需要在每一台应用服务器上安装一个服务，如：NXlog之类的，经过考虑觉得这种方式太麻烦，所以决定把日志先记录到MongoDb，先实现简单的日志查询，再统一从MongoDb将数据泵出到elstaticsearch中，思路有了，开始动手测试。

第一步，插入测试数据，MongoDb数据库我是安装在本地一个linux虚拟机里，插入1000000条数据耗时8分钟，有兴趣的童鞋自己测试一下，用来存储日志完全没有问题，废话不多说了，上代码：

        static void Main(string[] args)
        {
            try
            {
#region 插入测试数据
                //var sw = new Stopwatch();
                //sw.Start();
                //string tableName = "InsuranceLog";
                //for (var i = 0; i < 1000000; i++)
                //{
                //    var lb = new LogBase<InsuranceLog>()
                //    {
                //        Message = new InsuranceLog
                //        {
                //            BusinessKey = i.ToString(),
                //            BusinessName = "政策查询" + i,
                //            BusinessParameters = "根据实际需要组织<xml><OrderId>AutoHome" + i + "</OrderId></xml>"
                //        }
                //    };

                //    InsertOneLogToMongoDbAsync(lb, tableName);
                //}
                //sw.Stop();
                //Console.WriteLine("插入100000条数据耗时：" + sw.ElapsedMilliseconds + "ms");
#endregion

#region 根据条件从1000000条数据中获取指定数据
                var sw = new Stopwatch();
                sw.Start();
                var obj = GetList();
                sw.Stop();
                Console.WriteLine("从100000条数据获取指定数据耗时：" + sw.ElapsedMilliseconds + "ms");
                foreach (var o in obj)
                {
                    if (o.Message != null)
                    {
                        Console.WriteLine("调用时间："+o.CallTime);
                        Console.WriteLine("业务key：" + o.Message.BusinessKey);
                        Console.WriteLine("业务名称：" + o.Message.BusinessName);
                        Console.WriteLine("业务参数：" + o.Message.BusinessParameters);
                    }
                }
#endregion
                Console.ReadKey();
            }
            catch (Exception ex)
            {
                throw;
            }
        }


        /// <summary>
        /// 从MongoDb 获取数据
        /// </summary>
        /// <returns></returns>
        static List<LogBase<InsuranceLog>> GetList()
        {
            try
            {
                var client = new MongoClient("mongodb://192.168.21.129:27017");
                var database = client.GetDatabase("logs");
                var collection = database.GetCollection<LogBase<InsuranceLog>>("InsuranceLog");
                var b = (from x in collection.AsQueryable()
                         where x.CallTime.StartsWith("201604281414")
                         && x.CallTime.EndsWith("000")
                         select x).ToList();
                return b;
            }
            catch (Exception ex)
            {
                throw;
            }
        }


        /// <summary>
        /// 插入单条数据
        /// </summary>
        /// <typeparam name="T"></typeparam>
        /// <param name="t"></param>
        /// <param name="name"></param>
        static async Task InsertOneLogToMongoDbAsync<T>(T t, string name)
        {
            try
            {
                var client = new MongoClient("mongodb://192.168.21.129:27017");
                var database = client.GetDatabase("logs");
                var collection = database.GetCollection<T>(name);
                await collection.InsertOneAsync(t);
            }
            catch (Exception ex)
            {
                throw;
            }
        }

主要测试点在查询上，要根据条件快速检索出需要的数据，我测试了一下，单条数据大概是800ms左右，我的查询条件取出来38条数据，耗时842ms，

 

重点：日志基类，扩展性很好，支持自定义实体类

    /// <summary>
    ///     日志基类
    /// </summary>
    [BsonIgnoreExtraElements]
    public class LogBase<T>
    {
        public LogBase()
        {
            CallTime = DateTime.Now.ToString("yyyyMMddHHmmssfff");
            SerialNo = Guid.NewGuid().ToString("N");
            ClientType = "1";
            Message = default(T);
            var myEntry = Dns.GetHostEntry(Dns.GetHostName());
            var address = myEntry.AddressList.FirstOrDefault(e => e.AddressFamily.ToString().Equals("InterNetwork"));
            if (address == null) return;
            var ip = address.ToString();
            HostIp = ip;
        }

        /// <summary>
        ///     调用时间，格式：yyyyMMddHH24mmss
        /// </summary>
        public string CallTime { get; private set; }

        /// <summary>
        ///     消息序列号 UUID
        /// </summary>
        public string SerialNo { get; private set; }

        /// <summary>
        ///     客户端IP地址
        /// </summary>
        public string HostIp { get; private set; }

        /// <summary>
        ///     客户端类型:1:pc 2:手机
        /// </summary>
        public string ClientType { get; private set; }

        /// <summary>
        ///     业务信息
        /// </summary>
        public T Message { get; set; }

    }

测试程序用到的自定义日志类：

public class InsuranceLog
    {
        /// <summary>
        ///     当前登录用户
        /// </summary>
        public string UserName { get; set; }

        /// <summary>
        ///     业务key
        /// </summary>
        public string BusinessKey { get; set; }

        /// <summary>
        ///     业务名称 如：查询政策  下订单  查看订单
        /// </summary>
        public string BusinessName { get; set; }

        /// <summary>
        ///     业务参数
        /// </summary>
        public string BusinessParameters { get; set; }
    }

未完待续