推荐一个简单好用的接口——字典序列化

 

一. 我们的需求

     你是否和我一样有如下的困扰：

•      你需要将一个类转换为XML或JSON存储或传输，但总有你不想存储或想特殊处理的字段，用序列化器自身的反射功能就看起来颇为鸡肋了。
•      与MongoDB等键值对数据库做交互，很多ORM框架都无效了，如何写一个通用的数据接口层？而且不用去添加丑陋的"MongoIgnore"这样的attribute?
•      你要将一个对象的属性“拷贝”到另外一个对象，怎么做？C语言的拷贝构造函数？那太原始了。
•      界面绑定：总有一些绑定表达式，想通过动态的形式提交给框架，而不是写死在xaml里，那是否又得在C#里写一堆对象映射的代码了？

     大家肯定都遇到过和我相似的困扰，为了存储或读取某个对象（比如从文件或数据库里读取），你不得不写下大量数据类型转换和赋值语句，而且在程序中不能复用，这样的代码到处都是，真是代码的臭味。 

     由于键值对的概念已经深入人心，于是便有了这样一个叫做“字典序列化”的接口，该接口不是官方定义的，而是我根据实际需求总结的，同时我发现，它真的非常好用。

     废话不说，先看该接口的定义：

  /// <summary>
    /// 进行字典序列化的接口，方便实现键值对的映射关系和重建
    /// </summary>
    public interface IDictionarySerializable
    {
        /// <summary>
        /// 从数据到字典
        /// </summary>
        /// <returns></returns>
        IDictionary<string, object> DictSerialize(Scenario scenario = Scenario.Database);

        /// <summary>
        /// 从字典到数据
        /// </summary>
        /// <param name="dicts">字典</param>
        /// <param name="scenario">应用场景</param>
        void DictDeserialize(IDictionary<string, object> dicts, Scenario scenario = Scenario.Database);
    }  

     它只有两个方法，一个是从字典中读取数据到实体类，另一个是将实体类的数据写入字典。你要做的，就是让你的实体类实现这个接口。

     值得注意的是，函数参数中有一个Scenario枚举，该枚举指定了转换的场景，例如数据库和用户界面，在转换时可能就有一定的区别，程序员可通过实际情况来确定，具体原因可以看下边的部分。你可以传入更多的参数，指示该接口的独特序列化方法。

二. 如何使用？

      先定义一个实体类：Artical, 它是一个简单的POCO类型， 包含Title等六个属性，为了节约篇幅，就不在此声明它了。我们先看如下的代码：

  //define a entity named Artical with following propertynames
   public void DictDeserialize(IDictionary<string, object> dicts)
        {
            Title = (string)dicts["Title"];
            PublishTime = (DateTime)dicts["PublishTime"];
            Author = (string)dicts["Author"];
            ArticalContent = (string)dicts["ArticalContent"];
            PaperID =  (int)dicts["PaperID"];
            ClassID =  (string)dicts["ClassID"];
        }
     public IDictionary<string, object> DictSerialize()
        {
            var dict = new Dictionary<string, object>
                {
                    { "Title", this.Title },
                    { "PublishTime", this.PublishTime.Value },
                    { "Author", this.Author },
                    { "ArticalContent", this.ArticalContent },
                    { "PaperID", this.PaperID.Value },
                    { "ClassID", this.ClassID }
                };
            return dict;
        }

       它指示了最常用的使用场景。可是读者可能会注意到以下问题：

       Title = (string)dicts["Title"]; 

      (1) 如果字典中没有对应的属性项，那么通过索引器读这个属性是会报错的。

      (2) 即使有对应的属性项，可它的值是Null，那么它可能覆盖掉原本是正常的属性值。

      (3) 类型不统一：这个字典可能是由JSON序列化器提供的，或是由某数据库的驱动提供的，那么，一个表示时间的字段，传过来的类型可能是DateTime,也可能是string，如何不用丑陋的代码做复杂的判断和转换呢？

       对此，我们添加了一个IDictionary的扩展方法：

public static T Set<T>(this IDictionary<string, object> dict, string key, T oldValue)
        {
            object data = null;
            if (dict.TryGetValue(key, out data))
            {
                Type type = typeof(T);
                if (type.IsEnum)
                {
                    var index = (T)Convert.ChangeType(data, typeof(int));
                    return (index);
                }
                if (data == null)
                {
                    return oldValue;
                }
                var value = (T)Convert.ChangeType(data, typeof(T));
                return value;
            }

            return oldValue;
        }

 

     于是，从字典中读取数据（字典反序列化），就可以变得像下面这样优雅了， 由于编译器的自动类型推断功能，连T都不用写了。如果数据获取失败，原有值不受影响。

 public void DictDeserialize(IDictionary<string, object> dicts, Scenario scenario = Scenario.Database)
        {
            this.Title = dicts.Set("Title", this.Title);
            this.PublishTime = dicts.Set("PublishTime", this.PublishTime);
            this.Author = dicts.Set("Author", this.Author);
            this.ArticalContent = dicts.Set("ArticalContent", this.ArticalContent);
            this.PaperID = dicts.Set("PaperID", this.PaperID);
            this.ClassID = dicts.Set("ClassID", this.ClassID);  
        }

     可是，又会有人问，如果某属性的类型是List<T>,比如是string的数组呢？

     这个问题会有点复杂，如何保存一个List<string>呢？如果是MongoDB，它的驱动是能直接存储/返回List<string>的，但如果是文件存储，一般会存储成JSON格式，例如["a","b","c","d"]这样的格式，因此我们可以定义如下的扩展方法：

        public static List<T> SetArray<T>(this IDictionary<string, object> dict, string key, List<T> oldValue)
           
        {
            object data = null;

            if (dict.TryGetValue(key, out data))
            {
                var list = data as List<T>;
                if (list != null) return list;
                string str = data.ToString();
                if (str=="[]")
                    return oldValue;
                if (str[0] != '[') return oldValue;
                return JsonConvert.Import<List<T>>(str);
            }
            return oldValue.ToList();
        }

       这里为了转换JSON风格的string,用了第三方的JSON转换库：Jayrock.Json.  如果你自己有数组和string的转换方法，不妨可以写新的扩展方法。

       通过该接口，可方便的实现对象间的数据拷贝：

    public T Copy<T>(T oldValue) where T : IDictionarySerializable, new()
        {
            IDictionary<string, object> data = oldValue.DictSerialize();
            var newValue = new T();
            newValue.DictDeserialize(data);
            return newValue;
        }

 

  三. 如何做数据库接口层？

        有了这样的接口，我们就可以方便的做一个数据接口层，隔离数据库和真实类型了，下面依旧以MongoDB为例。如果我们需要获取表内所有的对象，可用如下的方法：

  /// <summary>
        /// 获取数据库中的所有实体
        /// </summary>
        /// <returns></returns>
        public List<T> GetAllEntitys<T>(string tableName) where T : IDictionarySerializable, new()
        {
            if (this.IsUseable == false)
            {
                return new List<T>();
            }

            IMongoCollection<Document> collection = this.DB.GetCollection<Document>(tableName);
            var documents = collection.FindAll().Documents.ToList();
            var list = new List<T>();
            foreach (Document document in documents)
            {
                var user = new T();
                user.DictDeserialize(document);
                list.Add(user);
            }
            return list;
        }

       如果想更新或保存一个文档，可以用如下的代码：

  /// <summary>
        /// 更新或增加一个新文档
        /// </summary>
        /// <param name="entity"></param>
        /// <param name="tableName">表名 </param>
        /// <param name="keyName"> </param>
        /// <param name="keyvalue"> </param>
        public void SaveOrUpdateEntity(IDictionarySerializable entity, string tableName, string keyName, object keyvalue)
        {
            if (this.IsUseable == false)
            {
                return;
            }
            IMongoCollection<Document> collection = this.DB.GetCollection<Document>(tableName);
            Document document = collection.FindOne(new Document { { keyName, keyvalue } });
            if (document != null)
            {
                this.UpdateDocument(entity, document);
                collection.Save(document);
            }
            else
            {
                Document doc = this.GetNewDocument(entity);
                collection.Save(doc);
            }
        }

  
 private Document GetNewDocument(IDictionarySerializable entity)
        {
            IDictionary<string, object> datas = entity.DictSerialize();

            var document = new Document(datas);

            return document;
        }

        private void UpdateDocument(IDictionarySerializable data, Document document)
        {
            IDictionary<string, object> datas = data.DictSerialize();
            foreach (string key in datas.Keys)
            {
                document[key] = datas[key];
            }
        }

      可以通过泛型或者接口的方法，方便的读取/存储这些数据。

      完整的驱动层代码，在这里：

 

  /// <summary>
    /// Mongo数据库服务
    /// </summary>
    public class MongoServiceBase
    {
        #region Constants and Fields

        protected IMongoDatabase DB;

        protected Mongo Mongo;

        private Document update;

        #endregion

        //链接字符串 

        #region Properties

        public string ConnectionString { get; set; }

        //数据库名 
        public string DBName { get; set; }

        public bool IsUseable { get; set; }

        /// <summary>
        /// 本地数据库位置
        /// </summary>
        public string LocalDBLocation { get; set; }

        #endregion

        #region Public Methods

        /// <summary>
        /// 连接到数据库，只需执行一次
        /// </summary>
        public virtual bool ConnectDB()
        {
            var config = new MongoConfigurationBuilder();

            config.ConnectionString(this.ConnectionString);
            //定义Mongo服务 

            this.Mongo = new Mongo(config.BuildConfiguration());

            if (this.Mongo.TryConnect())
            {
                this.IsUseable = true;
                this.update = new Document();

                this.update["$inc"] = new Document("id", 1);

                this.DB = this.Mongo.GetDatabase(this.DBName);
            }
            else
            {
                this.IsUseable = false;
            }
            return this.IsUseable;
        }

        public T Copy<T>(T oldValue) where T : IDictionarySerializable, new()
        {
            IDictionary<string, object> data = oldValue.DictSerialize();
            var newValue = new T();
            newValue.DictDeserialize(data);
            return newValue;
        }

        /// <summary>
        /// 创建一个自增主键索引表
        /// </summary>
        /// <param name="tableName">表名</param>
        public void CreateIndexTable(string tableName)
        {
            if (this.IsUseable == false)
            {
                return;
            }
            IMongoCollection idManager = this.DB.GetCollection("ids");
            Document idDoc = idManager.FindOne(new Document("Name", tableName));
            if (idDoc == null)
            {
                idDoc = new Document();
                idDoc["Name"] = tableName;
                idDoc["id"] = 0;
            }

            idManager.Save(idDoc);
        }

        /// <summary>
        /// 获取数据库中的所有实体
        /// </summary>
        /// <returns></returns>
        public List<T> GetAllEntitys<T>(string tableName) where T : IDictionarySerializable, new()
        {
            if (this.IsUseable == false)
            {
                return new List<T>();
            }

            IMongoCollection<Document> collection = this.DB.GetCollection<Document>(tableName);
            List<Document> documents = collection.FindAll().Documents.ToList();
            var list = new List<T>();
            foreach (Document document in documents)
            {
                var user = new T();
                user.DictDeserialize(document);
                list.Add(user);
            }
            return list;
        }

        /// <summary>
        /// 获取一定范围的实体
        /// </summary>
        /// <param name="tableName"></param>
        /// <param name="type"></param>
        /// <param name="mount"></param>
        /// <param name="skip"></param>
        /// <returns></returns>
        public List<IDictionarySerializable> GetAllEntitys(string tableName, Type type)
        {
            if (this.IsUseable == false)
            {
                return new List<IDictionarySerializable>();
            }

            List<Document> docuemts = this.DB.GetCollection<Document>(tableName).FindAll().Documents.ToList();
            var items = new List<IDictionarySerializable>();
            foreach (Document document in docuemts)
            {
                object data = Activator.CreateInstance(type);
                var suck = (IDictionarySerializable)data;
                suck.DictDeserialize(document);
                items.Add(suck);
            }
            return items;
        }

        /// <summary>
        /// 获取一定范围的实体
        /// </summary>
        /// <param name="tableName"></param>
        /// <param name="type"></param>
        /// <param name="mount"></param>
        /// <param name="skip"></param>
        /// <returns></returns>
        public List<IDictionarySerializable> GetEntitys(string tableName, Type type, int mount, int skip)
        {
            if (this.IsUseable == false)
            {
                return new List<IDictionarySerializable>();
            }

            List<Document> docuemts =
                this.DB.GetCollection<Document>(tableName).FindAll().Skip(skip).Limit(mount).Documents.ToList();
            var items = new List<IDictionarySerializable>();
            foreach (Document document in docuemts)
            {
                object data = Activator.CreateInstance(type);
                var suck = (IDictionarySerializable)data;
                suck.DictDeserialize(document);
                items.Add(suck);
            }
            return items;
        }

        public List<T> GetEntitys<T>(string tableName, int mount, int skip) where T : IDictionarySerializable, new()
        {
            if (this.IsUseable == false)
            {
                return new List<T>();
            }

            ICursor<Document> collection = this.DB.GetCollection<Document>(tableName).Find(null).Skip(skip).Limit(mount);

            var users = new List<T>();
            foreach (Document document in collection.Documents)
            {
                var user = new T();
                user.DictDeserialize(document);
                users.Add(user);
            }
            return users;
        }

        /// <summary>
        /// 直接插入一个实体
        /// </summary>
        /// <param name="user"></param>
        /// <param name="tableName"></param>
        public bool InsertEntity(IDictionarySerializable user, string tableName, string key, out int index)
        {
            if (this.IsUseable == false)
            {
                index = 0;
                return false;
            }

            IMongoCollection<Document> collection = this.DB.GetCollection<Document>(tableName);
            IMongoCollection idManager = this.DB.GetCollection("ids");
            Document docID = idManager.FindAndModify(this.update, new Document("Name", tableName), returnNew: true);

            //下面三句存入数据库
            Document doc = this.GetNewDocument(user);

            doc[key] = docID["id"];
            index = (int)docID["id"];
            ;
            collection.Save(doc);
            return true;
        }

        public void RepairDatabase()
        {
            bool local = (this.ConnectionString.Contains("localhost") || this.ConnectionString.Contains("127.0.0.1"));
            if (local == false)
            {
                throw new Exception("MongoDB数据库不在本地，无法启动自动数据库修复");
            }

            var mydir = new DirectoryInfo(this.LocalDBLocation);
            FileInfo file = mydir.GetFiles().FirstOrDefault(d => d.Name == "mongod.lock");
            if (file == null)
            {
                throw new Exception("修复失败，您是否没有安装MongoDB数据库");
            }
            try
            {
                File.Delete(file.FullName);
                string str = CMDHelper.Execute("net start MongoDB");
            }
            catch (Exception ex)
            {
            }
        }

        /// <summary>
        /// 更新或增加一个新文档
        /// </summary>
        /// <param name="entity"></param>
        /// <param name="tableName">表名 </param>
        /// <param name="keyName"> </param>
        /// <param name="keyvalue"> </param>
        public void SaveOrUpdateEntity(
            IDictionarySerializable entity, string tableName, string keyName, object keyvalue)
        {
            if (this.IsUseable == false)
            {
                return;
            }
            IMongoCollection<Document> collection = this.DB.GetCollection<Document>(tableName);
            Document document = collection.FindOne(new Document { { keyName, keyvalue } });
            if (document != null)
            {
                this.UpdateDocument(entity, document);
                collection.Save(document);
            }
            else
            {
                Document doc = this.GetNewDocument(entity);
                collection.Save(doc);
            }
        }

        public bool TryFindEntity<T>(string tableName, string keyName, object keyvalue, out T result)
            where T : class, IDictionarySerializable, new()
        {
            IMongoCollection<Document> collection = this.DB.GetCollection<Document>(tableName);
            Document document = collection.FindOne(new Document { { keyName, keyvalue } });
            if (document == null)
            {
                result = null;
                return false;
            }
            result = new T();
            try
            {
                result.DictDeserialize(document);
            }
            catch (Exception ex)
            {
                XLogSys.Print.Error(ex);
            }

            return true;
        }

        #endregion

        #region Methods

        private Document GetNewDocument(IDictionarySerializable entity)
        {
            IDictionary<string, object> datas = entity.DictSerialize();

            var document = new Document(datas);

            return document;
        }

        private void UpdateDocument(IDictionarySerializable data, Document document)
        {
            IDictionary<string, object> datas = data.DictSerialize();
            foreach (string key in datas.Keys)
            {
                document[key] = datas[key];
            }
        }

        #endregion
    }

 

四.一些问题

      下面我们讨论一些遇到的问题：

•     为什么不用反射来读写字段？而非要显式的实现这两个接口呢？

          性能是首先要考虑的，而实现这两个接口意味着更多的控制权和灵活性。 另外，对于很多键值对的数据库来说，“Key”也是要占用存储空间的，而且占用不少。如果实体类中字段属性特别长，那么就会占用可观的存储，MongoDB就是如此。因此，在读写数据库的场景中，应当保持Key较短。 

•     IDictionary<string, object> 的object是不是会有性能影响？

          由于保存的是String-object的键值对形式，因此不可避免的存在装箱和拆箱操作，在数据量大时，性能损耗肯定还是有的。不过，大部分数据库驱动不也有大量这种操作么？毕竟只需要读写一次即可，性能损失可忽略不计，再说，还有更好的方法么？

•     是否能通过该接口实现LINQ查询甚至SQL查询？

      应该是可以的，它建立了属性与名称的映射关系，因此可以通过该接口实现LINQ和SQL解析器，实现查询等功能。

•     为什么不用官方的ISerializable接口呢？

      原因如第一条，依靠attribute的方法没有灵活性，同时，对二进制序列化等操作，实现起来也比较困难。

五. 其他应用场景

         除了上面介绍的应用场景之外，该接口还能用于如下用途：

•   环境和模块配置： 可以方便的将环境中所有的配置以键值对的方式存储，并在需要的时候加载
•   RPC: 由于实现了到XML/JSON的方便转换，可以很容易的实现远程过程调用
•   Word文档导出：该接口包含了键值对，因此在Word模板中，可以写上Key， 通过该接口，一次性全部替换即可，非常方便。
•   界面绑定： 通过该接口实现动态的Binding语法。

      一个方便的东西，应该是简单的。通过该接口获得的好处非常多，还需要大家去挖掘。值得提出的是，它也能应用在其他语言上，比如JAVA, 用HashMap<String,Object>来实现类似的需求。

       如果有任何问题，欢迎讨论！