数据量过大,导致数据库text存不下

  今天发布了新小组的第一个任务,这个任务是统计销售一段时间的数据,统计完成后再序列化存入到数据库一个text字段。当统计线上全部的销售时,因为线上有离职销售,所以统计出来的数据量就超过了text字段长度(65535),导致数据没有存放下。

  后来和组长讨论了下,打算将离职销售全部归为一类展示,那样销售数据量就不会太大超过text长度。但是发布线上后发现数据量还是太大了,因此再改代码,使用落地文件,将统计数据存入到fastdfs中,存入前使用php gzencode将数据压缩存入,本地测试数据压缩率在6倍以上,效果还是很明显的,然后将文件地址存放到数据库,这样就不会再超长度了。

  因此后续在统计销售数据时,需要考虑到数据量大小,太多了然后序列化后可能会超出text长度

posted @ 2020-01-07 22:10  星月残雪  阅读(1673)  评论(0编辑  收藏  举报