痛苦的大数据量数据交换
我们做一个全国性的人事项目时,要求用户采集人员数据和照片数据,由于先前没有考虑照片格式、尺寸等问题,在接收数据时发现各家的照片相差太多,从几十K到几M的都有,这使得数据在上报时数据包特别大,而且经常出现发送不出去的问题,另外我们压缩用的是rar,当文件特别大时,压缩的速度也比较慢。经过数次实验,1万人的数据发带照片时为
总结,由于以前没有做过这么大批数据交换的经验,走了不少弯路,整理出来希望用到的人参考一下。
我们做一个全国性的人事项目时,要求用户采集人员数据和照片数据,由于先前没有考虑照片格式、尺寸等问题,在接收数据时发现各家的照片相差太多,从几十K到几M的都有,这使得数据在上报时数据包特别大,而且经常出现发送不出去的问题,另外我们压缩用的是rar,当文件特别大时,压缩的速度也比较慢。经过数次实验,1万人的数据发带照片时为
总结,由于以前没有做过这么大批数据交换的经验,走了不少弯路,整理出来希望用到的人参考一下。