WebGIS项目中利用mysql控制点库进行千万条数据坐标转换时的分表分区优化方案

文章版权由作者李晓晖和博客园共有，若转载请于明显处标明出处：http://www.cnblogs.com/naaoveGIS/

1. 背景

项目中有1000万条历史案卷，为某地方坐标系数据，我们的真实需求是将地方坐标系坐标反转成WGS84坐标，如果现在需要将其转换成百度坐标系数据。常规方案是先建立好整个该市的本地坐标和百度坐标之间的控制点库后再进行转换。但是在具体实施中发现转换特别慢，由于控制点库也有200多万条记录，大概一个点需要一秒钟才能转换完。

2.将Update变成Insert关键字段值的优化——优化1

最开始采用的是坐标转换完后，直接update历史案卷表。由于update的效率是相对低的，尤其是有一千万条记录时，即使对主键也做了索引，依然效率不高。这里便采用新建一张空表再insert的方案。同时考虑到不必要的字段太多，数据量太大，所以只将历史案卷的主键和坐标insert到新表中的方案进行优化。大概一个坐标转完可以是0.9秒左右，有一定提高，但不是特别明显。

3进行分表的优化——优化2

原始算法的转换步骤是：先从历史案卷表中获取一条记录，再根据记录坐标去控制点库获取该坐标对应的四角坐标的坐标值，然后再根据算法转换。

最明显的瓶颈将出现在：

a.从历史案卷中获取坐标的时间。

b.从控制点库中获取到两条记录（左上角控制点对，右下角控制点对）的时间。

可以想象，每次遍历完整控制点库是最消耗效率的地方。所以这里将采用对控制点库进行分库的优化方法。具体思路为，将控制点库按照每隔2万米，分割成一个独立的表。当坐标进行转换时，首先算出坐标落在哪个控制点表中，然后查询该表进行转换。

 

现在测试将控制点库分成了16个表，效率提高到一秒钟可以转换5个点，大概也就是0.2秒转换一个。可以预见如果分更多表效率将更大的提高。不过考虑到避免数据太过碎片化不利于管理。这里将再进行分区的优化尝试。

 

4.进行分区的优化——优化3

Mysql中提供了Range、List、Hash、Key四种分区方法，这里由于是地理坐标范围，所以采用Range来进行分区。目前将进行每5000M的范围做一个分区。

 

改完后效率变成了一秒可以转换20个左右坐标。

5.再次优化插入数据——优化4

由于待转换数据太多，导致插入数据在进入几十万条后明显变慢。并且之前是转换完一条就立马插入，这也导致数据库操作频繁，效率下降。

所以这里改成：

a.批量插入，即以事物形式一次插入千条数据。

b.分表插入，当插入满50万条后，则创建新的表，继续插入。

这次修改后，效率又提高不少，大概到每秒转换30多个点。

6.代码级别优化，开启多线程——优化5

启用多线程进行转换，目前开启四个线程。转换效率可以达到每秒100个左右。

 

　　　　　　　　　　　　　　　　　　　　   -----欢迎转载，但保留版权，请于明显处标明出处：http://www.cnblogs.com/naaoveGIS/

                                                                如果您觉得本文确实帮助了您，可以微信扫一扫，进行小额的打赏和鼓励，谢谢 ^_^