订餐系统之按距离[根据经纬度]排序、搜索
上周六，写了第一篇博客《订餐系统之权限设计》，在此感谢那些鼓励、关注我的园友们，更要感谢那些提出宝贵建议的朋友们。看了你们的评论，才真切的感受到：朋友们的评论往往会让文章更有看点。上篇文章中 郑明、人生就是赌 等几个园友的留言让我对我们系统的权限优化有了方向。当然，这样的优化肯定不是一天两天的事，做技术的朋友应该都知道：一个难题经常啃啃，某天也许就有了好的方案了（近段时间啃掉了几个2、3年前未处理好的的问题，才想起初中数学老师让我们经常啃一些竞赛题的良苦用心），今天的文章说的就是一个从2010年就想优化，但一直未优化好的功能，也从 幸福框架的评论中，看到了他的博客，更是从他博客的留言中，找到了处理：按日期+6位顺序号生成订单编号（主要处理并发的情况）的方案，之前有客户要这样生成订单编号，我只能回复实现不了，因为当时只知道，每次获取最大的订单编号，处理不了并发的情况，惭愧。
关于这个标题，我还是交代下背景吧。这个问题从2010年第一次实现时，就觉得当时那种方案太差了，自己都看不去，只因没有别的办法，从那以后，每每得空，就拿出来琢磨下，现在这个方案也许还有不少问题，也希望各位指点下。我们是做订餐系统的，主要实体就是商家（有坐标）和用户（有坐标）。所以就有这么个需求，返回距离N公里内的商家，按距离从近到远排序。先看下，数据库设计吧，如图（1）：
图（1）
下面我先介绍下这几个表的关系吧：
ETogo ：商家表，dataid表示商家编号，togoname表示商家名称。
ETogoLocalInfo：商家定位表，togoid对应etogo.dataid,lat表示商家纬度，lng表示商家经度（经纬度在地图上标注所得）
EAddress ：用户地址表，保存用户的经纬度，lat表示用户纬度，lng表示用户经度（经纬度在地图上标注所得）
生活的经验告诉我们：一条成功的路，背后总有数不完的错误的路。下面我把那些曾经错误的路也写下来，以作对比。
2010年方案
当时年少，对sql基本只会简单的select，更多的东西依赖于应用程序，于是有了下面的代码，由于对第二页的处理不了，所以用了方法：getDistancetogoid获取前N页的id然后再处理，里面关于距离的语句每次同事用到都抱怨，如果再加的N公里内的，这个语句就麻烦了。
/// <summary> /// 获取列表，返回距离排序(出现商家重复的现象目前不采用) /// </summary> /// <param name="pagesize">每页大小</param> /// <param name="pageindex">当前页数</param> /// <param name="strWhere">搜索条件</param> /// <param name="orderName">排序字段</param> /// <param name="orderType">排序类型</param> /// <param name="mylat">用户纬度</param> /// <param name="mylng">用户经度</param> /// <returns></returns> public IList<TogoInfo> GetDistanceList(int pagesize, int pageindex, string strWhere, string orderName, int orderType, string mylat, string mylng) { IList<TogoInfo> infos = new List<TogoInfo>(); string ids = ""; if (pageindex > 1) { ids = getDistancetogoid(pagesize, pageindex, strWhere, orderName, orderType, mylat, mylng); if (ids == "") { return infos; } } SqlParameter[] parameters = { new SqlParameter("@tblName", SqlDbType.VarChar,255), new SqlParameter("@strGetFields", SqlDbType.VarChar,2000), new SqlParameter("@primary", SqlDbType.VarChar,255), new SqlParameter("@orderName", SqlDbType.VarChar,255), new SqlParameter("@PageSize", SqlDbType.Int), new SqlParameter("@PageIndex", SqlDbType.Int), new SqlParameter("@OrderType", SqlDbType.Bit), new SqlParameter("@strWhere", SqlDbType.VarChar,4500), new SqlParameter("@ids", SqlDbType.VarChar,2000) }; string orderstr = orderType > 0 ? "desc" : "asc"; parameters[0].Value = "etogo"; string field = "*, (select Lat from ETogoLocalInfo where togoid = etogo.dataid) as lat ,(select lng from ETogoLocalInfo where togoid = etogo.dataid) as lng, (select lastlogindate from ETogoPrinter where ETogoPrinter.togoid = etogo.dataid ) lastlogindate,(select (Case when DateDiff(mi,LastLoginDate,getdate()) < 5 then 1 else 0 end) from etogoprinter where ETogoPrinter.togoid = etogo.dataid) as online"; field += ",(( 6371 * acos( cos( radians(" + mylat + ") ) * cos( radians( (select Lat from ETogoLocalInfo where togoid = etogo.dataid) )) * cos( radians( (select lng from ETogoLocalInfo where togoid = etogo.dataid) ) - radians(" + mylng + ") ) + sin( radians(" + mylat + ") ) * sin( radians( (select Lat from ETogoLocalInfo where togoid = etogo.dataid) ) ) ) )) as Distance "; field += " ,CASE WHEN( ( CONVERT(varchar(12) , Time1Start, 114 ) < CONVERT(varchar(12) , getdate(), 114 )"; field += "and CONVERT(varchar(12) , Time1End, 114 ) > CONVERT(varchar(12) , getdate(), 114 )"; field += ") or ( CONVERT(varchar(12) , Time2Start, 114 ) < CONVERT(varchar(12) , getdate(), 114 )"; field += "and CONVERT(varchar(12) , Time2End, 114 ) > CONVERT(varchar(12) , getdate(), 114 )"; field += ") )THEN 1 ELSE 0 END AS havenew "; parameters[1].Value = field; parameters[2].Value = "DataID"; parameters[3].Value = orderName; parameters[4].Value = pagesize; parameters[5].Value = pageindex; parameters[6].Value = orderType; parameters[7].Value = strWhere; parameters[8].Value = ids; using (SqlDataReader dr = SQLHelper.ExecuteReader(CommandType.StoredProcedure, "pageselectpri_togo", parameters)) { while (dr.Read()) { TogoInfo info = new TogoInfo(); info.DataID = HJConvert.ToInt32(dr["DataID"]); info.Picture = HJConvert.ToString(dr["Picture"]); info.TogoName = HJConvert.ToString(dr["TogoName"]); int isonline = HJConvert.ToInt32(dr["havenew"]); if (togostatus == 1 && isonline == 1) { info.Status = 1; } else { info.Status = 0; } string _distance = HJConvert.ToString(dr["Distance"]); if (mylat == "0" || _distance == "") { info.mydistance = "0"; } else { info.mydistance = Convert.ToString(Convert.ToInt32(Convert.ToDecimal(_distance) * 1000)); } info.Lat = HJConvert.ToString(dr["Lat"]); if (info.Lat == "") { info.Lat = "0"; } info.Lng = HJConvert.ToString(dr["Lng"]); if (info.Lng == "") { info.Lng = "0"; } infos.Add(info); } } return infos; } /// <summary> /// 获取所有商家的名称和对应的编号 /// </summary> /// <param name="pagesize">每页大小</param> /// <param name="pageindex">当前页数</param> /// <param name="strWhere">搜索条件</param> /// <param name="orderName">排序字段</param> /// <param name="orderType">排序类型</param> /// <param name="mylat">用户纬度</param> /// <param name="mylng">用户经度</param> public string getDistancetogoid(int pagesize, int pageindex, string sqlwhere, string sortname, int ordertype, string mylat, string mylng) { string ids = ""; string orderstr = ordertype > 0 ? "desc" : "asc"; int top = (pageindex - 1) * pagesize; string field = "select top " + top + " dataid"; field += ",(( 6371 * acos( cos( radians(" + mylat + ") ) * cos( radians( (select Lat from ETogoLocalInfo where togoid = etogo.dataid) )) * cos( radians( (select lng from ETogoLocalInfo where togoid = etogo.dataid) ) - radians(" + mylng + ") ) + sin( radians(" + mylat + ") ) * sin( radians( (select Lat from ETogoLocalInfo where togoid = etogo.dataid) ) ) ) )) as Distance "; field += " from etogo where " + sqlwhere + " order by " + sortname + " " + orderstr + " , dataid desc"; using (SqlDataReader dr = SQLHelper.ExecuteReader(CommandType.Text, field, null)) { while (dr.Read()) { ids += dr["dataid"] + ","; } } ids = System.Text.RegularExpressions.Regex.Replace(ids, @",$", ""); return ids; }
以下是代码中用到的分页存储过程：pageselectpri_togo
CREATE PROCEDURE [dbo].[pageselectpri_togo] @tblName varchar(255), -- 表名 @strGetFields varchar(1000) = '*', -- 需要返回的列 @primary varchar(255)='', -- 主键的字段名 @orderName varchar(255)='', --要排序的字段名 @PageSize int = 10, -- 页尺寸 @PageIndex int = 1, -- 页码 @OrderType bit = 0, -- 设置排序类型, 非 0 值则降序 @strWhere varchar(1500) = '', -- 查询条件 (注意: 不要加 where) @ids varchar(2000) AS declare @strSQL varchar(5000) -- 主语句 declare @strTmp varchar(110) -- 临时变量 declare @strOrder varchar(400) -- 排序类型 if @OrderType != 0 begin set @strTmp = ' not in (select ' set @strOrder = ' order by ' + @orderName +' desc' if @orderName <> @primary begin set @strOrder = @strOrder + ',[' + @primary +'] desc' end --如果@OrderType不是0，就执行降序，这句很重要！ end else begin set @strTmp = ' not in (select ' set @strOrder = ' order by ' + @orderName +' asc' if @orderName <> @primary begin set @strOrder = @strOrder + ',[' + @primary +'] asc' end end if @PageIndex = 1 begin if @strWhere != '' set @strSQL = 'select top ' + str(@PageSize) +' '+@strGetFields+ ' from [' + @tblName + '] where ' + @strWhere + ' ' + @strOrder else set @strSQL = 'select top ' + str(@PageSize) +' '+@strGetFields+ ' from ['+ @tblName + '] '+ @strOrder --如果是第一页就执行以上代码，这样会加快执行速度 end else--后面的页数 begin --以下代码赋予了@strSQL以真正执行的SQL代码 set @strSQL = 'select top ' + str(@PageSize) +' '+@strGetFields+ ' from [' + @tblName + '] where [' + @primary + ']' + @strTmp + '['+ @primary + '] from (select top ' + str((@PageIndex-1)*@PageSize) + ' ['+ @primary + '] from [' + @tblName + ']) as tblTmp)'+ @strOrder if @strWhere != '' set @strSQL = 'select top ' + str(@PageSize) +' '+@strGetFields+ ' from [' + @tblName + '] where [' + @primary + '] not in ( '+@ids+' ) and ' + @strWhere + ' ' + @strOrder end exec (@strSQL)
此方案用时基本没有问题，但是就是太麻烦了，一个不留神，sql语句就拼错了。
2011年方案
从那时实现了之前的方案后，后面的项目都沿用，每每用起时，心中总会不痛快，于是开始经常关注这个，一次机会看到了下面的代码（之前一篇博客中看到的，已太久了，记不起出处了，哪位看到别介意），这个方案中也是大量拼接sql，很容易就出错了，另外，对最后一页还要做特别的处理，只因可以用一个方法（2010年方案要用两个方法，查两次数据库）实现，就放到项目中了，后来，经常有重复的商家，或者有些未显示出来，于是部分项目又用了2010年的方案，那个是麻烦，但至少没有错误。
/// <summary> /// 获取列表，返回距离排序 /// </summary> /// <param name="pagesize">每页大小</param> /// <param name="pageindex">当前页数</param> /// <param name="strWhere">搜索条件</param> /// <param name="orderName">排序名称</param> /// <param name="orderType">排序类型</param> /// <param name="mylat">用户纬度</param> /// <param name="mylng">用户经度</param> /// <returns></returns> public IList<TogoInfo> GetDistanceList(int pagesize, int pageindex, string strWhere, string orderName, int orderType, string mylat, string mylng) { IList<TogoInfo> infos = new List<TogoInfo>(); StringBuilder sb = new StringBuilder(); string distancepstr = "(( 6371 * acos( cos( radians(" + mylat + ") ) * cos( radians( (b.lat) )) * cos( radians( (b.lng) ) - radians(" + mylng + ") ) + sin( radians(" + mylat + ") ) * sin( radians( ( b.Lat) ) ) ) )) as Distance "; int endrow = pagesize * pageindex; string ordertype = orderType == 1 ? "desc" : "asc"; string _ordertype = orderType == 0 ? "desc" : "asc"; sb.Append("select a.* ,b.* ,"); sb.Append(distancepstr); string field = " CASE WHEN( ( CONVERT(varchar(12) , Time1Start, 114 ) < CONVERT(varchar(12) , getdate(), 114 )"; field += "and CONVERT(varchar(12) , Time1End, 114 ) > CONVERT(varchar(12) , getdate(), 114 )"; field += ") or ( CONVERT(varchar(12) , Time2Start, 114 ) < CONVERT(varchar(12) , getdate(), 114 )"; field += "and CONVERT(varchar(12) , Time2End, 114 ) > CONVERT(varchar(12) , getdate(), 114 )"; field += ") )THEN 1 ELSE 0 END AS havenew"; sb.Append(" , "+ field); sb.Append(" from etogo as a left join ETogoLocalInfo as b on a.dataid = b.togoid "); sb.Append(" where a.dataid in "); sb.Append(" ( select top " + pagesize + " dataid from "); sb.Append(" (select top " + endrow + " a.dataid , " + distancepstr + ",sortnum from etogo as a left join ETogoLocalInfo as b on a.dataid = b.togoid where " + strWhere); sb.Append(" order by " + orderName + " " + ordertype + "" + " ,a.dataid desc ) as mytepm "); sb.Append(" order by " + orderName + " " + _ordertype + "" + ", dataid asc )"); sb.Append(" order by " + orderName + " " + ordertype + "" + ", a.dataid desc "); //Hangjing.Common.HJlog.toLog(sb.ToString()); using (SqlDataReader dr = SQLHelper.ExecuteReader(CommandType.Text,sb.ToString(), null)) { while (dr.Read()) { TogoInfo info = new TogoInfo(); info.DataID = HJConvert.ToInt32(dr["DataID"]); info.Picture = HJConvert.ToString(dr["Picture"]); info.TogoName = HJConvert.ToString(dr["TogoName"]); int togostatus = HJConvert.ToInt32(dr["Status"]); int isonline = HJConvert.ToInt32(dr["havenew"]); if (togostatus == 1 && isonline == 1) { info.Status = 1; } else { info.Status = 0; } info.mydistance = HJConvert.ToString(dr["Distance"]); if (info.mydistance == "") { info.mydistance = "-1"; } info.Lat = HJConvert.ToString(dr["Lat"]); info.Lng = HJConvert.ToString(dr["Lng"]); infos.Add(info); } } return infos; }
2013年方案
终于有一次再也忍受不了了，于是下定决心要优化（当然，就我目前的水平，想到的更多还是方便书写）了，当前就想了一点，不在程序中拼接距离的sql语句。经过多次修改，于是有了下面的代码：
-- ============================================= -- Author: jijunjian -- Create date: 2013-5-7 -- Description: 获取商家列表（含坐标，按距离排序） -- 调用 EXEC ETogo_GetShopListWithDistance 10,1,'distance','asc','1=1','30.313035','120.390998','distance<1' -- ============================================= CREATE PROCEDURE [dbo].[ETogo_GetShopListWithDistance] @pagesize int, --分页大小 @pageindex int, --页码 @orderfield varchar(20),--排序字段名称 @ordertype varchar(5), --排序类别 desc asc @where varchar(2000), --查询条件 @lat VARCHAR(50),--用户纬度 @lng VARCHAR(50),--用户经度, @otherwhere VARCHAR(2000)--这个条件是用来判断距离，及根据营业时间的状态条件 AS DECLARE @startRow int, @endRow int, @sql varchar(4000), @ordername varchar(200)--排序字段 SET @ordername = '( 6371 * acos( cos( radians(' + @lat + ') ) * cos( radians( Lat )) * cos( radians( lng ) - radians(' + @lng + ') ) + sin( radians(' + @lat + ') ) * sin( radians( Lat ) ) ) )' IF @otherwhere = '' SET @otherwhere = '1=1' SET @startRow = (@pageindex - 1) * @pagesize + 1 SET @endRow = @startRow + @pagesize - 1 SET @sql = ' SELECT * FROM ( select *,row_number() over(order by '+@orderfield+' '+@ordertype+') as [rowid] from ( select '+@ordername+' as distance,dbo.ETogo.*,ETogoLocalInfo.Lat,ETogoLocalInfo.Lng, CASE WHEN( ( CONVERT(varchar(12) , Time1Start, 114 ) < CONVERT(varchar(12) , getdate(), 114 ) and CONVERT(varchar(12) , Time1End, 114 ) > CONVERT(varchar(12) , getdate(), 114 ) ) or ( CONVERT(varchar(12) , Time2Start, 114 ) < CONVERT(varchar(12) , getdate(), 114 ) and CONVERT(varchar(12) , Time2End, 114 ) > CONVERT(varchar(12) , getdate(), 114 ) ) )THEN 1 ELSE 0 END AS havenew from etogo LEFT JOIN ETogoLocalInfo ON etogo.dataid=ETogoLocalInfo.togoid WHERE '+ @where +' ) m where '+ @otherwhere +' )m2 WHERE ROWID BETWEEN '+convert(varchar(5), @startRow) +' AND '+ convert(varchar(5), @endRow)+ ' ' print @sql EXEC(@sql)
这个方案让我们搜索N公里内的代码变得简单了 ：@otherwhere 参数 设置成 ：distance < n 即可了。按距离排序只用：@orderfield=‘distance’就可以了。程序中再也不用出现距离两点距离的sql语句，另一个意外收获就是让我搜索营业中的商家也变得简单了（我们营业根据商家设置的两个时间段（如：8:00-12:00 16:00-20:00）及一个状态值而定）.
以上便是此问题这几年的优化历程，当然，可能很多人对我们行业不了解，也可能我只是抽出了代码片段，很多人看了可能还是会不知所云，不过我想真正想研究这个问题的人看了，就应该能明白了。2013年的方案，可能还有不少问题，或者可以再进一步优化。希望有部分人能用到的同时 ，也能对此方案提出更多更好的意见或建议。
成为一名优秀的程序员！
