数据结转性能优化，效果明显到不解释！

支付中心数据结转服务的逻辑很简单：将10天（可配置）前的数据结转到备份表里。

db是MSSQLServer

T_PayApply表记录数：33,902,756

T_PayApply表主键是payId，long型，自增。其payTime字段上没有索引

 

 

由于T_PayApply是系统的支付单表，读写吞吐量很大，为避免影响正常访问，所以，采用的策略是错峰分段来结转。

有如下子方法，用来获取数据表里10天前的最大记录id，服务后续结转小于此id的记录。

private long GetMaxId()
{
    string sqlMaxId = "select max(payId) from [dbo].[T_PayApply] NOLOCK where payTime <=@maxTime";
    var sqlParam = new SqlParameter("@maxTime", SqlDbType.DateTime);
    sqlParam.Value = threshold_of_upToDate;
    var maxId = PayCenterSQLHelper.ExecuteScalar(sqlMaxId, sqlParam);
    return maxId == DBNull.Value ? 0 : Convert.ToInt64(maxId);
}

 

执行该方法，或单执行程序中的sql语句，用时超过10秒。看来用max()函数这种“直译”的实现方式不可取。

那么，尝试将sql改变为降序排序取top1，执行发现更慢。

select top 1 payId from [dbo].[T_PayApply] NOLOCK where createdTime <'2017-10-7' order by payId desc

 

 变通一下思路，将这个方法的逻辑稍加改变：

private long GetMaxId()
{
    string sqlMaxId = "select top 1 payId from [dbo].[T_PayApply] NOLOCK where payTime >=@minTime";// order by payId
    var sqlParam = new SqlParameter("@minTime", SqlDbType.DateTime);
    sqlParam.Value = threshold_of_upToDate.AddDays(1);
    var maxId = PayCenterSQLHelper.ExecuteScalar(sqlMaxId, sqlParam);
    return maxId == null ? 0 : Convert.ToInt64(maxId) - 1;
}

 

则，方法的执行耗时在毫秒级。