SQLServer中利用NTILE函数对数据进行分组的一点使用
本文出处:http://www.cnblogs.com/wy123/p/6908377.html
NTILE函数可以按照指定的排序规则,对数据按照指定的组数(M个对象,按照某种排序分N个组)进行分组,可以展现出某一条数据被分配在哪个组中.
不仅可以单单利用这个特性,还可以借助该特实现更加有意思的功能.
NTILE的基本使用
NTILE的作用是对数据进行整体上的分组,比如有60个学生,按照成绩分成“上中下”三个级别,可以看出那些人位于哪个级别,用NTILE函数就可以实现。
比如这里的简单的示例,有六个学生,按照成绩,分成三组,可以看到,每个人位于哪一组中(或者说哪个人位于哪个层次)
当然也可以分成两组,分组和排序方式由NTILE (N)OVER(ORDER BY *** ASC | DESC) 决定
在NTILE的分组功能上扩展
当然这个应用还可以扩展,借助其扩展功能,可以完成很多个性化的需求。
最近遇到一个需求,要处理一批历史数据,目的是根据其Id,经过一系列的逻辑运算(存储过程实现),计算生成这个Id的某些属性,
正常情况下是循环表中的每一行数据,分别传入存储过程进行处理。
/*
DECLARE @id INT = 0
DECLARE @achived bit = 1
while @achived>0
begin
select top 1 @id = id from business_table order by id
insert into deal_result
exec deal_procrdure @id
delete from t where business_table = @id
if exists (select 1 from t)
set @achived = 1
else
set @achived = 0
end
*/
但是考虑到business_table的数据量太大,单个Session运算起来可能要花费太久的时间,
因此要考虑使用多个Session,每个Session分别计算一部分数据,这样就可以加快数据的生成效率。
比如有1000W行数据,使用10个Session,每个Session计算100W行,这样比一个Session计算1000W行数据,理论上要快10倍
那么这里就涉及到一个分组的问题,鉴于数据的特点,其Id是唯一的但不连续的,
比如要分成10组,如何通过Id的范围,确保每组的数据量基本上相同?
一开始是采用比较笨的方法,利用top,比如前100W行数据,可以这样
select max(id) from
(
select top 100W from t
)t
通过这样,如果最大的id为Id1,那么前100W行的数据范围为0~Id1。
对于第二个100W行的数据,可以计算前200W行的max(id)
select max(id) from
(
select top 200W from t
)t
如果最大的id为Id2,那么第二个100W行的数据范围为Id1~Id2。
然后依次类推,是有点笨……
类似需求可以通过上面提到的NTILE分析函数实现
先上个实例代码,模拟上文提到的Business_table Id唯一但是不连续的情况
DECLARE @i INT = 0 WHILE @i<200000 BEGIN INSERT INTO TestNtile VALUES (@i,NEWID()) set @i=@i+1 END GO --随机删除部分数据,模拟Id不是连续的 ;WITH del AS ( select top 100 * from TestNtile order by NEWID() ) DELETE FROM del GO --通过NTILE分成十个组,取每个组的最大值 SELECT GroupId,MAX(Id) AS Id FROM ( select NTILE (10)over(order by Id) as GroupId,Id from TestNtile )t GROUP BY GroupId GO
原理正如备注中的写的,利用NTILE函数,对数据整体上分成10组,取每个组的最大值,就可以确定每个组的Id的区间范围了。
参考下图,将测试数据分成10组,分别取得每个组的最大Id值,就可以确定每个组的Id的范围了。
这样就很容易确定,第一组的Id的范围是0~20215,第二组的范围是20216~40406,第三组的范围是40406~60572……
计算出来范围之后,可以通过启动多个Session来循环计算,或者是交给应用程序的多个线程,让每个线程分别处理每一个范围内的Id
很基础的问题,就不总结了。