随机生成13位绝对无重复随机数的高效方法

问题描述：随机生成13位绝对无重复随机数的高效方法。

 

问题思路：

1、    预先生成好所有无重复随机数并存储，按需取数；

2、    随机生成，即时比对当前所有已生成数。若存在，则重新生成。

3、    寻找一个好的无冲突的hash算法（或冲突概率较低）。

4、    按照一定的算法来生成伪随机数，要求满足一定数量级内无相似度或较低相似度。

随机就不可能不重复，故任何算法不可能实现真正的随机.只是能够在一定程度上防止高频度的碰撞及相似度,从而给外界一个随机的假像.

 

 

思路一的相关方法及问题：

事先生成1-10000000000000，然后分组打乱，重复若干次后，即可获得所有的10万亿的数据。生成13位数（10万亿）大概是2的43次方，假设我们采用4个bit位存储一个数字（满足能表达数目至少大于九的二进制最小长度），那么一个13位的数需要52bit，即约为7Byte（字节）,乘以2的43次方，可以预算整个占用空间约为56TB。无论采用何种存储方式的优化，因为随机化后的相似度极低（动态规划中的邻灰度压缩算法，包括使用数据库）优化后也是TB级的数据量，故此基于此思路上实现方法均是不现实的。

 

思路二的相关方法及问题：

 

1、  数据库用生成序列做主键（由数据库来完成不重复判断），插入失败则说明此数据已存

在，方法实现简单易行。

2、排序随机生成的随机数，采用二分查找法，并插入排序队列中的合适位置。

3、人工生成红黑树（AVL），每次插入时判断是否已存在。

 

此三种方法均可以实现，但是从效率而言第三种方法较好，通过数据库异常来确定数据是否重复性能明显是最差的。相比第二种方法，插入采用链表明显效率更高，但是要实现二分查找的随机访问必须要使用类似数组的序列。固采用第三种红黑树的方法是效率最高的。

 

但是这类方法有一个共同的缺陷，当已经生成好50%以上的数据后，这颗树的查找效率是没有问题的，但是这颗树（或者数组）的大小也快接近TB级了。从这个角度来看反而不如第一种思路实现的方法简单。而且举一个例子，十个数里面如果已经取完八个不同的数据后再生成随机数，那么重复抽到已经生成的那八个数中的一个的概率就非常大了，这样分析后可以得到，每生成一个随机数，需要遍历整颗树的次数会随着树的增大而增大，这是不可以接受的。

 

 

思路三的相关方法及问题：

 

1、依次Hash 1-10000000000000个数字，并将结果进行冲突检测。

2、  MD5类似强Hash算法加密固定区间内的数字，如果出现相同则说明无法逆向解密。（需要采用单向唯一映射修改长度）

3、  GUID的生成方法参考。

 

方法一，需要存储相应的结果来进行冲突检测，类似与思路二中的方法3，存储量非常大。方法二和方法三是同一种问题，MD5加密后是生成16或者32位不重复字符，注意这里是字符（0-9a-zA-Z），而GUID随机生成的是128位的字符，故很难找到一种将16、32甚至128位映射到32位且每一位由62（10+26+26）个字符集映射到10（0-9）位的数字字符集的方法来单向映射如此大的数字集之差。

 

 

思路四的相关方法及问题：

这个思路是我们目前推荐的且易于实现。

 

分段链接法；

 

首先我们将数据划分为6+6+1，这就将我们的数据量缩小到百万级。为什么这样划分，是根据一定的时间效率和后面的链接方法决定的。

 

下面我们来讨论随机生成6位随机数的方法：

 

1000000 个数中生成 100000 位随机数花时3s。

1000000 个数中生成 500000 位随机数花时16s。

1000000 个数中生成 800000 位随机数花时43s。

1000000 个数中生成 900000 位随机数花时 > 1h。

故我们选择第三种方案。

生成的数据截图如下：

 

使用同样的方法再重新生成一个6位随机数。

 

链接方法我们采用横向邻近无关联连接法：

如图：

    

 

(此处不使用数据库笛卡尔乘积，而采用程序读取部分数据,并在数据不足时自动缓存下一部分数据)

固此方法可以得到千亿级内不重复，八十万级数据量内无相似度;(对称链接)。而且对于整个的空间消耗都符合要求。

 

下面是关键的数据库随机选取随机数sql脚本。

 

USE   Job

GO

 

CREATE   TABLE   tb2(id   char(6))

CREATE   UNIQUE   INDEX   IX_tb2   ON   tb2(id)

WITH   IGNORE_DUP_KEY  

GO

 

DECLARE   @dt   datetime

SET   @dt   =   GETDATE()

SET   NOCOUNT   ON

DECLARE   @row   int

SET   @row   =   800000

WHILE   @row   > 0

BEGIN

RAISERROR( 'need   %d   rows ',   10,   1,   @row)   WITH   NOWAIT

SET   ROWCOUNT   @row

INSERT   tb2   SELECT

id   =   RIGHT(100000000   +   CONVERT(bigint,   ABS(CHECKSUM(NEWID()))),  6)

FROM   syscolumns   c1,   sysobjects   o--,   syscolumns   c2

SET   @row   =   @row   -   @@ROWCOUNT

END

SELECT   BeginDate   =   @dt,   EndDate   =   GETDATE(),   Second   =   DATEDIFF(Second,   @dt,   GETDATE())

GO

 

SELECT   COUNT(*)   FROM   tb2

GO

 

数据打乱脚本

select identity(int,1,1)   as   rownumber, * into tmp_tb from tb order by NEWID();

select identity(int,1,1)   as   rownumber, * into tmp_tb2 from tb2 order by NEWID();

 

数据合并采用程序控制：

具体合并方法见上图。要点是记录在第一表中的位置，及错开度N。