topK 算法

搜索引擎热门查询统计

题目描述：
    搜索引擎会通过日志文件把用户每次检索使用的所有检索串都记录下来，每个查询串的长度为1-255字节。
    假设目前有一千万个记录（这些查询串的重复度比较高，虽然总数是1千万，但如果除去重复后，不超过3百万个。一个查询串的重复度越高，说明查询它的用户越多，也就是越热门。），请你统计最热门的10个查询串，要求使用的内存不能超过1G。

分析：

这个问题在之前的这篇文章十一、从头到尾彻底解析Hash表算法里，已经有所解答。方法是:

    第一步、先对这批海量数据预处理，在O（N）的时间内用Hash表完成统计
    第二步、借助堆这个数据结构，找出Top K，时间复杂度为N‘logK。
        即，借助堆结构，我们可以在log量级的时间内查找和调整/移动。因此，维护一个K(该题目中是10)大小的小根堆（K1>K2>....Kmin，Kmin设为堆顶元素），然后遍历300万的Query，分别和根元素Kmin进行对比比较（如上第2节思路3所述，若X>Kmin，则更新并调整堆，否则，不更新），我们最终的时间复杂度是：O（N） + N'*O（logK），（N为1000万，N’为300万）。更多详情请参考原文。

 代码实现：

#include <stdio.h>
#include <stdlib.h>

#define MAXLEN 100005
#define K 100

void Swap(int* a, int* b) {
    *a=*a^*b;
    *b=*b^*a;
    *a=*a^*b;
}

void HeapAdjust(int array[], int i, int length) {
    int child, temp;
    for(temp = array[i]; 2*i+1<length; i=child) {
        child = 2*i+1;
        if(child < length-1 && array[child+1] < array[child])
            child++;
        if (temp > array[child])
            array[i] = array[child];
        array[child]  = temp;
    }
}

int GetMin(int array[], int length, int k) {
    int min = array[0];
    Swap(&array[0], &array[length-1]);

    int child, temp;
    int i=0, j=k-1;
    for (temp = array[0]; j>0 && 2*i+1<length; --j,i=child) {
        child = 2 * i + 1;
        if (child < length - 1 && array[child+1] < array[child])
            child++;
        if (temp > array[child])
            array[i] = array[child];
        else 
            break;
        array[child] = temp;
    }
    return min;
}

void Kmin(int array[] , int length , int k)  {
    for(int i=length/2-1;i>=0;--i)   
        //初始建堆，时间复杂度为O(n)  
        HeapAdjust(array,i,length);  
      
    int j=length;  
    //k次循环，每次循环的复杂度最多为k次交换，复杂度为o(k^2)  
    for(int i=k;i>0;--i,--j){  
        int min=GetMin(array,j,i);  
        printf("%d,", min);  
    }  
} 


int main() {
    int array[MAXLEN];
    for(int i=MAXLEN; i>0; --i) { // init array
        array[MAXLEN - i] = i;
    }
    Kmin(array, MAXLEN, K);
    return 0;
}

 

 

 

ref： http://blog.csdn.net/v_JULY_v/article/details/6256463

http://blog.csdn.net/v_JULY_v/article/details/6403777