十大排序算法

---恢复内容开始---

0.1 排序的定义

　　对一序列对象根据某个关键字进行排序。

0.2 术语说明

　　稳定：如果a原本在b前面，而a=b，排序之后a仍然在b的前面；

　　不稳定：如果a原本在b的前面，而a=b，排序之后a可能会出现在b的后面；

　　内排序：所有排序操作都在内存中完成；

　　外排序：由于数据太大，因此把数据放在磁盘中，而排序通过磁盘和内存的数据传输才能进行；

　　时间复杂度： 一个算法执行所耗费的时间。

　　空间复杂度：运行完一个程序所需内存的大小。

0.3 算法总结

　　图片名词解释：

　　n: 数据规模

　　k: “桶”的个数

　　In-place: 占用常数内存，不占用额外内存

　　Out-place: 占用额外内存

0.5 算法分类

0.6 比较和非比较的区别

　　常见的快速排序、归并排序、堆排序、冒泡排序等属于比较排序。在排序的最终结果里，元素之间的次序依赖于它们之间的比较。每个数都必须和其他数进行比较，才能确定自己的位置。

　　在冒泡排序之类的排序中，问题规模为n，又因为需要比较n次，所以平均时间复杂度为O(n²)。在归并排序、快速排序之类的排序中，问题规模通过分治法消减为logN次，所以时间复杂度平均O(nlogn)。

　　比较排序的优势是，适用于各种规模的数据，也不在乎数据的分布，都能进行排序。可以说，比较排序适用于一切需要排序的情况。

　　计数排序、基数排序、桶排序则属于非比较排序。非比较排序是通过确定每个元素之前，应该有多少个元素来排序。针对数组arr，计算arr之前有多少个元素，则唯一确定了arr在排序后数组中的位置。

　　非比较排序只要确定每个元素之前的已有的元素个数即可，所有一次遍历即可解决。算法时间复杂度O(n)。

　　非比较排序时间复杂度底，但由于非比较排序需要占用空间来确定唯一位置。所以对数据规模和数据分布有一定的要求。

1、冒泡排序（Bubble Sort）【依次比较相邻元素的大小】

　　冒泡排序是一种简单的排序算法。它重复地走访过要排序的数列，一次比较两个元素，如果它们的顺序错误就把它们交换过来。走访数列的工作是重复地进行直到没有再需要交换，也就是说该数列已经排序完成。这个算法的名字由来是因为越小的元素会经由交换慢慢“浮”到数列的顶端。

　　1.1 算法描述

　　　　比较相邻的元素。如果第一个比第二个大，就交换它们两个；

　　　　对每一对相邻元素作同样的工作，从开始第一对到结尾的最后一对，这样在最后的元素应该会是最大的数；

　　　　针对所有的元素重复以上的步骤，除了最后一个；

　　　　重复步骤1~3，直到排序完成。

 

　　1.2 动图演示　　

　　　　

　　

　　1.3 代码实现

　　　　

 

　　1.4 算法分析

　　　　最佳情况：T(n) = O(n)   最差情况：T(n) = O(n2)   平均情况：T(n) = O(n2)

 

2、选择排序（Selection Sort）【依次找到最大或最小的元素】

　　表现最稳定的排序算法之一，因为无论什么数据进去都是O(n2)的时间复杂度，所以用到它的时候，数据规模越小越好。唯一的好处可能就是不占用额外的内存空间了吧。理论上讲，选择排序可能也是平时排序一般人想到的最多的排序方法了吧。

　　选择排序(Selection-sort)是一种简单直观的排序算法。它的工作原理：首先在未排序序列中找到最小（大）元素，存放到排序序列的起始位置，然后，再从剩余未排序元素中继续寻找最小（大）元素，然后放到已排序序列的末尾。以此类推，直到所有元素均排序完毕。

　　2.1 算法描述

　　　　n个记录的直接选择排序可经过n-1趟直接选择排序得到有序结果。具体算法描述如下：

　　　　初始状态：无序区为R[1..n]，有序区为空；

　　　　第i趟排序(i=1,2,3…n-1)开始时，当前有序区和无序区分别为R[1..i-1]和R(i..n）。该趟排序从当前无序区中-选出关键字最小的记录 R[k]，将它与无序区的第1个记录R交换，使R[1..i]和R[i+1..n)分别变为记录个数增加1个的新有序区和记录个数减少1个的新无序区；

　　　　n-1趟结束，数组有序化了。

　　2.3 代码实现

　　　　

 

　　2.3 算法分析

　　　　最佳情况：T(n) = O(n2)  最差情况：T(n) = O(n2)  平均情况：T(n) = O(n2)

 

3、插入排序（Insertion Sort）【让已排好序的元素的下一个元素从后往前扫描，如果该元素大于新元素就往后移动一位，如果小于或者等于，就让新元素插入到这个位置】

　　插入排序（Insertion-Sort）的算法描述是一种简单直观的排序算法。它的工作原理是通过构建有序序列，对于未排序数据，在已排序序列中从后向前扫描，找到相应位置并插入。插入排序在实现上，通常采用in-place排序（即只需用到O(1)的额外空间的排序），因而在从后向前扫描过程中，需要反复把已排序元素逐步向后挪位，为最新元素提供插入空间。

　　3.1 算法描述

　　　　一般来说，插入排序都采用in-place在数组上实现。具体算法描述如下：

　　　　从第一个元素开始，该元素可以认为已经被排序；

　　　　取出下一个元素，在已经排序的元素序列中从后向前扫描；

　　　　如果该元素（已排序）大于新元素，将该元素移到下一位置；

　　　　重复步骤2，直到找到已排序的元素小于或者等于新元素的位置；

　　　　将新元素插入到该位置后；

　　　　重复步骤2~4。

 

　　3.2 动图演示

                

 

　　3.3 代码实现                

　　　　

 

　　3.4 算法分析

　　　　最佳情况：T(n) = O(n)   最坏情况：T(n) = O(n2)   平均情况：T(n) = O(n2)

 

4、快速排序（Quick Sort）【挑出一个元素作为基准，把小于基准的放在基准前面，大于基准的放在基准后面，同样的方法排列两个子序列】【O(nlogn）  不稳定)】

　　快速排序的基本思想：通过一趟排序将待排记录分隔成独立的两部分，其中一部分记录的关键字均比另一部分的关键字小，则可分别对这两部分记录继续进行排序，以达到整个序列有序。

　　4.1 算法描述

　　　　快速排序使用分治法来把一个串（list）分为两个子串（sub-lists）。具体算法描述如下：

　　　　从数列中挑出一个元素，称为 “基准”（pivot）；

　　　　重新排序数列，所有元素比基准值小的摆放在基准前面，所有元素比基准值大的摆在基准的后面（相同的数可以到任一边）。在这个分区退出之后，该基准就处于数列的中间位置。这个称为分区（partition）操作；

　　　　递归地（recursive）把小于基准值元素的子数列和大于基准值元素的子数列排序。

 

　　4.2 动图演示

            

 

　　4.3 代码实现

            

 

　　4.4 算法分析

　　　　最佳情况：T(n) = O(nlogn)   最差情况：T(n) = O(n2)   平均情况：T(n) = O(nlogn)　

 

5、希尔排序（Shell Sort）

　　希尔排序是希尔（Donald Shell）于1959年提出的一种排序算法。希尔排序也是一种插入排序，它是简单插入排序经过改进之后的一个更高效的版本，也称为缩小增量排序，同时该算法是冲破O(n2）的第一批算法之一。它与插入排序的不同之处在于，它会优先比较距离较远的元素。希尔排序又叫缩小增量排序。

希尔排序是把记录按下表的一定增量分组，对每组使用直接插入排序算法排序；随着增量逐渐减少，每组包含的关键词越来越多，当增量减至1时，整个文件恰被分成一组，算法便终止。

　　5.1 算法描述

　　　　我们来看下希尔排序的基本步骤，在此我们选择增量gap=length/2，缩小增量继续以gap = gap/2的方式，这种增量选择我们可以用一个序列来表示，{n/2,(n/2)/2...1}，称为增量序列。希尔排序的增量序列的选择与证明是个数学难题，我们选择的这个增量序列是比较常用的，也是希尔建议的增量，称为希尔增量，但其实这个增量序列不是最优的。此处我们做示例使用希尔增量。

　　　　先将整个待排序的记录序列分割成为若干子序列分别进行直接插入排序，具体算法描述：

　　　　选择一个增量序列t1，t2，…，tk，其中ti>tj，tk=1；

　　　　按增量序列个数k，对序列进行k 趟排序；

　　　　每趟排序，根据对应的增量ti，将待排序列分割成若干长度为m 的子序列，分别对各子表进行直接插入排序。仅增量因子为1 时，整个序列作为一个表来处理，表长度即为整个序列的长度。

　　

　　5.3 代码实现　　

　　　　

void shell(int* a, int len)
{
    int i, j, temp;
    int gap = len / 2;    //选择增量(被分成几个组)

    while (gap > 0)        //对这几个组进行插入排序
    {
        for (i = gap; i < len; ++i)
        {
            temp = a[i];
            j = i - gap;
            while (j >= 0 && a[j] > temp)
            {
                a[j + gap] = a[j];
                j -= gap;
            }
            a[j + gap] = temp;
        }
        gap /= 2;        //再次使用增量
    }
}

 

 

　　5.4 算法分析

　　　　最佳情况：T(n) = O(nlog2 n)  最坏情况：T(n) = O(nlog2 n)  平均情况：T(n) =O(nlog2n)　

 

6、归并排序（Merge Sort）

　　和选择排序一样，归并排序的性能不受输入数据的影响，但表现比选择排序好的多，因为始终都是O(n log n）的时间复杂度。代价是需要额外的内存空间。

　　归并排序是建立在归并操作上的一种有效的排序算法。该算法是采用分治法（Divide and Conquer）的一个非常典型的应用。归并排序是一种稳定的排序方法。将已有序的子序列合并，得到完全有序的序列；即先使每个子序列有序，再使子序列段间有序。若将两个有序表合并成一个有序表，称为2-路归并。

　　6.1 算法描述

　　　　把长度为n的输入序列分成两个长度为n/2的子序列；

　　　　对这两个子序列分别采用归并排序；

　　　　将两个排序好的子序列合并成一个最终的排序序列。

 

　　6.2 动图演示

   　　 

 

　　6.3 代码实现

   　　 1.　　两路归并

void merge(int* arr, int start, int mid, int end)
{
    int i = start;
    int j = mid + 1;

    //定义一个临时数组
    int* arr_temp = (int*)malloc(sizeof(int) * (end - start + 1));
    int t = 0;        //临时数组的下标

    while (i <= mid && j <= end)
    {
        //归并，从小到大的顺序归并
        if (arr[i] <= arr[j])
        {
            arr_temp[t++] = arr[i++];
        }
        else
        {
            arr_temp[t++] = arr[j++];
        }
    }

    //左边序列有剩余
    while (i <= mid)
    {
        arr_temp[t++] = arr[i++];
    }

    //右边序列有剩余
    while (j <= end)
    {
        arr_temp[t++] = arr[j++];
    }

    //把临时数组中的序列一一赋值到arr的相对应的位置
    t = 0;
    while (start <= end)
    {
        arr[start++] = arr_temp[t++];
    }

    //释放空间
    free(arr_temp);
    arr_temp = NULL;
}

　　2.　　归并排序

void merge_sort(int* arr, int start, int end)
{
    if (start < end)
    {
        //分解
        int mid = (start + end) / 2;

        //左边分解
        merge_sort(arr, start, mid);

        //右边分解
        merge_sort(arr, mid + 1, end);

        //两路归并
        merge(arr, start, mid, end);
    }
}

 

　　6. 4 算法分析

　　　　最佳情况：T(n) = O(n)  最差情况：T(n) = O(nlogn)  平均情况：T(n) = O(nlogn)

 

7、堆排序（Heap Sort）

　　堆排序（Heapsort）是指利用堆这种数据结构所设计的一种排序算法。堆积是一个近似完全二叉树的结构，并同时满足堆积的性质：即子结点的键值或索引总是小于（或者大于）它的父节点。

　　7.1 算法描述

　　　　将初始待排序关键字序列(R1,R2….Rn)构建成大顶堆，此堆为初始的无序区；

　　　　将堆顶元素R[1]与最后一个元素R[n]交换，此时得到新的无序区(R1,R2,……Rn-1)和新的有序区(Rn),且满足R[1,2…n-1]<=R[n]；

　　　　由于交换后新的堆顶R[1]可能违反堆的性质，因此需要对当前无序区(R1,R2,……Rn-1)调整为新堆，然后再次将R[1]与无序区最后一个元素交换，得到新的无序区(R1,R2….Rn-2)和新的有序区(Rn-1,Rn)。不断重复此过程直到有序区的元素个数为n-1，则整个排序过程完成。

　　7.2 代码实现

　　　　注意：这里用到了完全二叉树的部分性质：

　　　　1.　　创建堆并调成大顶堆

void adjust_heap(int* arr, int start, int end)
{
    int temp = arr[start];

    //判断start 的左孩子结点
    for (int i = 2 * start + 1; i <= end; i = 2 * i + 1)
    {
        //arr[i]是左孩子，如果有右孩子，那就是 arr[i+1]
        //从小到大排序，需要调整两处位置
        if (i < end && arr[i] < arr[i + 1])
        {
            ++i;
        }

        if (temp >= arr[i])
        {
            //如果大于 i 位置所对应的值，即：大于左右孩子的值
            //满足大顶堆，结果循环
            break;
        }

        //把当前堆顶大的元素调整到堆顶
        arr[start] = arr[i];
        start = i;
    }
    arr[start] = temp;
}

　　　　2.　　堆排序

void heap_sort(int* arr, int len)
{
    //大顶堆
    //初建堆
    //从结点 i 位置开始
    for (int i = len / 2 - 1; i >= 0; --i)
    {
        adjust_heap(arr, i, len - 1);
    }

    //重建堆
    for (int i = len - 1; i > 0; --i)
    {
        //首先把顶堆的元素，与最后一个元素进行交换，即：把顶堆摘掉
        int temp = arr[0];
        arr[0] = arr[i];
        arr[i] = temp;

        //调整堆
        adjust_heap(arr, 0, i - 1);
    }
}

 　　　　

　　7.4 算法分析

　　　　最佳情况：T(n) = O(nlogn) 最差情况：T(n) = O(nlogn) 平均情况：T(n) = O(nlogn)

 

8、计数排序（Counting Sort）

　　计数排序的核心在于将输入的数据值转化为键存储在额外开辟的数组空间中。 作为一种线性时间复杂度的排序，计数排序要求输入的数据必须是有确定范围的整数。

计数排序(Counting sort)是一种稳定的排序算法。计数排序使用一个额外的数组C，其中第i个元素是待排序数组A中值等于i的元素的个数。然后根据数组C来将A中的元素排到正确的位置。它只能对整数进行排序。

　　8.1 算法描述

　　　　找出待排序的数组中最大和最小的元素；

　　　　统计数组中每个值为i的元素出现的次数，存入数组C的第i项；

　　　　对所有的计数累加（从C中的第一个元素开始，每一项和前一项相加）；

　　　　反向填充目标数组：将每个元素i放在新数组的第C(i)项，每放一个元素就将C(i)减去1。

 

　　8.2 动图演示　　

　　　　

 

　　8.3 代码实现

　　　　

　　8.4 算法分析

　　　　当输入的元素是n 个0到k之间的整数时，它的运行时间是 O(n + k)。计数排序不是比较排序，排序的速度快于任何比较排序算法。由于用来计数的数组C的长度取决于待排序数组中数据的范围（等于待排序数组的最大值与最小值的差加上1），这使得计数排序对于数据范围很大的数组，需要大量时间和内存。

最佳情况：T(n) = O(n+k)  最差情况：T(n) = O(n+k)  平均情况：T(n) = O(n+k)

 

9、桶排序（Bucket Sort）

　　桶排序是计数排序的升级版。它利用了函数的映射关系，高效与否的关键就在于这个映射函数的确定。

桶排序 (Bucket sort)的工作的原理：假设输入数据服从均匀分布，将数据分到有限数量的桶里，每个桶再分别排序（有可能再使用别的排序算法或是以递归方式继续使用桶排序进行排

　　9.1 算法描述

　　　　人为设置一个BucketSize，作为每个桶所能放置多少个不同数值（例如当BucketSize==5时，该桶可以存放｛1,2,3,4,5｝这几种数字，但是容量不限，即可以存放100个3）；

　　　　遍历输入数据，并且把数据一个一个放到对应的桶里去；

　　　　对每个不是空的桶进行排序，可以使用其它排序方法，也可以递归使用桶排序；

　　　　从不是空的桶里把排好序的数据拼接起来。

　　　　注意，如果递归使用桶排序为各个桶排序，则当桶数量为1时要手动减小BucketSize增加下一循环桶的数量，否则会陷入死循环，导致内存溢出。

 

　　9.2 图片演示

　　　　

 

　　9.3 代码实现

　　　　

　　　　

 

　　9.4 算法分析

　　　　桶排序最好情况下使用线性时间O(n)，桶排序的时间复杂度，取决与对各个桶之间数据进行排序的时间复杂度，因为其它部分的时间复杂度都为O(n)。很显然，桶划分的越小，各个桶之间的数据越少，排序所用的时间也会越少。但相应的空间消耗就会增大。

　　　　最佳情况：T(n) = O(n+k)   最差情况：T(n) = O(n+k)   平均情况：T(n) = O(n2)　　

 

10、基数排序（Radix Sort）

　　基数排序也是非比较的排序算法，对每一位进行排序，从最低位开始排序，复杂度为O(kn),为数组长度，k为数组中的数的最大的位数；

基数排序是按照低位先排序，然后收集；再按照高位排序，然后再收集；依次类推，直到最高位。有时候有些属性是有优先级顺序的，先按低优先级排序，再按高优先级排序。最后的次序就是高优先级高的在前，高优先级相同的低优先级高的在前。基数排序基于分别排序，分别收集，所以是稳定的。

　　10.1 算法描述

　　　　取得数组中的最大数，并取得位数；

　　　　arr为原始数组，从最低位开始取每个位组成radix数组；

　　　　对radix进行计数排序（利用计数排序适用于小范围数的特点）；

　　10.2 动图演示

　　　　

 

　　10.3 代码实现

　　　　

　　10.4 算法分析

　　最佳情况：T(n) = O(n * k)   最差情况：T(n) = O(n * k)   平均情况：T(n) = O(n * k)

　　基数排序有两种方法：

　　　　MSD 从高位开始进行排序 LSD 从低位开始进行排序

　　基数排序 vs 计数排序 vs 桶排序

　　　　这三种排序算法都利用了桶的概念，但对桶的使用方法上有明显差异：

　　基数排序：根据键值的每位数字来分配桶

　　计数排序：每个桶只存储单一键值

　　桶排序：每个桶存储一定范围的数值