Fine-Grained学习笔记(1):卷积,FFT与花式字符串匹配

Fine-Grained,在算法复杂度理论中特指,对各类算法的复杂度,进行(相较于P与NP的粗粒度分类的)细粒度分类,例如,证明某问题存在 $n^2/\log n$ 的算法.Fine-Grained是一个新兴领域,其研究前景可看作是计算机科学学科中的石墨烯与钙钛矿(误).

本系列主要参考University of Illinois at Urbana-Champaign的Timothy M. Chan在2022年秋季的课程,该课程的课堂笔记是公开的:CS 598 TMC, Fall 2022 (illinois.edu)

问题:卷积

给定长度为 $n$ 的序列 $A=<a_0,a_1,\cdots ,a_{n-1}>,B=<b_0,b_1,\cdots ,b_{n-1}>$,计算序列$C=<c_0,c_1,\cdots ,c_{n-1}>$,其中$c_i={\mathrm{\Sigma }}_{k=0}^i{a}_k{b}_{i-k}$

等价问题:

给定两个多项式

$A(x)=a_{n-1}{x}^{n-1}+a_{n-2}{x}^{n-2}+\cdots +a_0$

$B(x)=b_{n-1}{x}^{n-1}+b_{n-2}{x}^{n-2}+\cdots +b_0$

计算$C(x)=A(x)\cdot B(x)=c_{2n-2}{x}^{2n-2}+\cdots +c_0$

朴素的算法:暴力,复杂度为$O(n^2)$

有无更好的办法?

Karatsuba算法(1960)

热身:

当$n=2$时,已知$a_0,a_1,b_0,b_1$,计算

$c_0=a_0{b}_0$

$c_1=a_1{b}_0+a_0{b}_1$

$c_2=a_1{b}_1$

这种方法需要4做4次乘法,但如果考虑

$c_1=(a_1+a_0)(b_1+b_0)-a_0{b}_0-a_1{b}_1$

便只需要做三次乘法.

那么对于任意$n$,使用分治法,将$A(x),B(x)$写成如下形式:

$A(x)=A_1(x)x^{n/2}+A_0(x)$

$B(x)=B_1(x)x^{n/2}+B_0(x)$

$A(x)B(x)=A_1(x)B_1(x)x^n+(A_1(x)B_0(x)+A_0(x)B_1(x))x^{n/2}+A_0(x)B_0(x)$

记$T(n)$为以该算法进行卷积运算的复杂度

$T(n)=3T(n/2)+O(n)$

$T(n)=O(n^{{\log }_{2}3})\le O(n^{1.59})$

Toom&Cook算法(1963)

热身:考虑$n=3$的情况

给定$a_0,a_1,a_2,b_0,b_1,b_2$,计算

$c_0=a_0{b}_0$

$c_1=a_0{b}_1+a_1{b}_0$

$c_2=a_0{b}_2+a_1{b}_1+a_2{b}_0$

$c_3=a_1{b}_2$

$c_4=a_2{b}_2$

共计需要9次乘法

更优的方法:令

$d_0=a_0{b}_0$

$d_1=(a_2+a_1+a_0)(b_2+b_1+b_0)$

$d_2=(4a_2+2a_1+a_0)(4b_2+2b_1+b_0)$

$d_3=(9a_2+3a_1+a_0)(9b_2+3b_1+b_0)$

$d_4=(16a_2+4a_1+a_0)(16b_2+4b_1+b_0)$

实际上,若令$d_k=(k^2{a}_2+k{a}_1+a_0)(k^2{b}_2+k{b}_1+b_0)$

$d_k=c_4{k}^4+c_3{k}^3+c_2{k}^2+c_{1}k+c_0(k=0,\cdots 4)$

以高斯消元即可求得$c_0,\cdots ,c_4$,该方法仅需5次乘法即可求解$n=3$的卷积

对于任意的$n$,利用上述方法进行三路分治,记运行时间为$T(n)$

$T(n)=5T(n/3)+O(n)$

$T(n)=O(n^{{\log }_{3}5})\le O(n^{1.41})$

推广的分治法

总结上述两个算法,可以得到规律:规模为$r$的卷积求解问题,可以仅用$(2r-1)$次乘法求解.那么考虑对于规模为$n$的问题,对其进行$r$路分治求解,记其时间复杂度为$T(n)$

$T(n)=(2r-1)T(n/r)+O(n)$

$T(n)=O(n^{{\log }_r(2r-1)})$

$\le O(n^{\frac{\log (2r)}{\log r}})$

$\le O(n^{1+\frac{1}{\log r}})$

$\le O(n^{1+ϵ})$

Cooley&Tukey 算法(快速傅立叶变换,FFT)

略

博主注:FFT虽然能够将卷积的复杂度降低到$O(n\log n)$,但运算过程中涉及了复变三角函数,必须假定无限精度实数的运算能在O(1)时间内完成,但此假设在计算复杂度领域内常用的RAM模型中并不成立,该算法的存在能否证明卷积运算的复杂度是$O(n\log n)$,此处存疑.

应用:$n$位大整数乘法

应用:3SUM问题(元素限制为有限整数)

记$[a,b]=\{a,a+1,\cdots ,b\}$,即$a,b$之间的全体整数

记$[U]=[0,U]$,即$0,U$之间的全体整数.

给定$A,B,C\subseteq [U]$,$|A|,|B|,|C|=O(n)$,判断是否存在$a\in A,b\in B,c\in C$,使得$a+b=c$

朴素算法:

暴力,O(n^3)

尺取法:

稍微好一点,将$A,B$进行排序,定义两个指针分别指向$A$中最小值和$B$中最大值,比目标值小就把指向$A$的指针往右挪,否则就把指向$B$的指针往左挪,这样,对于每个$c\in C$,只需要做$O(n)$次操作.总时间复杂度$O(n^2)$

卷积法:

定义函数$f_a=\{\begin{array}{cc}1& a\in A\\ 0& a\notin A\end{array}$

$g_b=\{\begin{array}{cc}1& b\in B\\ 0& b\notin B\end{array}$

计算$h_c={\mathrm{\Sigma }}_{a=0}^{U-1}{f}_a{g}_{c-a}$,这一步卷积可以在$O(U\log U)$时间内解决,当$U\ll n^2$时,该方法较优.

应用:带通配符的字符串匹配

记$\mathrm{\Sigma }$为字母表,给定模式串$P=p_1\cdots p_m\in (\mathrm{\Sigma }\cup {\{}^{\prime }{?}^{\prime }\}{)}^{\ast }$,文本串$T=t_1\cdots t_n\in (\mathrm{\Sigma }\cup {\{}^{\prime }{?}^{\prime }\}{)}^{\ast },(m<n)$,判断模式串是否出现于文本串中,用符号表示:

$\mathrm{\exists }i\in [n],\mathrm{\forall }j\in [m],p_j=t_{i+j}$ 或$p_j{=}^{\prime }{?}^{\prime }$或$t_{i+j}{=}^{\prime }{?}^{\prime }$

朴素算法:

暴力,$O(mn)$

KMP算法:

预处理模式串,寻找每个前缀字符串的后缀字符串,用于在失配发生时,跳过文本串中没必要匹配的部分.复杂度$O(n)$,但不能解决通配符的情况.

将字母表$\mathrm{\Sigma }$中的所有字母映射到$[1:|\mathrm{\Sigma }|]$中的数字,以便进行数学运算.将通配符${}^{\prime }{?}^{\prime }$映射为$0$

卷积法:

考虑如下的匹配函数序列:

$f_i={\mathrm{\Sigma }}_{j=1}^m(p_j\cdot t_{i+j}\cdot (p_j-t_{i+j}{)}^2)$

其意义是,若模式串第$j$位和文本串第$i+j$位匹配上(包括存在通配符和两个字符相等),则该单项值为$0$,否则为正数,若求和为0,则说明文本串从第$i$位开始和模式串匹配上了.

接下来将该表达式展开

$f_i={\mathrm{\Sigma }}_{j=1}^m(p_j^3{t}_{i+j})-2{\mathrm{\Sigma }}_{j=1}^m(p_j^2{t}_{i+j}^2)+{\mathrm{\Sigma }}_{j=1}^m(p_j{t}_{i+j}^3)$

将字符串$P$反转,记为$Q$,即$q_j=p_{m+1-j}$,表达式可写为如下形式

$f_i={\mathrm{\Sigma }}_{j=1}^m(q_{m+1-j}^3{t}_{i+j})-2{\mathrm{\Sigma }}_{j=1}^m(q_{m+1-j}^2{t}_{i+j}^2)+{\mathrm{\Sigma }}_{j=1}^m(q_{m+1-j}{t}_{i+j}^3)$

可以看出是三次卷积.

时间复杂度$O(n\log n)$

时间复杂度还可以优化到$O(n\log m)$,具体方法是将文本串$T$按照每块$m$个元素划分为$n/m$块,进行$n/m$次卷乘,每次计算$T$中的两个块与$P$的全部.

应用:字符串模糊匹配

定义:字符串的汉明距离

字符串$A,B\in {\mathrm{\Sigma }}^n$,字符串的汉明距离定义为$|\{j:a_j\ne b_j\}|$,即两个字符串之间有多少个对应位置不相等.

给定模式串$P=p_1\cdots p_m\in {\mathrm{\Sigma }}^{\ast }$,文本串$T=t_1\cdots t_n\in {\mathrm{\Sigma }}^{\ast }$和限制$k$,判断是否存在$i$,使得$p_1\cdots p_m,t_{i+1}\cdots t_{i+m}$的汉明距离$\le k$

朴素算法:

暴力,$O(mn)$

算法1:

定义函数序列${\mu }_i=|\{j:p_j=t_{i+j}\}|$,计算这个函数

如何计算这个函数呢?对于所有的$c\in \mathrm{\Sigma }$,定义

${\mu }_i^{(c)}=|\{j:p_j=t_{i+j}=c\}|={\mathrm{\Sigma }}_j[p_j=c][t_{i+j}=c]$

用$O(n+m)$时间构造出$A^{(c)}=<a_1^{(c)},\cdots ,a_m^{(c)}>,B^{(c)}=<b_1^{(c)},\cdots ,b_n^{(c)}>,a_k^{(c)}=[p_{m+1-k}=c],b_k^{(c)}=[t_k=c]$,后,进行卷积即可.

计算完全部${\mu }_i^{(c)}$之后,令${\mu }_i={\mathrm{\Sigma }}_{c\in \mathrm{\Sigma }}{\mu }_i^{(c)}$,然后遍历${\mu }_i$,判断其中是否有连续$m$个元素之和$\ge m-k$.

总时间复杂度$O(|\mathrm{\Sigma }|n\log n)$

但当$|\mathrm{\Sigma }|$较大时又该怎么办呢?

Abrahamson算法(1987):

思路:将字母表中元素按出现次数高低进行分类

记

${\mathrm{\Sigma }}_H=\{c\in \mathrm{\Sigma }:c\text{在模式串}P\text{中出现次数}>\mathrm{\Delta }\}$

${\mathrm{\Sigma }}_L=\{c\in \mathrm{\Sigma }:c\text{在模式串}P\text{中出现次数}\le \mathrm{\Delta }\}$

这样便保证了$|{\mathrm{\Sigma }}_H|\le m/\mathrm{\Delta }$

1.高频情况

对于每个$c\in {\mathrm{\Sigma }}_H$,使用卷积计算${\mu }_i^{(c)}$,并令${\mu }_i={\mathrm{\Sigma }}_{c\in {\mathrm{\Sigma }}_H}{\mu }_i^{(c)}$,时间复杂度$O(|{\mathrm{\Sigma }}_H|n\log n)=O(\frac{m}{\mathrm{\Delta }}n\log n)$

2.低频情况

对于所有$l\in [1:n]$,若$t_l\in {\mathrm{\Sigma }}_L$,那么对于所有满足$p_j=t_l$的$j$(总数$\le \mathrm{\Delta }$),令${\mu }_{l-j}$加一.时间复杂度为$O(\mathrm{\Delta }n)$

总运行时间$O(\frac{m}{\mathrm{\Delta }}n\log n+\mathrm{\Delta }n)$,令$\mathrm{\Delta }=\sqrt{m\log n}$,总时间复杂度则为$O(n\sqrt{m\log n}+n\log n)=\tilde{O}(n\sqrt{m})$

注:$\tilde{O}(\cdot )$指相比$O(\cdot )$多出对数级.

Amir-Lewenstein-Porat(2004) $\tilde{O}(n\sqrt{k})$

Gawrychowski-Vzanski(2018) $\tilde{O}(n+\frac{nk}{\sqrt{m}})$

$⋮$

接近于$O(n)$

应用:子集和问题

对于集合$A$,记$\mathrm{\Sigma }(A)$为$A$中所有元素之和.

给定由$S$个正整数组成的集合$S$,目标值$T$,判断是否存在子集$R\subseteq S$使得$\mathrm{\Sigma }(R)=T$

暴力枚举+尺取:

将$S$划分为两个大小为$n/2$的子集,枚举全部的子集和并归并排序,然后对以此法获得的两个长度为$O(2^{n/2})$的有序序列进行尺取,时间复杂度$O(2^{n/2})$

DP(动态规划):

时间复杂度$O(nT)$

一个用于求解可多次选取的子集和问题的思路:

观察:如果$S$中的元素可多次选取进$R$中,那么定义

$C^{(j)}[i]=\text{真,当且仅当存在多重集合}R\subseteq S,|R|\le j,\mathrm{\Sigma }(R)=i$

那么$c^{(j)}[i]$可以通过如下公式求出:

$C^{(j)}[i]={\vee }_{i^{\prime }=0}^i(C^{(j/2)}[i^{\prime }]\wedge C^{(j/2)}[i-i^{\prime }])$

这又是一个卷积的形式,以此方法对原问题进行分治,总时间复杂度为$O(T\cdot \log T\cdot \log n)=\tilde{O}(T)$(假定$n\le T$,否则集合$S$中要么存在着比$T$还大的元素,可以一开始就排除掉,要么存在着重复元素,要么二者兼有)

但此方法对于一般的(不允许重复选取元素的)子集和问题无效

Bringmann算法(2017):

随机化地用于求解一般子集和问题的算法

引理1:

假定待求集合$S\subseteq [U]$中存在解$R\subseteq S$,且$|R|\le k$,则存在一个随机化算法,可在$\tilde{O}(k^{2}U)$时间内求得这个解.

证明:

记$\left(\begin{array}{c}a\\ b\end{array}\right)$为组合数,即在$a$个互不相同的物品中取出$b$个的方法数.

考虑如下事实:将$k$个球随机地放进$k^2$个桶中,每个桶中球的个数均$\le 1$的概率$\ge 1/2$.("存在两个球被放进了同一个桶中"的概率 $\le \left(\begin{array}{c}k\\ 2\end{array}\right)\cdot \frac{1}{k^2}=\frac{1}{2}$)

那么,考虑将$S$随机地划分为$k^2$个子集,$S=S_1\cup S_2\cup \cdots \cup S_{k^2}$.

对于给定的$S_x,\cdots ,S_y$定义$C_{S_x,\cdots ,S_y}[i]$为真,当且仅当存在着子集$A$,$\mathrm{\Sigma }(A)=i$,且$\mathrm{\forall }j\in [x:y],|A\cup S_j|\le 1$.

那么该序列可以通过如下方式求得:

$C_{S_1,\cdots ,S_l}[i]={\vee }_{i^{\prime }=0}^{lU}(C_{S_1,\cdots ,S_{l/2}}[i^{\prime }]\wedge C_{S_{l/2+1},\cdots ,S_l}[i-i^{\prime }])$

这是一个对长度为$O(lU)$的序列的卷积.用该卷积对$S_1,\cdots ,S_{k^2}$进行分治.记求解子集个数为$l$的问题的复杂度为$T(l)$,对复杂度进行分析:

$T(l)=2T(l/2)+O(lU\log (lU))=O((l\log l)U\log (lU))=\tilde{O}(lU)$

代入$l=k^2$,$T(k^2)=\tilde{O}(k^{2}U)$

注意,该方法能否得出正确结果依赖于对于$S=S_1\cup S_2\cup \cdots \cup S_{k^2}$的划分,单次出错概率$\le 1/2$的情况下可通过重复该算法$\log n$次将出错概率降低至$\le 1/n$.

引理2:

引理1中的算法可优化至$\tilde{O}(kU)$

证明:

考虑如下事实:把$k$个球放进$k$个桶里,每个桶中球的个数均$\le n$个的概率$\ge 1-O(1/n)$(证明参照Chernoff限,待查)

随机地将$S$划分为$k$个子集,$S=S_1\cup S_2\cup \cdots \cup S_k$

定义$C_{S_x,\cdots ,S_y}[i]$为真,当且仅当存在着子集$A$,$\mathrm{\Sigma }(A)=i$,且$\mathrm{\forall }j\in [x:y],|A\cup S_j|\le \log n$

该序列可以通过如下方式求得:

$C_{S_1,\cdots ,S_l}[i]={\vee }_{i^{\prime }=0}^{lU\log n}(C_{S_1,\cdots ,S_{l/2}}[i^{\prime }]\wedge C_{S_{l/2+1},\cdots ,S_l}[i-i^{\prime }])$

这是一个对长度为$O(lU\log n)$的序列的卷积.

记求解子集个数为$l$的问题的复杂度为$T(l)$,同样分析其复杂度:

$T(1)$是在一个子集$S_j$中,枚举出至多$\log n$个元素所构成的子集和有哪些,这一步可以通过令$S^{\prime }=S_j,k=\log n$并引入引理1中的算法得到,$T(1)=\tilde{O}(U)$

$T(l)=2T(l/2)+O(lU\log n\log (lU))$

$T(l)=\tilde{O}(lU)$

取$l=k$,$T(k)=\tilde{O}(kU)$

由引理1,2推导出的算法:

对于所有的$u=1,2,4,\cdots ,U$,以$S^{\prime }=\{a_i\in S:a_i\in [u:2u-1]\},k=T/u$为输入,应用引理2中的算法,概率性地计算出$S^{\prime }=\{a_i\in S:a_i\in [u:2u-1]\}$中的子集和(只保留$\le T$的那些),单步时间复杂度为$\tilde{O}(\frac{T}{u}\cdot 2u)=\tilde{O}(T)$

对于这$O(\log U)$步中计算出的所有子集和进行归并,归并时间为$O(\log U\cdot T\log T)=\tilde{O}(T)$

Jin&Wu算法(2019):

想法:多项式

求解子集和问题等同于求解${\mathrm{\Pi }}_{a\in S}(1+x^a)\mathrm{mod}{x}^{T+1}$,检查$x^T$项的系数.

记$exp(x)=e^x$

上式可写成$exp({\mathrm{\Sigma }}_{a\in S}\ln (1+x^a))\mathrm{mod}{x}^{T+1}$

考虑数学分析知识中的泰勒展开:

$\ln (1+x)={\mathrm{\Sigma }}_{i=1}^{\mathrm{\infty }}\frac{(-1{)}^i}{i}{x}^i$

$\ln (1+x^a)={\mathrm{\Sigma }}_{i=1}^{T/a}\frac{(-1{)}^i}{i}{x}^{ai}\mathrm{mod}{x}^{T+1}$

对于每个$a$,共有$O(T/a)$项需要求和

总运行时间$O(T{\mathrm{\Sigma }}_{a\in S}\frac{1}{a})=O(T\log T)$.

但直接计算这个式子的话是会出现分数项的,考虑随机选取质数$p$,在$Z_p$即模$p$的数域中进行运算,除法运算使用快速幂和费马小定理求模$p$的逆元,这样就变为了一个复杂度为$O(T{\log }^{2}T)$的随机化算法.