Frequent Directions

目录

• 概
• Frequent Directions
• Frequent Directions over Slidding Windows
• 代码

Ghashami M., Liberty E., Phillips J. M. and Woodruff D. P. Frequent directions : Simple and deterministic matrix sketching. 2015.

Yin H., Wen D., Li J., Wei Z., Zhang X., Huang Z. and Li F. Optimal matrix sketching over sliding windows. VLDB, 2024.

概

通过魏老师的分享找了这些论文看了一下, 感觉之后可能会用到.

Frequent Directions

• FD 的任务是, 希望维护一个 sketch matrix $B \in \mathbb{R}^{\ell \times d}$ 使得 ($A \in \mathbb{R}^{n \times d}$),

  $$\|A^T A - B^T B \|_2, \quad \|A - \pi_{B_k}(A) \|_F^2, \forall k < \ell$$

  这几个误差都尽可能小, 其中

  $$\pi_{B_k}(A) = A V_kV_k^T,$$

  $V_k$ 是 $B = U\Lambda V^T$ 的 top-$k$ 奇异值所对应的右奇异向量. 换言之, 我们通过维护 $\ell \ll n$ 便保存了 $A$ 中的大部分信息.

• 这个问题比较有意思的点在于, 如何处理, $A$ 通过一行一行的形式得到, 然后我们动态地维护 $B$ (否则这个问题就有一般方法了).

• FD 启发自一个非常经典的问题: 频率估计问题.

  • 假设, 我们有 $A = \{a_1, \cdots, a_n\}$, 其中 $a _i \in \{1, \ldots, d\}$. 我们会一个一个地接收到其中的元素, 问题是如何动态估计每个元素出现的频率:
  $$\hat{f}_j \rightarrow f_j = |\{a_i \in A | a_i = j\}|.$$

  • Misra-Gries 算法是频率估计的一个最优算法:

    1. 维护一个长度为 $\ell$ 的 counters;
    2. 新来一个元素 $a$: I) 若已经有 counter 在计数 $a$ 则, 该 counter 加一; II) 倘若任有 counter 剩余 (即 counter 计数为 0), 则选择其一用于计数 $a$; III) 倘若没有 counter 剩余, 则所有 counter 递减直到有其中一个 counter 为 0, 将此 counter 用于计数 $a$.

  • 容易发现, 由于每次'递减'操作减去的频率为'$\ell$', 所以最多有 $n / \ell$ 次这种递减操作. 换言之:

    $$0 \le f_j - \hat{f}_j \le n / \ell, \forall j.$$

    于是我们就得到了一个还算可以的频率估计, 实际上, 这个估计是最优的.

• 我们可以把这个推广到矩阵的形式. 假设 $A \in \mathbb{R}^{n \times d}$ 的每一行为 $\{e_j: j=1,2,\ldots, d\}$, 其中 $e_j$ 表示第 $j$ 个元素为 1, 其余元素为 0 的向量. 此时, 我们有:

  $$f_j = \|A e_j\|^2.$$

  我们可以令 $B$ 的第 $j$ 行为: $\hat{f}_j^{1/2} e_j$, 则有

  $$\|Be_j\|^2 = \hat{f}_j,$$

  进一步地:

  $$\|A^T A - B^TB \|_2 = \max_j |f_j - \hat{f}_j| \le \|A\|_F^2 / (\ell - k).$$

• FD 的最终算法就是有这样的一个'减'的操作:

• 具体操作就是, 新来一行 $a$ 后, 拼接在最后, 然后进行奇异值分解, 然后所有的奇异值减去最小的奇异值, 此时

  $$\sqrt{\Sigma^2 - \delta I_{\ell}} V^T$$

  的最后一行一定为 0. 这相当于我们空出来了一个 'counter'.

• FD 可以进一步加速:
  

• 此时, 减去的是排中间的奇异值, 相当于我们会空出一半的 'counters'.

• 最后的 bound 请参考原文.

Frequent Directions over Slidding Windows

• 有些时候, 我们并不希望 $B$ 去保存过去所有的信息, 而是最近的 N 行, 即逼近 $A_W = A_{T-N, T} \in \mathbb{R}^{N \times d}$ 的信息 ($T$ 表示当前的时刻).

• 其实, 这个算法也是启发自基于滑动窗口的频率估计问题:

  1. 给定阈值 $\theta = N / \ell$;
  2. 按照普通的方式统计每个元素的频率, 此时时刻 $T$ 来了一个新的元素 $a$, 按照之前的 MG 的方式统计.
  3. 之后, 如果 $a$ 的计数 $\ge \theta$, 则将其归零, 并将 $(a, T)$ 加入一个列表 $S$ 中.
  4. 检查 $S$ 中的时间, 如果时间不在窗口内, 则舍弃.

• 最后, 我们可以以 $S$ 中的记录以及 counters 中的记录作为频率, 其余不在其中的频率记为 $0$. 容易发现,

  • 对于 $\hat{f}_j = 0$ 的:
    $$0 \le f_j - \hat{f}_j \le N / \ell.$$

  • 对于 $\hat{f}_j \not = 0$ 的, 由于舍弃的部分 (就是还在 counters 中的) 不会超过 $N / \ell$, 所以也有
    $$0 \le f_j - \hat{f}_j \le N / \ell.$$

注: 我不太了解这个算法, 感觉应该是这样的.

• 所以 FD over lisding windows 的算法也是类似的:

• 和普通的 FD 主要有两点不同:

  1. 需要维护两个额外的列表 $S, S'$, 用于维护超出阈值 $\theta$ 的奇异向量;
  2. 每次经过普通的 FD 操作后, 如果首奇异值超过 $\theta$, 对应的频谱就被剔除了.

• 此外, 每次更新还需要检查, 保存在 $S, S'$ 中的奇异向量是否超过了窗口时间.

代码

[official-code]