Secure Face Matching Using Fully Homomorphic Encryption-2018：学习

本文学习论文“Secure Face Matching Using Fully Homomorphic Encryption-2018”和“基于全同态加密的人脸特征密文认证系统-2020”，记录笔记。

摘要#

人脸识别技术的发展取决于特征学习（representation learning）的进步。
本文提出一个基于全同态加密的人脸识别方案，能保护用户隐私，且能在加密域实现匹配的功能。
常用的人脸库（(LFW, IJB-A, IJB-B, CASIA）。
实验结果，对于16KB大的512维的图像匹配一次耗时0.01s，且控制在最低损失。
【Sphereface: Deep hypersphere embedding for face recogni-tion】简单理解为，使用该技术从人脸图像中提取特征。

引言#

人脸识别是通过人脸特征来确定身份的。
深度学习技术提升了人脸识别的准确率。
传统的人脸识别流程：
- 给定一张人脸图像，然后提取特征向量（高维）。
- 在注册阶段，将特征向量和对应的识别标签（identity labels）存入数据库。
- 然后该数据库用于比较人脸特征，进而验证身法。
明文存储的数据库不安全，容易泄露，或者被重建。
所以需要加密，而只有同态加密才能对密文计算。
全同态加密提供加法和乘法计算，且对应的开源库给出了扩展接口和最优的计算复杂度。
本文使用全同态密码算法实现人脸识别，（1）加密数据库和要检索的图像特征向量；（2）直接在加密域中匹配，且匹配的相似度计算，如欧氏距离或者预选相似度等，都可以分解为加法和乘法运算。
【Fully Private Non-interactive Face Verification-2013】中给出的全同态加密测试数据：加密一张512维的人脸特征向量需要48.7MB，完成匹配需要12.8s。
- 使用的全同态加密方案是GH11【Implementing Gentry’s Fully-Homomorphic Encryption Scheme-2011】。
当前人脸识别大都是基于深度神经网络，特征提取使用CNN，本文使用的特征提取模型是FaceNet和SphereFace。
本文贡献：
- 使用高效的全同态加密方案BFV，效率提升至，加密耗16.5MB，匹配耗0.6s。
- 使用SIMD编码，提升计算效率，提升至，加密耗16KB，匹配耗0.01s。
名词解释：
- probe，就是要被检索的特征（图像）

方案#

上图就是人脸图像提取特征向量的过程。
- 人脸检测
- 对齐
- 归一化
- 特征提取，嵌入函数的功能就是将一个高维归一化的向量映射为一个 $d$ 维的特征向量。
传统的人脸识别系统分为：
- 注册，形成数据库 $X = {x_{1}, . . ., x_{n}}, x_{i} \in R^{d}$
- 匹配，给定一个图像，提取出特征 $y \in R^{d}$ ，与数据库中的向量匹配，得到的结果是一个分数，表示 $X$ 和 $Y$ 之间的相似度。
- 计算相似度： $d (x, y) = 1 - \frac{x^{T} y}{‖ x ‖ ‖ y ‖} = 1 - {\tilde{x}}^{T} \tilde{y} = 1 - \sum_{i = 1}^{d} {\tilde{x}}_{i} {\tilde{y}}_{i}$ ，其中 $\tilde{x} = \frac{x}{‖ x ‖}$ ，所以计算是由 $d$ 次标量乘法和 $d$ 次标量加法组成。
- 标量乘（scalar multiplications），就是向量对应位置相乘。

框架#

注册#

用户产生公私钥： $p k, s k$ ，使用公钥 $p k$ 加密一个特征向量 $x$ ，得到密文 $E (x)$ ，然后连同用户身份（user identity） $c$ 一起上传数据库。
每个用户生成各自的公私钥。

匹配#

给定一个要匹配的特征向量 $y$ ，使用公钥 $p k$ 加密得到密文 $E (y)$ ，然后连同用户身份标签（user identity） $c^{'}$ 一起上传数据库进行匹配。
服务器在密文下计算出相似度 $E (d_{1}), . . ., E (d_{n})$ ，并返回给客户端。
客户端使用私钥 $s k$ 解密得到结果。

匹配时的用户也产生自己的公私钥对
若与数据库中使用的公钥不同，需要服务器执行密钥交换

BFV方案#

BFV是在整数多项式计算的，所以在加密前需要编码。
$w$ 是分解整数的基， $l = l o g_{w} q$ 将整数 $q$ 分解为 $l$ 部分。

$d$ 次密文乘*密文， $d - 1$ 次密文+密文，1次密文+明文。

优化#

密文乘法计算导致计算速度慢，对于512维的人脸图像特征向量和128位的加密安全等级：
- 加密一次需要16.5MB内存
- 匹配一次需要0.7s
所以需要下一步优化：
- 在环上对人脸特征编码
- 使用批处理技术，利用CRT将向量编码为一个明文多项式，以单个乘法同态实现多个数的同态乘法
- 使用降维技术降低计算消耗

人脸特征编码#

环的选择很重要。
编码方式： $Encoding (a) = sign (a) (a_{n - 1} x^{n - 1} + \dots + a_{1} x + a_{0})$ ，其中 $a$ 是特征向量，编码为整数 $(a_{n - 1} x^{n - 1} + \dots + a_{1} x + a_{0})$ 。
$sign (a)$ 是什么？
基数 $w$ 在这里起什么作用？

批处理#

批处理：将多个数编码到多项式上，每次计算一次多项式就相当于对多个数同时计算。
对于环 $R_{t} = Z [x] / (x^{n} + 1)$ ，当 $t$ 为许多小素数的乘积时，即 $t = \prod_{i = 1}^{k} p_{i}$ ，可利用CRT将环 $R_{t}$ 进行分解。
如何拆分，如何计算？

批处理优点是，可以单次多项式计算操作相当于 $k$ 次整数计算。
缺点是：无法访问加密后向量中的各元素，也就无法求和。
解决办法：使用密文旋转，思想来自【Fully homomorphic encryption with polylog overhead-2012】，即循环旋转 $l = l o g_{w} q$ 次并累加向量元素从而获得加密向量元素之和。
密文内积计算：

最后乘 $(1, 0, 0, 0)$ 。

特征降维#

降维方法：ISOMAP【A global geometric framework for nonlinear dimensionality reduction-2000】、LLE【Nonlinear dimensionality reduction by locally linear embedding-2000】、随机映射（random projections）【Experiments with random projection-2000】等，本文使用的是主成成分分析法（Principal Component Analysis，PCA）。