阅读文献《ConvlstmCsiNet：Spatio-Temporal Representation With Deep Neural Recurrent Network in MIMO CSI Feedback》

​ 该文献的作者是天津大学的吴华明老师，在2020年5月发表于IEEE WIRELESS COMMUNICATIONS LETTERS。

​ 该文献提出了一种基于深度学习的压缩CSI方法，使用深度循环神经网络(RNN)来学习时间相关性，根据不同结构下解耦的时空特征表示设计了特征提取模块，并采用深度可分离卷积来恢复信道。

1 研究背景

​ 在频分双工(FDD)MIMO网络中，UE可以估计出下行CSI，然后将CSI反馈给BS对下一个信号进行预编码。上行CSI反馈则由于BS处有大量天线，导致CSI反馈计算复杂度巨大。因此需要降低CSI反馈的开销，最新研究表明，应用深度学习来解决无线通信中的CSI反馈问题可以得到优秀的性能。

​ 文章的主要贡献是在CsiNet、ConvLSTM和RecCsiNet的基础上，设计了一种编码解码网络，称为ConvlstmCsiNet。在编码器中，利用ConvLSTM提取特征，并且用P3D替换了ConvLSTM中的卷积层；随后使用RecCsiNet作为编码器的压缩和解码器的解压模块；最后，把RefineNet中的标准卷积用深度可分离卷积代替作为解码器的信道恢复模块。

2 CSI反馈系统

​ 考虑频分双工MIMO下行链路，在BS上有Nt根天线，在每个UE上有一根天线，在OFDM中有${\tilde{N}}_{\mathrm{c}}$个子载波，第n个子载波的接收信号为：

$$y_n={\tilde{\mathbf{h}}}_n^H{\mathbf{v}}_n{x}_n+z_n$$

${\tilde{\mathbf{h}}}_n\in {\mathbb{C}}^{N_{\mathrm{t}}\times 1},{\mathbf{v}}_n\in {\mathbb{C}}^{N_{\mathrm{t}}\times 1},x_n\in \mathbb{C}\text{, 和 }{z}_n\in \mathbb{C}$分别表示瞬时信道向量、预编码向量、调制的发射信号和第n个子载波上的加性噪声。CSI矩阵可以表示为：

$$\tilde{\mathbf{H}}=[{\tilde{\mathbf{h}}}_1,{\tilde{\mathbf{h}}}_2,\dots ,{\tilde{\mathbf{h}}}_{{\tilde{N}}_c}]\in {\mathbb{C}}^{N_t\times {\tilde{N}}_c}$$

假设每个UE都可以获得$\tilde{\mathbf{H}}$的估计，然后进行两个预处理，再反馈给BS：

• 首先用二维离散傅里叶变换($DFT$)处理$\tilde{\mathbf{H}}$，把它转换到角延迟域。
• 在延迟域中，除前几列非零外大多数元素都是零，因此保留前$N_{\mathrm{c}}$列，其余的列删除，新的CSI矩阵大小为$\mathbf{H}\in {\mathbb{C}}^{N_t\times N_c}$。

​ 假设对于给定的OFDM系统及其相关的预编码向量，信道矩阵H保持固定。然而它是会根据状态空间模型随时间而变化的，第t时步的瞬时CSI矩阵为$H_t=[{\mathbf{h}}_{1,t},{\mathbf{h}}_{2,t},\dots ,{\mathbf{h}}_{N_c,t}]\in {\mathbb{C}}^{N_t\times N_c}$,则下一时步的CSI矩阵表示为：

$${\mathbf{H}}_{t+1}=\mathbf{F}\cdot {\mathbf{H}}_t+\mathbf{G}\cdot {\mathbf{u}}_t$$

其中${\mathbf{u}}_t\in {\mathbb{C}}^{N_t\times N_c},\mathbf{F},\mathbf{G}\in {\mathbb{C}}^{N_t\times N_t}$分别代表加性噪声和权重方阵，$u_t^{(i,j)}\sim N(0,{\sigma }_u^2)$。用$\alpha$来表示相邻CSI矩阵之间的相关性，可令$F=(1-{\alpha }^2)I,G={\alpha }^{2}I$。所以在时间T内随时间变换的CSI矩阵可表示为${\left\{{\mathbf{H}}_t\right\}}_{t=1}^T=\{{\mathbf{H}}_1,{\mathbf{H}}_2,\dots ,{\mathbf{H}}_T\}$。

​ 如图1所示，在CSI反馈的过程中，首先将${\left\{{\mathbf{H}}_t\right\}}_{t=1}^T$分为实部和虚部，矩阵中的所有元素都转化为实数，并在$[0,1]$内归一化。随后利用DFT变换和截断操作将反馈参数个数降低为$N=2\ast N_c\ast N_t$，这在MIMO中仍然是非常大的。因此需要输入编码器进行特征提取和压缩，得到M维的码字，压缩率为$\gamma =M/N$。码字作为BS中解码器的输入，经过解压缩和特征恢复得到${\hat{\mathbf{H}}}_t$，最后通过逆$DFT$和补0操作得到${\widehat{\tilde{\mathbf{H}}}}_t$。

​ 图1中，不同的网络层有不同的颜色，每层上方是输出的形状，用$T\times H\times W\times C$或者$T\times L\times C$表示，$T,H,W,C$和$L$分别表示循环神经网络的时间步，特征图的高度，特征图的宽度，通道数和码字长度。

图1 ConvlstmCsiNet

3 ConvlstmCsiNet With P3D Blocks

3.1 ConvlstmCsiNet

3.1.1 特征提取

​ 在图2 CsiNet的基础上改进了特征提取模块，在卷积层前增加了卷积长短期记忆(ConvLSTM)层，从之前时间步长的输入中学习时间相关性，压缩时间冗余，它可以帮助卷积在特征提取中捕获更多有用的时间信息。

图2 CsiNet的编码器

​ ConvLSTM是为了解决随计算时间增加时间序列梯度消失的问题。与LSTM相比，主要的变化是将权值的计算由线性运算转换为卷积运算，不仅能捕获时间相关性，还能同时获得图像特征中的详细局部信息。如图3所示，它通过三个遗忘门、输入门和输出门，包括sigmoid激活层、tanh激活层和卷积运算，就能够对状态信息进行删除或添加。此外，由于卷积运算比线性运算需要的参数少得多，ConvLSTM可以帮助减小网络参数的大小。

图3 ConvLSTM

3.1.2 特征压缩和解压

​ 参考RecCsiNet的压缩解压模块，通过并联全连接层和LSTM，把N长的向量压缩成M长的码字，如图4所示。这里并没有完全用ConvLSTM代替LSTM，因为LSTM在权值计算中进行FC运算，在整体信息交互方面表现更好，更适合于特征压缩，而ConvLSTM更适合于描述局部详细信息。

图4 RecCsiNet的压缩解压模块

3.1.3 特征恢复

​ 采用CsiNet的RefineNet作为基本结构。每个RefineNet块有3个串联的卷积层，分别输出8、16和2个特征图。特征恢复模块使用两个RefineNet块对H的初步粗略估计进行了细化，CsiNet中的结果证明两个块足以恢复CSI矩阵，更多块将导致参数冗余，如图5所示。在两个RefineNet之后，还有一个卷积层和一个sigmoid激活层，它输出恢复H的实部和虚部最终结果。

图5 CsiNet的解码器

​ 在RefineNet的基础上，用深度可分离卷积（depthwise separable convolution，DS-Conv）代替其中的所有卷积层，不仅减少了参数的数量，而且还让RefineNet实现更好的性能和更高的恢复精度。DS-Conv分为两个步骤，深度卷积如图6所示，点卷积如图7所示。

深度卷积是一组卷积，每个卷积分别负责一个特征图，因此有M个3 × 3 × 3个深度为1的深度卷积滤波器，输出M个特征图。

图6 深度卷积

点卷积是N个1 × 1 × 1的深度为M的卷积，处理深度卷积得到的M个特征图，输出N个特征图。

图7 点卷积

深度卷积主要是获取每个信道的特征，点卷积是获取上行信道和下行信道的维度，以及信道之间的信息整合和交互，有助于卷积更好地理解不同信道之间的相关性。DS-Conv3D也可以在一定程度上减小特征恢复模块的参数大小，此外由于大量使用了点卷积，一些高度优化矩阵乘法如GEMM可以直接完成，而不需要im2col的预处理操作，大大提高了运算效率。

3.2 ConvlstmCsiNet的解耦时空特征提取

​ 为了进一步完善ConvlstmCsiNet，还重点研究了特征提取模块中的时空特征表示。ConvLSTM首先提取单元格中的空间特征，然后对单元格进行循环，形成时间序列，这表明提取空间特征和时间特征具有一定的独立性。

​ 因此，可以用Pseudo-3D (P3D)替换掉特征提取模块中的卷积层。P3D的结构如图8所示，它的关键思想是分别在时间域和空间域捕获特征。假设我们有尺寸为$Td\times Sd\times Sd$的三维卷积滤波器($Td$和$Sd$分别表示时间深度和空间深度)，它们可以自然解耦为空间域上的$1\times Sd\times Sd$卷积滤波器和时间域上的$Td\times 1\times 1$卷积滤波器。P3D以串联或并联的方式用两个滤波器取代标准卷积层，这样既可以减少参数的数量，又可以降低计算复杂度。在图8中提出了3种组合结构，还使用了ResNet的跳跃连接方法，它可以直接将数据流传递到后续层，导致模型退化为浅网络，从而通过跳过那些不必要的层来简化优化，提高神经网络的鲁棒性。

图8 P3D

基于ConvlstmCsiNet，将P3D-A, P3D-B和P3D-C块分别替代特征提取模块中的卷积层，分别称为ConvlstmCsiNet- A, ConvlstmCsiNet- B和ConvlstmCsiNet- C。

4 实验结果

​ 通过COST 2100信道模型创建了两种信道矩阵：1）5.3GHz室内场景；2）300MHz农村室外场景。BS位于室内和室外场景中长度分别为20m和400m的正方形区域的中心，而UE则随机位于每个样本的正方形区域。基站天线阵列数量为32，子载波数为1024，将信道矩阵转换到角延迟域时，保留信道矩阵的前32行，即H的大小为32 × 32。根据公式(3)，在每个时间步长之间加入微小的高斯白噪声${\sigma }_u={10}^{-3}$和相邻信道的相关系数$\alpha$，将二维CSI矩阵扩展为T时间序列的时变CSI矩阵，其中T为循环时间步长，为方便设置为4。训练集、验证集和测试集分别包含100000、30000和20000个样本。前1000个epoch的学习率为${10}^{-3}$，1000 ~ 1200个epoch的学习率为$5\times {10}^{-4}$，最后1200 ~ 1500个epoch的学习率为${10}^{-4}$。引用两个指标来衡量网络性能的优劣：

• 归一化均方误差 (NMSE)，它能够量化输入${\left\{{\mathbf{H}}_t\right\}}_{t=1}^T$和输出${\left\{{\hat{\mathbf{H}}}_t\right\}}_{t=1}^T$，定义为：

$$\mathrm{NMSE}=\mathbb{E}\left\{\frac{1}{T}\sum _{t=1}^T\frac{{\Vert {\mathbf{H}}_t-{\hat{\mathbf{H}}}_t\Vert }_F^2}{{\Vert {\mathbf{H}}_t\Vert }_F^2}\right\}$$

• 余弦相似度$\rho$，它能够描述了原始CSI矩阵$\tilde{\mathbf{H}}$和恢复的$\widehat{\tilde{\mathbf{H}}}$之间的相似性，定义为：

$$\rho =\mathbb{E}\left\{\frac{1}{T}\frac{1}{{\tilde{N}}_c}\sum _{t=1}^T\sum _{n=1}^{{\tilde{N}}_c}\frac{|{\widehat{\tilde{\mathbf{h}}}}_{n,t}^H\cdot {\tilde{\mathbf{h}}}_{n,t}|}{{\Vert {\widehat{\tilde{\mathbf{h}}}}_{n,t}\Vert }_2{\Vert {\tilde{\mathbf{h}}}_{n,t}\Vert }_2}\right\}$$

将本文的方法与基于深度学习的方法如CsiNet和RecCsiNet进行比较，对应的NMSE和$\rho$如表1所示，其中最好的结果用粗体标记。由于NMSE的值太小，所以用$log(NMSE)$来表示。

​ 结果表明，四种提出网络的性能都优于CsiNet和RecCsiNet，在带P3D的网络中，ConvlstmCsiNet-A的性能最好，而ConvlstmCsiNet-B的性能最差，说明串联比并联方式的时空滤波器性能更好。在室外条件下，四种模型在室外场景下都比在室内场景下获得了更高的性能提升，表明它们具有较高的鲁棒性，与ConvlstmCsiNet相比，使用P3D的网络获得了更好的性能，说明P3D对提高模型的鲁棒性有积极的作用。

表1 α=0.1时不同压缩率下的NMSE和ρ

5 结论

​ 在特征提取和恢复模块中分别采用RNN和深度可分离卷积，提出了一种新的CSI反馈网络结构。实验结果表明，该网络的鲁棒性、准确性和质量都比CsiNet和RecCsiNet要强。

6 学习收获

文章的主要工作如下：

1. ConvLSTM提取信道；
2. P3D优化ConvLSTM；
3. RecCsiNet压缩和解压；
4. RefineNet恢复信道；
5. DS-Conv优化RefineNet。

它是在CsiNet和RecCsiNet的基础上，加入了ConvLSTM、P3D和DS-Conv，从实验结果来看表现的性能非常优秀。这篇文献在一些细节参数上讲的比以前看过的文章清楚，通过阅读这篇文献，我新学习了ConvLSTM、P3D和DS-Conv网络模型，了解了它们的一些特点和用处，也让我想去阅读更多相关文献来看是否还有其它的优化方法。