阅读文献《ConvlstmCsiNet：Spatio-Temporal Representation With Deep Neural Recurrent Network in MIMO CSI Feedback》

​ 该文献的作者是天津大学的吴华明老师，在2020年5月发表于IEEE WIRELESS COMMUNICATIONS LETTERS。

​ 该文献提出了一种基于深度学习的压缩CSI方法，使用深度循环神经网络(RNN)来学习时间相关性，根据不同结构下解耦的时空特征表示设计了特征提取模块，并采用深度可分离卷积来恢复信道。

1 研究背景

​ 在频分双工(FDD)MIMO网络中，UE可以估计出下行CSI，然后将CSI反馈给BS对下一个信号进行预编码。上行CSI反馈则由于BS处有大量天线，导致CSI反馈计算复杂度巨大。因此需要降低CSI反馈的开销，最新研究表明，应用深度学习来解决无线通信中的CSI反馈问题可以得到优秀的性能。

​ 文章的主要贡献是在CsiNet、ConvLSTM和RecCsiNet的基础上，设计了一种编码解码网络，称为ConvlstmCsiNet。在编码器中，利用ConvLSTM提取特征，并且用P3D替换了ConvLSTM中的卷积层；随后使用RecCsiNet作为编码器的压缩和解码器的解压模块；最后，把RefineNet中的标准卷积用深度可分离卷积代替作为解码器的信道恢复模块。

2 CSI反馈系统

​ 考虑频分双工MIMO下行链路，在BS上有Nt根天线，在每个UE上有一根天线，在OFDM中有\(\tilde{N}_{\mathrm{c}}\)个子载波，第n个子载波的接收信号为：

\[y_n=\tilde{\mathbf{h}}_n^H \mathbf{v}_n x_n+z_n \]

\(\tilde{\mathbf{h}}_n \in \mathbb{C}^{N_{\mathrm{t}} \times 1}, \mathbf{v}_n \in \mathbb{C}^{N_{\mathrm{t}} \times 1}, x_n \in \mathbb{C} \text {, 和 } z_n \in \mathbb{C}\)分别表示瞬时信道向量、预编码向量、调制的发射信号和第n个子载波上的加性噪声。CSI矩阵可以表示为：

\[\tilde{\mathbf{H}}=\left[\tilde{\mathbf{h}}_1, \tilde{\mathbf{h}}_2, \ldots, \tilde{\mathbf{h}}_{\tilde{N}_c}\right] \in \mathbb{C}^{N_t \times \tilde{N}_c} \]

假设每个UE都可以获得\(\tilde{\mathbf{H}}\)的估计，然后进行两个预处理，再反馈给BS：

• 首先用二维离散傅里叶变换(\(DFT\))处理\(\tilde{\mathbf{H}}\)，把它转换到角延迟域。
• 在延迟域中，除前几列非零外大多数元素都是零，因此保留前\({N}_{\mathrm{c}}\)列，其余的列删除，新的CSI矩阵大小为\({\mathbf{H}} \in \mathbb{C}^{N_t \times {N}_c}\)。

​ 假设对于给定的OFDM系统及其相关的预编码向量，信道矩阵H保持固定。然而它是会根据状态空间模型随时间而变化的，第t时步的瞬时CSI矩阵为\({H}_{t}=\left[\mathbf{h}_{1, t}, \mathbf{h}_{2, t}, \ldots, \mathbf{h}_{N_c, t}\right] \in \mathbb{C}^{N_t \times N_c}\),则下一时步的CSI矩阵表示为：

\[\mathbf{H}_{t+1}=\mathbf{F} \cdot \mathbf{H}_t+\mathbf{G} \cdot \mathbf{u}_t \]

其中\(\mathbf{u}_t \in \mathbb{C}^{N_t \times N_c},\mathbf{F}, \mathbf{G} \in \mathbb{C}^{N_t \times N_t}\)分别代表加性噪声和权重方阵，\(u_t^{(i, j)} \sim N\left(0, \sigma_u^2\right)\)。用\(α\)来表示相邻CSI矩阵之间的相关性，可令\(F = (1 - α^2)I,G = {α^2}I\)。所以在时间T内随时间变换的CSI矩阵可表示为\(\left\{\mathbf{H}_t\right\}_{t=1}^{T}=\left\{\mathbf{H}_1, \mathbf{H}_2, \ldots, \mathbf{H}_T\right\}\)。

​ 如图1所示，在CSI反馈的过程中，首先将\(\left\{\mathbf{H}_t\right\}_{t=1}^{T}\)分为实部和虚部，矩阵中的所有元素都转化为实数，并在\([0,1]\)内归一化。随后利用DFT变换和截断操作将反馈参数个数降低为\(N= 2*N_c*N_t\)，这在MIMO中仍然是非常大的。因此需要输入编码器进行特征提取和压缩，得到M维的码字，压缩率为\(γ=M/N\)。码字作为BS中解码器的输入，经过解压缩和特征恢复得到\(\widehat{{\mathbf{H}}}_t\)，最后通过逆\(DFT\)和补0操作得到\(\widehat{\tilde{\mathbf{H}}}_t\)。

​ 图1中，不同的网络层有不同的颜色，每层上方是输出的形状，用\(T × H × W × C\)或者\(T × L × C\)表示，\(T,H,W,C\)和\(L\)分别表示循环神经网络的时间步，特征图的高度，特征图的宽度，通道数和码字长度。

图1 ConvlstmCsiNet

3 ConvlstmCsiNet With P3D Blocks

3.1 ConvlstmCsiNet

3.1.1 特征提取

​ 在图2 CsiNet的基础上改进了特征提取模块，在卷积层前增加了卷积长短期记忆(ConvLSTM)层，从之前时间步长的输入中学习时间相关性，压缩时间冗余，它可以帮助卷积在特征提取中捕获更多有用的时间信息。

图2 CsiNet的编码器

​ ConvLSTM是为了解决随计算时间增加时间序列梯度消失的问题。与LSTM相比，主要的变化是将权值的计算由线性运算转换为卷积运算，不仅能捕获时间相关性，还能同时获得图像特征中的详细局部信息。如图3所示，它通过三个遗忘门、输入门和输出门，包括sigmoid激活层、tanh激活层和卷积运算，就能够对状态信息进行删除或添加。此外，由于卷积运算比线性运算需要的参数少得多，ConvLSTM可以帮助减小网络参数的大小。

图3 ConvLSTM

3.1.2 特征压缩和解压

​ 参考RecCsiNet的压缩解压模块，通过并联全连接层和LSTM，把N长的向量压缩成M长的码字，如图4所示。这里并没有完全用ConvLSTM代替LSTM，因为LSTM在权值计算中进行FC运算，在整体信息交互方面表现更好，更适合于特征压缩，而ConvLSTM更适合于描述局部详细信息。

图4 RecCsiNet的压缩解压模块

3.1.3 特征恢复

​ 采用CsiNet的RefineNet作为基本结构。每个RefineNet块有3个串联的卷积层，分别输出8、16和2个特征图。特征恢复模块使用两个RefineNet块对H的初步粗略估计进行了细化，CsiNet中的结果证明两个块足以恢复CSI矩阵，更多块将导致参数冗余，如图5所示。在两个RefineNet之后，还有一个卷积层和一个sigmoid激活层，它输出恢复H的实部和虚部最终结果。

图5 CsiNet的解码器

​ 在RefineNet的基础上，用深度可分离卷积（depthwise separable convolution，DS-Conv）代替其中的所有卷积层，不仅减少了参数的数量，而且还让RefineNet实现更好的性能和更高的恢复精度。DS-Conv分为两个步骤，深度卷积如图6所示，点卷积如图7所示。

深度卷积是一组卷积，每个卷积分别负责一个特征图，因此有M个3 × 3 × 3个深度为1的深度卷积滤波器，输出M个特征图。

图6 深度卷积

点卷积是N个1 × 1 × 1的深度为M的卷积，处理深度卷积得到的M个特征图，输出N个特征图。

图7 点卷积

深度卷积主要是获取每个信道的特征，点卷积是获取上行信道和下行信道的维度，以及信道之间的信息整合和交互，有助于卷积更好地理解不同信道之间的相关性。DS-Conv3D也可以在一定程度上减小特征恢复模块的参数大小，此外由于大量使用了点卷积，一些高度优化矩阵乘法如GEMM可以直接完成，而不需要im2col的预处理操作，大大提高了运算效率。

3.2 ConvlstmCsiNet的解耦时空特征提取

​ 为了进一步完善ConvlstmCsiNet，还重点研究了特征提取模块中的时空特征表示。ConvLSTM首先提取单元格中的空间特征，然后对单元格进行循环，形成时间序列，这表明提取空间特征和时间特征具有一定的独立性。

​ 因此，可以用Pseudo-3D (P3D)替换掉特征提取模块中的卷积层。P3D的结构如图8所示，它的关键思想是分别在时间域和空间域捕获特征。假设我们有尺寸为\(Td × Sd × Sd\)的三维卷积滤波器(\(Td\)和\(Sd\)分别表示时间深度和空间深度)，它们可以自然解耦为空间域上的\(1 × Sd × Sd\)卷积滤波器和时间域上的\(Td × 1 × 1\)卷积滤波器。P3D以串联或并联的方式用两个滤波器取代标准卷积层，这样既可以减少参数的数量，又可以降低计算复杂度。在图8中提出了3种组合结构，还使用了ResNet的跳跃连接方法，它可以直接将数据流传递到后续层，导致模型退化为浅网络，从而通过跳过那些不必要的层来简化优化，提高神经网络的鲁棒性。

图8 P3D

基于ConvlstmCsiNet，将P3D-A, P3D-B和P3D-C块分别替代特征提取模块中的卷积层，分别称为ConvlstmCsiNet- A, ConvlstmCsiNet- B和ConvlstmCsiNet- C。

4 实验结果

​ 通过COST 2100信道模型创建了两种信道矩阵：1）5.3GHz室内场景；2）300MHz农村室外场景。BS位于室内和室外场景中长度分别为20m和400m的正方形区域的中心，而UE则随机位于每个样本的正方形区域。基站天线阵列数量为32，子载波数为1024，将信道矩阵转换到角延迟域时，保留信道矩阵的前32行，即H的大小为32 × 32。根据公式(3)，在每个时间步长之间加入微小的高斯白噪声\(σ_u = 10^{−3}\)和相邻信道的相关系数\(α\)，将二维CSI矩阵扩展为T时间序列的时变CSI矩阵，其中T为循环时间步长，为方便设置为4。训练集、验证集和测试集分别包含100000、30000和20000个样本。前1000个epoch的学习率为\(10^{−3}\)，1000 ~ 1200个epoch的学习率为\(5 × 10^{−4}\)，最后1200 ~ 1500个epoch的学习率为\(10^{−4}\)。引用两个指标来衡量网络性能的优劣：

• 归一化均方误差 (NMSE)，它能够量化输入\(\left\{\mathbf{H}_t\right\}_{t=1}^{T}\)和输出\(\left\{\hat{\mathbf{H}}_t\right\}_{t=1}^T\)，定义为：

\[\mathrm{NMSE}=\mathbb{E}\left\{\frac{1}{T} \sum_{t=1}^T \frac{\left\|\mathbf{H}_t-\hat{\mathbf{H}}_t\right\|_F^2}{\left\|\mathbf{H}_t\right\|_F^2}\right\} \]

• 余弦相似度\(ρ\)，它能够描述了原始CSI矩阵\(\tilde{\mathbf{H}}\)和恢复的\(\widehat{\tilde{\mathbf{H}}}\)之间的相似性，定义为：

\[\rho=\mathbb{E}\left\{\frac{1}{T} \frac{1}{\tilde{N}_c} \sum_{t=1}^T \sum_{n=1}^{\tilde{N}_c} \frac{\left|\hat{\tilde{\mathbf{h}}}_{n, t}^H \cdot \tilde{\mathbf{h}}_{n, t}\right|}{\left\|\hat{\tilde{\mathbf{h}}}_{n, t}\right\|_2\left\|\tilde{\mathbf{h}}_{n, t}\right\|_2}\right\} \]

将本文的方法与基于深度学习的方法如CsiNet和RecCsiNet进行比较，对应的NMSE和\(ρ\)如表1所示，其中最好的结果用粗体标记。由于NMSE的值太小，所以用\(log(NMSE)\)来表示。

​ 结果表明，四种提出网络的性能都优于CsiNet和RecCsiNet，在带P3D的网络中，ConvlstmCsiNet-A的性能最好，而ConvlstmCsiNet-B的性能最差，说明串联比并联方式的时空滤波器性能更好。在室外条件下，四种模型在室外场景下都比在室内场景下获得了更高的性能提升，表明它们具有较高的鲁棒性，与ConvlstmCsiNet相比，使用P3D的网络获得了更好的性能，说明P3D对提高模型的鲁棒性有积极的作用。

表1 α=0.1时不同压缩率下的NMSE和ρ

5 结论

​ 在特征提取和恢复模块中分别采用RNN和深度可分离卷积，提出了一种新的CSI反馈网络结构。实验结果表明，该网络的鲁棒性、准确性和质量都比CsiNet和RecCsiNet要强。

6 学习收获

文章的主要工作如下：

1. ConvLSTM提取信道；
2. P3D优化ConvLSTM；
3. RecCsiNet压缩和解压；
4. RefineNet恢复信道；
5. DS-Conv优化RefineNet。

它是在CsiNet和RecCsiNet的基础上，加入了ConvLSTM、P3D和DS-Conv，从实验结果来看表现的性能非常优秀。这篇文献在一些细节参数上讲的比以前看过的文章清楚，通过阅读这篇文献，我新学习了ConvLSTM、P3D和DS-Conv网络模型，了解了它们的一些特点和用处，也让我想去阅读更多相关文献来看是否还有其它的优化方法。