语义通信论文阅读(2)：Semantic Communications: Overview, Open Issues, and Future Research Directions
语义通信：概述、开放问题和未来研究方向
文章刊源：IEEE Wireless Communication（1区，IF=11.457）
发表年份：2022年2月
文章概要：和前面的文章一样，这篇也是一篇综述型文章，作者定义了一个较为完整的语义通信结构，并且归纳了当前语义通信研究的问题与不足，总结了未来语义通信的发展方向，文章中理解的语义通信为知识型驱动的通信知识，并提出了一个基于DL的端到端语义通信基本架构。
目前的通信技术已经通过先进的编码和调制技术逼近Shannon物理容量极限。而语义通信不再是单纯的传输比特流，其核心是在发送端提取发送信息的"意义"，并借助发送端和接收端之间的匹配知识库( KB )，在接收端成功"解释"语义信息。所以语义通信本质上是一种基于人工智能的通信方案。
引言
5G使用了非常多的无线通信技术，例如：
- 非正交多址接入NOMA （Non-Orthgonal Multiple Access）
NOMA不同于传统的正交传输，在发送端采用非正交发送，主动引入干扰信息，在接收端通过串行干扰删除技术实现正确解调。基本思想是利用复杂的接收机设计来换取更高的频谱效率。
注意：NOMA的子信道依然采用正交频分复用技术OFDM，也就是说子信道是正交的，但是一个子信道不再只分给一个用户，同一个子信道上不同用户是非正交传输。所以产生了干扰，这时候接收端就需要串行干扰技术(SIC)来实现多用户检测。
- 大规模输入输出MIMO （Multiple-Input Multiple-Out-put）
MIMO技术属于多天线技术，利用空间分集/复用来提高吞吐量，多个独立的的数据流同时传输。其基本原理是在发射端和接收端分别使用多个发射天线和接收天线，并能够区分发往或来自不同空间方位的信号，还可以在不增加带宽与发射功率的前提下，提高系统容量、覆盖范围和信噪比、改善无线信号的传送质量.
尽管5G能够以低时延和高数据速率满足不同业务的大部分需求，但现有的技术可能无法支持超5G ( B5G )通信中的许多智能应用，例如脑机交互、VR、AR等。
语义通信关注传输消息的意义而不是精确的比特流传输。即使在接收者处解释的单词短语发生了一点点变化，接收者仍然可以理解。此外，当带宽有限或信噪比较低时，语义通信系统可能仍然表现良好，并且可能消耗更少的能量。
端到端语义通信
来看一个通用的基于DL的语义通信模型：
整体分为三个部分：语义Encoder-Decoder、信道Encoder-Decoder、发送端和接收端各自的Knowledge Base。
- 左侧为发送端，右侧为接收端。其中发送端的Encoder和接收端的Decoder由DNNs实现。Encoder基于其KB提取消息的语义信息。Decoder收到消息后，能够根据目的地KB对发送消息的含义进行解读和推断。
- 图中的红线表示在给定静态信源、信宿KB、通信环境下，采用随机梯度下降(SGD)联合训练语义编解码器、信道编解码器。DNN具有泛化性，即使一条消息之前没有出现过，也可以被成功编解码。但是当发送的消息与当前的KB类型不同时，必须要重新训练语义编解码器。由于信道状态是时刻变化的，知识库也是需要扩展和更新的，所以迁移学习是一种比较有效的训练编解码器的方法。
- 图中的黄色表示动态的通信环境下Encoder和Decoder的训练过程。如果通信环境发生变化，则需要使用新的信道模型重新训练信道Encoder-Decoder，而语义编码器和解码器的参数保持不变。
- 图中的蓝色表示动态的通信环境下KB的更新过程。如果语义源和目的节点通过学习和共享来更新其KB，则需要在给定信道Encoder-Decoder参数的情况下，基于新的KB重新训练语义Encoder-Decoder。
作者认为语义通信系统是基于知识的系统，KB是源地和目的地之前观测到的世界模型，语义源基于其KB提取消息的语义信息。接收方接收到消息后，能够根据目的地KB对发送消息的含义进行解释和推断。
文本传输
保持两个单词之间语义相似性的一个直观方法是为它们分配相似下标。
有点像word2vec，每个词映射为一个向量，可用来表示词对词之间的关系，相近的词会靠得很近。
举个例子："car"编码为"0010"，"automobile"编码为"0000"。尽管信道中有噪声和干扰，接收端重建的单词也会和发送端的单词具有很高的语义相似性。
受DNNs在NLP领域成功的启发，Farsad提出了一种基于文本语义通信的JSCC方案，其中编码器和解码器由两个RNN实现。
H. Xie在2020年提出了一种新的语义通信系统框架，旨在设计联合语义信源和信道编码方案，同时最大化系统容量。由于基于Transformer和自注意力机制，接收端可以很容易地理解长句。后来在2021年又提出了DeepSC，利用迁移学习联合训练语义Encoder-Decoder和信道Encoder-Decoder DNNs。
目前从文本中提取语义信息常用模型的有Transformer、DenseLayer、LSTM长短期记忆网络。
图像传输
图像的语义通信系统与文本的语义通信系统的结构几乎相同。两者最大的区别在于DNNs的结构。
那么如何从图像中提取语义信息呢？
目前最常见的方法是用CNN卷积神经网络来提取图像特征。
2019年，Deep-JSCC(上一篇论文阅读的作者写的)提出了一种基于CNN的E2E JSCC方案，在AWGN和Rayleigh信道中传输高分辨率图像。性能比传统算法有所提升，并且没有悬崖效应。悬崖效应：信道的信噪比较小时，解码端视频质量会突然严重下降。这是因为虽然数字信号的抗干扰能力强，但是它会存在一个临界长度，超过这个长度信号将会突然消失。
同样在2019年，C.Lee提出了一种联合传输和识别方案，提高物联网网络中的识别精度，提取每一帧的特征来传输视频。
语音
语音可以通过现在成熟的NLP技术转换成文字，但是这样无法传输语音信号的频率和音调，例如文本有时无法表达发送者的准确情感。
2020年，Weng利用注意力机制squeeze-and-excitation (SE)网络来捕获语音信号的不完整性和非线性。
来看看什么是SE ：
构造一个相应的SE块来执行特征重新校准，U是X卷积后的某个特征，将U通过squeeze函数压缩，对每个通道都产生了一个通道描述符，相当于每个通道的全局感受野。然后经过excitation函数为每个通道分配不同的重要程度，然后利用这个重要程度重新生成X。
近期语义通信的工作汇总
多用户语义通信
前面说到
- 非正交多址接入NOMA可以提高通信的频谱效率
- 各个语义通信系统的KB库可能有很大的不同
这使得设计多用户语义通信系统成为必要。由于KB的多样性，多用户信号可以使用相同的信道资源进行传输，例如频率或时隙。这样可以节省带宽，提高频谱效率。
- IR中的接收端可以通过训练一个DNN来估计每个用户的信道状态信息( CSI )并分离多用户信号
- 分离后的信号进行信道解码+语义解码
- 由于MIMO的空间分集增益，在发射端和接收端配备多根天线，波束成形技术和预编码技术可以用于增强语义通信系统中的多用户信号传输
波束成形：将无线信号（电磁波）只按特定方向传播。信号能量集中在特定的方向，一方面减少了对其它接收机的干扰，一方面也减小了信号能量的浪费。
预编码技术：在基站端利用信道状态信息对信号进行预处理，将预编码模块和发送信号以及信道进行匹配，充分利用信息状态来提高信息的可靠性与准确性。
使用语义通信的场景
物联网IoT
无人机、传感器等各种智能设备的广泛普及，消耗了更多的无线电资源。在状态更新系统或AoI感知系统中，物联网设备需要感知其工作环境，并将环境信息的实时状态上传至云中心或移动边缘计算( Mobile Edge Computing，MEC )服务器进行信号分析和处理。
信息年龄（AoI）是衡量信息新鲜度的准则。在实时性敏感的应用中，更新鲜的数据更重要。
所以这种物联网设备需要低延迟和高准确度。所以语义通信在物联网中比较有前景，关键是如何训练语义Encoder-Decoder和信道Encoder-Decoder，因为物联网设备计算和存储能力有限，不能使用过于复杂的DNN。
然后就是联邦学习和分布式学习。联邦学习中的DNN模型可以针对大量的物联网设备进行联合训练，训练过程可以通过云/边缘服务器进行协调。
智能网联车辆( ICV )网络
车辆可以感知环境中的信息并预测其行驶轨迹、交通流、网络拥塞、CSI等，这会造成巨大的流量。语义通信在ICV网络中的应用有以下三个优点：
- 有助于压缩和提取语义信息以降低时延
- 对信道噪声和干扰具有更强的鲁棒性，增强了数据传输的可靠性，提高了ICV网络中的驾驶和道路安全
- 在基于设备到设备( D2D )的车载通信中，车辆通常以铺底层的方式与蜂窝用户共享无线资源，这可能导致严重的同频干扰。而在语义通信中，由于KB的多样性，只要接收者能够理解发送消息的含义，这种干扰就可以最小化
智能工厂
智能工厂依赖于机器之间的通信以及人与机器之间的交互。机器状态、温度等语义特征可以被提取并上传到中央控制器或者边缘服务器然后分析。并且工厂的机器都是执行特定的动作，语义通信非常适合这种goal-oriented的通信模式。
开放性问题
- 语义通信的理论性研究不足
缺乏语义-信道编码联合设计的理论指导
需要对干扰信道下的SIT进行更多的研究
对语义信道及其容量的具体定义
数据传输速率对语义通信的影响，在无线信道中能传输多少语义信息
2.发送端和接受端KBs不一致
两端的KB同步需要时间，并且KB库是不断更新的。
3.多用户的解读算法设计
由于KB的多样性，多个用户可以使用相同的频率或时隙来传输语义信息。然而，多用户环境下接收端的语义信息解读复杂度很高，因为它必须同时考虑多用户检测、信道解码和语义解码。并且为了分离多个用户的消息，接收端的KB应该包含不同类型的数据。
4.语义通信的有效程度
在传统通信系统中对无线资源管理( Radio Resource Management，RRM )做了许多工作，但它们在语义通信中的有效性还有待验证。例如带宽、功率。并且在资源受限的物联网网络中，DNN模型的下载和参数上传的资源消耗，以及参数从接收端到发送端的梯度反向传播也需要仔细考虑。
5.语义通信的实现
语义通信中的理论不完备性可能会制约其实现。此外由于现有的通信技术已经非常成熟，我们是否真的需要语义通信仍然是工业界和学术界的一个问题。支持DL的语义通信系统的研究不仅受到语义理论的限制，还受到AI硬件的限制，而AI硬件需要以相对较低的成本高效运行DNNs。目前，具有专用人工智能核的系统级芯片( System-on-chip，SoC )，如神经网络处理单元( Neural Network Processing Unit，NPU )，能够在嵌入式人工智能加速器上运行人工智能模型。
总结
这篇文章主要阐述了几个点：
- 最近的语义通信相关工作
- 语义通信在传输信道、信源和信道编解码方案、性能指标等方面与传统通信有很大不同
- 不同消息传输类型（文字、图像、声音）需要不同的E2E语义通信系统设计
- 使用语义通信的场景
- 亟需解决的问题与挑战
