随笔 - 70 文章 - 3 评论 - 1 阅读 - 43047

无人机辅助移动边缘计算的计算卸载优化:一种深度确定性策略梯度方法（2）——模型构建

参考文献：

[1] Wang Y , Fang W , Ding Y , et al. Computation offloading optimization for UAV-assisted mobile edge computing: a deep deterministic policy gradient approach[J]. Wireless Networks, 2021:1-16.doi：https://doi.org/10.1007/s11276-021-02632-z

2 系统模型

我们考虑了一种无人机辅助的MEC系统，该系统由UE和配备纳米MEC服务器的无人机组成。整个系统运行在离散时间内，时隙长度相等。对所有终端提供通信和计算服务，但一次只能对一个终端。由于计算能力的限制，终端必须通过无线网络将部分计算任务转移到无人机的MEC服务器上。

2.1 通信模型

无人机以时间划分方式向所有终端提供计算服务，将整个通信周期 T 划分为 I 个时隙。我们假设 UEs 在该区域内以低速随机移动。在每个时间段，无人机在固定位置悬停，然后与其中一个终端建立通信。终端将部分计算任务卸载到服务器上后，剩余的计算任务将在本地执行。在三维笛卡尔坐标系下，无人机保持在固定高度 H 飞行，无人机的起始坐标 $q(i)=[x(i), y(i)]^T \in R^{(2 \times 1)}$ 和结束坐标 $q(i+1)=[x(i+1), y(i+1)]^T \in R^{(2 \times 1)}$ 在时隙 $i \in \{1,2, \cdots,I\}$ 。UE坐标 $k \in \{1,2, \cdots,K\}$ 是 $p_k(i)=[x_k(i), y_k(i)]^T \in R^{(2 \times 1)}$ 。无人机与UE k之间的视距链路的信道增益可以表示为:

g_{k} (i) = α_{0} d_{k}^{- 2} (i) = \frac{α_{0}}{| | q (i + 1) - p_{k} (i) | |^{2} + H^{2}}

$g_k(i) = \alpha_0 d_k^{-2}(i) = \frac{\alpha_0}{||q(i+1)-p_k(i)||^2+H^2}$

式中， $\alpha_0$ 为参考距离 $d=1m$ 处的信道增益， $d_k(i)$ 为无人机与 k 之间的欧氏距离。由于障碍物的遮挡，无线传输速率可表示为:

r_{k} (i) = B l o g_{2} (1 + \frac{P_{u p} g_{k} (i)}{σ^{2} + f_{k} (i) P_{N L O S}})

$r_k(i) = B log_2(1+\frac{P_{up}g_k(i)}{\sigma^2+f_k(i)P_{NLOS}})$

B 表示通信带宽, $P_{up}$ 表示终端在上传链路的传输功率, $\sigma^2$ 表示噪声功率, $P_{NLOS}$ 表示传输损耗, $f_k(i)$ 表示在时刻 i , UAV 与UE k之间是否有阻塞的指示器(即0表示无堵塞，1表示堵塞)。

2.2 计算模型

在我们的MEC系统中，在每个时隙中对终端的任务使用了部分卸载策略。设 $R_k(i) \in [0,1]$ 表示卸载到服务器的任务的比例， $(1-R_k(i))$ 表示在终端本地执行的剩余任务。那么，UE k在第 i 个时隙的本地执行延迟可以表示为:

t_{l o c a l, k} (i) = \frac{(1 - R_{k} (i)) D_{k} (i) s}{f_{U E}}

$t_{local,k}(i) = \frac{(1-R_k(i))D_k(i)s}{f_{UE}}$

其中， $D_k(i)$ 为UE k的计算任务大小， s 为 UE 处理每个单位字节所需的CPU周期， $f_{UE}$ 为 UE 的计算能力。在第一个时间段，无人机从位置 q(i) 飞行到新的悬停位置

q (i + 1) = {[x (i) + v (i) t_{f l y} \cos β (i), y (i) + v (i) t_{f l y} \sin β (i)]}^{T}

$\mathbf{q}(i+1)=\left[x(i)+v(i) t_{fly} \cos \beta(i), y(i)+v(i) t_{fly} \sin \beta(i)\right]^{T}$

其中，速度为 $v(i) \in [0,v_{max}]$ 以及角度 $\beta(i) \in [0, 2\pi]$ 。本次飞行所消耗的能量可以表示为:

E_{f l y} (i) = ϕ | | v (i) | |^{2}

$E_{fly}(i) = \phi||v(i)||^2$

其中 $\phi=0.5 M_{UAV} t_{fly}$ ， M 与无人机的有效载荷相关， $t_{fly}$ 为固定飞行时间。在MEC系统中，服务器提供的计算结果的大小通常非常小，可以忽略不计。因此，这里不考虑下行链路的传输延迟。MEC服务器的处理延迟可分为两部分。一部分是传输时延，可以表示为:

t_{t r, k} (i) = \frac{R_{k} (i) D_{k} (i)}{r_{k} (i)}

$t_{t r, k}(i)=\frac{R_{k}(i) D_{k}(i)}{r_{k}(i)}$

另一部分是在MEC服务器上计算产生的延迟，可以表示为:

t_{U A V, k} (i) = \frac{R_{k} (i) D_{k} (i) s}{f_{U A V}}

$t_{U A V, k}(i)=\frac{R_{k}(i) D_{k}(i) s}{f_{U A V}}$

其中 $f_{U A V}$ 为服务器CPU计算频率。相应的，在 i 时间段将计算任务卸载给服务器所消耗的能量也可以分为两部分，一部分用于传输，一部分用于计算。在MEC服务器上进行计算时，其功耗可表示为:

P_{U A V, k} (i) = κ f_{U A V}^{3}

$P_{U A V, k}(i)=\kappa f_{U A V}^{3}$

则MEC服务器在第 i 时刻的能耗为:

E_{U A V, k} (i) = P_{U A V, k} (i) t_{U A V, k} (i) = κ f_{U A V}^{2} R_{k} (i) D_{k} (i) s

$E_{U A V, k}(i)=P_{U A V, k}(i) t_{U A V, k}(i)=\kappa f_{U A V}^{2} R_{k}(i) D_{k}(i) s$

2.3 问题公式化

在此基础上，提出了无人机辅助MEC系统的优化问题。为了确保有限的计算资源的有效利用，我们的目标是通过联合优化用户调度、无人机机动性和系统中的资源分配，使所有终端的最大处理延迟最小化。具体而言，优化问题可以表示为:

min_{{α_{k} (i), q (i + 1), R_{k} (i)}} \sum_{i = 1}^{I} \sum_{k = 1}^{K} α_{k} (i) max {t_{l o c a l, k} (i), t_{U A V, k} (i) + t_{t r, k} (i)} s.t. α_{k} (i) \in {0, 1}, \forall i \in {1, 2, \dots, I}, k \in {1, 2, \dots, K}, \sum_{k = 1}^{K} α_{k} (i) = 1, \forall i, 0 \leq R_{k} (i) \leq 1, \forall i, k, q (i) \in {(x (i), y (i)) ∣ x (i) \in [0, L], y \in [0, W]}, \forall i, p (i) \in {(x_{k} (i), y_{k} (i)) ∣ x_{k} (i) \in [0, L], y_{k} \in [0, W]}, \forall i, k, f_{k} (i) \in {0, 1}, \forall i, k, \sum_{i = 1}^{I} (E_{f l y, k} (i) + E_{U A V, k} (i)) \leq E_{b}, \forall k, \sum_{i = 1}^{I} \sum_{k = 1}^{K} α_{k} (i) D_{k} (i) = D

$\min _{\left\{\alpha_{k}(i), \mathbf{q}(i+1), R_{k}(i)\right\}} \sum_{i=1}^{I} \sum_{k=1}^{K} \alpha_{k}(i) \max \left\{t_{l o c a l, k}(i), t_{U A V, k}(i)+t_{t r, k}(i)\right\} \\ \text { s.t. } \alpha_{k}(i) \in\{0,1\}, \forall i \in\{1,2, \ldots, I\}, k \in\{1,2, \ldots, K\}, \\ \sum_{k=1}^{K} \alpha_{k}(i)=1, \forall i, \\ 0 \leq R_{k}(i) \leq 1, \forall i, k, \\ \mathbf{q}(i) \in\{(x(i), y(i)) \mid x(i) \in[0, L], y \in[0, W]\}, \forall i, \\ \mathbf{p}(i) \in\left\{\left(x_{k}(i), y_{k}(i)\right) \mid x_{k}(i) \in[0, L], y_{k} \in[0, W]\right\}, \forall i, k, \\ f_{k}(i) \in\{0,1\}, \forall i, k , \\ \sum_{i=1}^{I}\left(E_{f l y, k}(i)+E_{U A V, k}(i)\right) \leq E_{b}, \forall k , \\ \sum_{i=1}^{I} \sum_{k=1}^{K} \alpha_{k}(i) D_{k}(i)=D$

其中，等式 (9b)和等式 (9c)保证在第 i 个时间段只有一个用户被调度到计算中。等式 (9d)为计算任务卸载率的取值范围。约束(9e)和(9f)表示UE和UAV只能在给定区域内移动。约束(9g)表示无人机与终端之间的无线信道在 i 时隙被堵塞。约束(9h)保证无人机在所有时隙飞行和计算的能耗不超过最大电池容量。约束(9i)指定整个时间段内需要完成的所有计算任务。