基于数字孪生与延迟多普勒域感知的无人机-地面车辆动态选择：神经上下文赌博机方法

《IEEE Open Journal of the Communications Society》：A Digital Twin Framework for Delay-Doppler Enabled Multi-UAV Selection Using Neural Contextual Bandits

　　本文针对无人机辅助车载网络中高动态环境下的多无人机选择难题，提出了一种集成数字孪生(DT)、延迟多普勒(DD)调制和人工智能(AI)的创新框架。研究团队利用DT构建物理环境的实时虚拟副本，通过DD域信道特征紧凑表征动态无线信道状态，并采用基于神经上下文上置信界(NeuralUCB)的在线学习算法，以DD参数和无人机剩余电量为上下文特征，学习其与可达成传输数据间的非线性关系，从而实现最优无人机-地面车辆配置选择。数值分析表明，该方法在总传输数据、覆盖时长和能量消耗公平性方面均优于现有基准方案，为高动态空对地通信提供了高效解决方案。

　　

在当今快速发展的无线通信领域，无人机(UAV)凭借其灵活的部署和机动能力，已成为增强地面通信覆盖，特别是在偏远地区、灾后现场或高速移动场景（如车载网络）中的关键角色。然而，当多架无人机协同为多辆地面车辆(GV)提供通信服务时，如何在这种高度动态的环境中实时选择最优的无人机-车辆配对组合，却是一个巨大的挑战。这不仅仅是因为无线信道随时间快速变化，还涉及到无人机的能量限制、相对运动导致的覆盖时长变化以及复杂的干扰管理。传统的优化方法往往依赖于精确的环境模型和大量的实时信息交换，这在快速变化的实际场景中既不现实也会引入难以接受的延迟。

为了解决这一难题，研究人员在《IEEE Open Journal of the Communications Society》上发表了他们的最新成果。他们巧妙地融合了三种前沿技术——数字孪生(DT)、延迟多普勒(DD)调制和人工智能(AI)——构建了一个全新的智能决策框架。该框架的核心思想是利用数字孪生技术在云端或高性能无人机上创建一个与物理世界同步的虚拟环境，从而以集中式但低开销的方式感知整个系统的状态。为了降低物理空间与数字孪生体之间频繁的数据传输压力，研究引入了延迟多普勒域通信，仅提取关键的DD信道参数（如视距路径延迟和最大多普勒频移）来紧凑地表征信道的动态特性，这些参数隐含了无人机与地面车辆之间的距离、相对速度等关键信息。最后，数字孪生服务器利用一种名为神经上下文上置信界(NeuralUCB)的在线学习算法，将这些DD参数和无人机的剩余电量作为上下文特征，不断学习它们与系统整体性能（即可达成的总传输数据量）之间的复杂非线性关系，从而逐步学会在每一时刻做出最优的无人机-车辆配对决策。

本研究主要采用了几个关键技术方法：首先，构建了一个数字孪生框架，实时同步物理无人机-地面车辆环境的状态。其次，利用正交时频空间(OTFS)调制技术获取延迟多普勒域信道参数，作为表征信道动态的紧凑上下文特征。第三，设计并实现了基于神经网络的上下文多臂赌博机(NeuralUCB)算法，用于在线学习上下文特征与系统奖励（传输数据量）之间的非线性映射关系，从而进行序列决策。在仿真环境中，设置了包含多个无人机和地面车辆的动态网络场景，并与其他基准算法（如LinUCB和传统UCB）进行了性能对比。

A. A2G DD Channel Modeling

研究人员采用了扩展车辆A(EVA)信道模型来模拟空对地(A2G)通信场景。信道在延迟多普勒域的冲激响应由多个路径分量组成，其中包含视距(LoS)路径和非视距路径。每个路径都有其对应的复幅度、延迟和多普勒频移。最大多普勒频移与无人机和地面车辆之间的相对速度成正比，这直接反映了运动对信道的影响。通过这种建模，可以精确捕捉高速移动环境下的信道时变特性。

B. Principles of OTFS Modulation

与传统的正交频分复用(OFDM)在频时(FT)域传输数据不同，正交时频空间(OTFS)调制是一种在延迟多普勒域进行数据传输的多载波方案。它通过逆辛格傅里叶变换(ISFFT)和Heisenberg变换将信息映射到时域波形，能够有效对抗由信道延迟扩展和多普勒频移引起的符号间干扰(ISI)和载波间干扰(ICI)，因此非常适用于无人机与高速移动车辆之间的通信。在接收端，通过Wigner变换和辛格傅里叶变换(SFFT)恢复出延迟多普勒域的信号，其与发送信号的关系由加窗后的延迟多普勒域信道冲激响应所决定。

C. Optimization Problem Formulation

研究将最优无人机-地面车辆配置选择问题形式化为一个动态非线性优化问题。目标是在每个时隙t，最大化所有关联配对的总传输数据量Y_nm,t，该数据量是可达数据速率ψ_nm,t和地面车辆覆盖时长τ_nm,t的乘积。优化问题考虑了多种实际约束，包括二进制关联变量、每个地面车辆只能由一个无人机服务、无人机服务车辆数量上限、无人机和车辆的速度限制、无人机的飞行高度范围、覆盖距离约束以及无人机的能量约束（确保剩余能量不低于安全阈值）。该问题的挑战在于其动态性、非线性以及τ_nm,t的不可精确预测性，使得传统优化方法难以适用。

IV. Proposed Contextual NeuralUCB Algorithm

为了应对上述优化挑战，论文提出了基于数字孪生的上下文NeuralUCB算法。算法将每个可能的无人机-车辆配置组合视为一个“臂”，其奖励是该配置下所有链路的总传输数据量。上下文向量由该配置下所有链路的归一化DD参数（视距延迟、最大多普勒频移）和总剩余电量构成。NeuralUCB算法使用一个神经网络来近似奖励函数，该网络通过梯度下降法进行训练。在选择时，算法平衡“利用”（选择当前估计奖励最高的臂）和“探索”（选择不确定性高的臂），通过计算一个包含预测值和不确定性项的上置信界(UCB)来实现。数字孪生服务器根据计算出的UCB值选择最佳配置，执行后观察实际奖励，并更新网络参数。通过这种方式，算法能够在线学习复杂的非线性关系，逐步收敛到高性能的决策策略。

V. Numerical Analysis

数值分析部分对提出的框架进行了全面评估。首先，通过参数敏感性分析确定了NeuralUCB算法关键参数（如网络宽度λ、学习率η、探索参数γ）的合适取值。随后，在多种网络规模（不同无人机和地面车辆数量）下，将所提方法与理想最优策略、上下文线性上置信界(LinUCB)算法以及非上下文UCB算法进行了比较。性能指标包括平均总传输数据量、平均总覆盖时长以及无人机能量消耗的Jain公平性指数。

研究结果表明，提出的NeuralUCB方法在总传输数据量和覆盖时长方面非常接近理想最优策略的性能，并且显著优于LinUCB和UCB算法。例如，在3辆地面车辆的场景下，当无人机数量为2时，NeuralUCB达到了最优策略92.85%的传输数据量性能，而LinUCB和UCB仅分别达到73.17%和55.57%。更重要的是，由于在上下文向量中考虑了无人机的剩余能量，NeuralUCB算法在无人机能量消耗的公平性方面表现最佳，甚至优于不考虑能量约束的理想最优策略，这有助于延长无人机机队的整体任务寿命。收敛性分析显示NeuralUCB能够快速收敛到接近最优的性能。此外，研究还考察了延迟多普勒信道估计误差对算法性能的影响，发现NeuralUCB性能会随误差增大而下降，但其性能仍始终优于LinUCB，这凸显了其非线性建模能力的优势，同时也表明需要高精度的信道估计来充分发挥其潜力。

VI. Conclusion

本研究成功地将数字孪生、延迟多普勒通信和神经上下文赌博机学习相结合，为解决高动态无人机辅助车载网络中的多无人机选择问题提供了一个高效且实用的框架。该框架通过数字孪生实现了集中式低开销控制，利用延迟多普勒域参数紧凑地表征了信道动态，并借助NeuralUCB算法强大的非线性学习能力，实现了在不确定环境下近乎最优的实时决策。仿真结果充分验证了该框架在提升系统吞吐量、延长通信覆盖时长以及保证无人机能量公平性方面的卓越性能。这项工作为空对地通信的动态资源管理开辟了新的方向，对于推动6G网络中集成非地面网络的高效运行具有重要的理论和实践意义。未来的工作可以着眼于将该框架扩展到更广泛的网络拓扑结构，并研究如何进一步提升其在信道估计不完美等非理想条件下的鲁棒性。