优化针对流感的时空非药物干预措施：一种考虑区域异质性的自适应强化学习方法

《Infectious Disease Modelling》：Optimizing spatiotemporal nonpharmaceutical interventions for influenza: An adaptive reinforcement learning approach for regional heterogeneity

　　流感仍是全球公共卫生重大挑战，因其高传染性、广泛传播及显著社会影响。传统阈值型非药物干预（NPIs）框架难兼顾区域异质性与防控及社会经济成本平衡，本研究提出SEIQR-Dueling DQN动态优化模型，通过整合气候、人口密度及医疗资源数据，实现平、山、高原三类城市差异化干预，动态调整口罩、居家隔离及医疗资源分配强度，感染峰值降低8.12%-34.92%，累积感染减少5.21%-5.99%，显著优于传统阈值策略。

　　### 研究背景与挑战

流感作为一种具有高度传染性、广泛传播性以及重大社会影响的疾病，一直是全球公共卫生领域的重要挑战。尽管传统的基于阈值的非药物干预措施（NPIs）在控制疫情方面提供了有价值的框架，但这些标准化的干预方式往往难以充分考虑到不同地区的异质性。在区域间，气候、人口结构以及医疗资源等关键因素的差异，使得单一的干预策略可能无法有效应对复杂的流行病学特征。因此，如何在不同区域之间平衡感染控制与社会经济成本，成为公共卫生管理中的一个重要难题。

在新冠疫情之后，由于非药物干预措施的减少以及疫苗接种率的下降，人口的易感性显著增加。NPIs在改变传染病传播动态方面起到了关键作用，而这些干预策略的优化需要考虑多个变量的动态变化。因此，构建能够有效应对流感传播异质性的多因素模型，成为实现更精准干预的关键。此外，现有的流感指数系统虽然提供了全面的控制策略视角，但其静态权重和固定阈值可能无法适应流感传播的动态变化和区域差异。这种局限性使得在平衡疾病负担与经济成本方面面临困难，迫切需要开发更加灵活和适应性强的干预模型。

### 方法与模型构建

本研究提出了一种结合气候、人口和医疗资源数据的“SEIQR-Dueling DQN”框架，专门适用于平原、丘陵和高原城市。该模型基于经典的SEIQR（易感-暴露-感染-隔离-移除）传染病模型，并引入了基于深度强化学习（DRL）的强化学习（RL）控制器。通过模拟不同城市之间的迁移情况，模型能够更真实地反映区域间的疾病传播动态。

在SEIQR模型中，感染率被设定为绝对湿度、人口密度和口罩使用比例的函数，而恢复率则与医疗资源的可用性相关。这些参数通过贝叶斯优化进行估计，并结合Bootstrap重采样来量化不确定性。此外，为了评估该框架的性能，我们将其与基于阈值的传统干预策略进行了比较，衡量其在降低累计感染人数、峰值流行率以及干预持续时间方面的效果。

### 模型优化与决策机制

在模型构建过程中，我们采用了“理论-数据双驱动”框架，使得模型能够结合理论模型与实际数据，实现更精准的干预策略。具体而言，模型的参数估计通过贝叶斯优化进行，优化过程基于过去几年的全国流感数据和四川省内的数据，以确保模型能够适应实际环境的变化。此外，模型还引入了多维状态空间，结合了流感感染趋势、经济成本以及区域特征等变量，从而实现了对NPIs策略的自适应优化。

强化学习（RL）控制器采用Dueling DQN（双Q网络）算法，通过不断学习和调整，使得干预策略能够根据不同的流行病学条件进行动态优化。在模型训练过程中，我们引入了双重Q学习和目标网络更新机制，以减少过估计偏差并提高模型的稳定性。同时，通过调整学习率和权重衰减等参数，进一步优化了模型的训练过程。模型的奖励函数设计也考虑了多个因素，包括疾病负担、经济成本、政策波动以及误报惩罚，从而在多个目标之间实现平衡。

### 实验结果与模型表现

实验结果表明，传统的基于阈值的干预策略虽然在降低累计感染人数和峰值流行率方面取得了一定成效，但其对区域差异的响应有限，常导致干预过度或不足。相比之下，SEIQR-Dueling DQN框架能够根据本地人口结构和疫情趋势动态调整干预时机和组合，从而实现了更精准的控制。在平原城市中，该框架将累计感染人数降低了5.87 %，峰值流行率降低了34.92 %；在丘陵城市中，累计感染人数降低了5.99 %，峰值流行率降低了22.23 %；在高原城市中，累计感染人数降低了5.21 %，峰值流行率降低了8.12 %。

这些结果表明，SEIQR-Dueling DQN框架在不同城市类型中均表现出良好的适应性，能够有效应对疫情的高峰和传播趋势。此外，该框架在不同地区应用时也展现了其一致性，进一步验证了其泛化能力。通过将模型应用于不同的城市，例如甘孜、绵阳和德阳，我们发现该框架在这些城市中也能够有效降低累计感染人数和峰值流行率，表明其具备广泛的应用潜力。

### 区域异质性与模型调整

在区域异质性方面，研究发现平原城市对感染率和人口密度的变化最为敏感，而丘陵地区则受到潜在转化率和医疗资源弹性的影响较大。相比之下，高原地区主要受到基础恢复率和气候因素的驱动。这表明，在不同地理环境中，干预策略的制定需要充分考虑区域特性，以实现最佳的控制效果。

此外，模型在干预策略的选择上表现出明显的区域适应性。在平原城市中，由于人口密度高且接触频繁，模型倾向于加强口罩使用；在高原城市中，由于医疗资源有限，模型更注重医疗资源的扩展；而在丘陵城市中，模型则采用更为平衡的干预组合，以减少不必要的经济和社会成本。这种自适应的干预策略不仅能够有效降低疫情的高峰，还能够与区域承载能力相匹配，从而减少政策频繁调整带来的社会经济负担。

### 模型的局限性与未来方向

尽管SEIQR-Dueling DQN框架在流感控制方面表现出色，但其仍存在一定的局限性。首先，模型中使用的气候参数基于历史平均值，未能考虑极端天气事件对传播的影响。其次，人口流动的建模采用了静态的迁移矩阵，可能无法反映大规模、突发的人口迁移，如节假日带来的流动。此外，模型中的经济成本部分仍需进一步优化，未来研究可以考虑纳入医疗成本和劳动力损失等变量。

在模型的实施过程中，我们还发现，尽管强化学习能够处理高度非线性的系统动态，但在某些情况下，传统控制方法如模型预测控制（MPC）或比例-积分-微分（PID）控制器可能提供更简单的调整方式。然而，这些方法在处理复杂动态系统时面临挑战，而强化学习则通过从模拟轨迹中直接学习适应性策略，具备更高的灵活性。

### 应用前景与政策启示

本研究的SEIQR-Dueling DQN框架不仅为流感控制提供了新的思路，也为未来应对新兴传染病的干预策略奠定了基础。该框架能够动态优化NPIs策略，适应不同地区的流行病学特征和资源条件，从而减少政策调整的频率和成本。此外，该框架具备良好的泛化能力，可以应用于其他传染病，如新冠、乙肝、肺结核和登革热等，这些疾病具有不同的传播路径和干预挑战，表明该框架在多种传染病管理中具有广泛应用的潜力。

研究还强调了在公共卫生政策制定中引入多维风险评估框架的重要性，即结合环境、人口和社会经济因素，以实现更精准的干预策略。此外，研究提出未来应进一步优化模型，使其能够更准确地反映极端天气事件和人口流动对疫情传播的影响，并考虑更多经济和社会成本因素，以提高模型的实用性。

### 结论

本研究提出的SEIQR-Dueling DQN框架在不同区域和疫情条件下均表现出良好的适应性和性能，能够有效降低流感的累计感染人数和峰值流行率。通过将传染病模型与强化学习相结合，该框架实现了对NPIs策略的自适应优化，克服了传统静态干预策略的局限性。未来，该框架有望在公共卫生管理中发挥更大的作用，特别是在应对区域异质性和新兴传染病方面，为政策制定者提供更加精准和灵活的决策支持。