基于目标条件强化学习的苯并噻吩基多环芳烃有机半导体材料逆向设计新策略

《npj Computational Materials》：Inverse Design Using Goal-Conditioned Reinforcement Learning for Organic Semiconductor Materials from Benzene and Thiophene-based Polycyclic Aromatic Compounds

　　本刊推荐：研究团队针对有机半导体材料逆向设计中存在的结构-性能关系非线性、多解性等挑战，开展了基于目标条件强化学习(GCRL)的多环芳烃(PACs)逆向设计研究。通过结合网格化分子表示与化学域知识，实现了HOMO-LUMO能隙目标值(1.36-4.37 eV)的精准调控，误差控制在密度泛函理论(DFT)不确定性范围内(±0.15 eV)。该框架通过引入软约束机制平衡最优性与多样性，为功能分子材料的智能化设计提供了新范式。

　　

在材料科学领域，传统的材料研发模式通常需要经历长达10-20年的漫长周期，依赖于大量试错实验和偶然发现。特别是对于有机半导体材料而言，其核心性能指标——HOMO-LUMO能隙（E_gap

多环芳烃(PACs)作为有机半导体材料的核心构建单元，其复杂的稠环结构使得常规生成模型容易产生化学无效结构。特别是在处理含苯环和噻吩环的稠合体系时，传统基于SMILES字符串的方法往往面临有效性低下的问题。正是为了解决这些瓶颈问题，研究人员开发了一套创新的逆向设计框架。

发表在《npj Computational Materials》的这项研究，提出了一种基于目标条件强化学习(GCRL)的逆向设计方法。该方法的核心突破在于实现了性能到结构的直接映射，能够针对特定HOMO-LUMO能隙值（1.36-4.37 eV）生成具有100%化学有效性的PACs分子。研究表明，该框架在密度泛函理论(DFT)计算的不确定性范围内（±0.15 eV）实现了精准调控，同时通过引入软约束机制，在分子最优性（环数最小化）与化学空间多样性之间实现了良好平衡。

研究人员采用了几项关键技术方法：首先开发了针对PACs分子的网格化表示法，将分子结构编码为20×20矩阵；其次构建了目标条件强化学习(GC-RL)框架，结合Soft Actor-Critic(SAC)算法和Hindsight Experience Replay(HER)策略；此外还采用了双模态输入架构，同时处理网格数据和Weisfeiler-Lehman(WL)图核指纹；最后设计了阈值采样和蒙特卡洛采样两种候选分子生成算法。

模型性能评估

通过系统比较六种不同配置模型的性能指标发现，采用HER策略的模型（Model 2）在准确性和最优性方面表现最佳，失败率仅为0.1%（低温度采样）。提高熵系数α的Model 4虽然生成更多结构，但保持了相当的准确性。同时使用网格和WL指纹的双模态输入被证明优于单一网格表示。

采样算法比较

阈值采样可确定性生成按最优性排序的候选分子，唯一性达100%；而蒙特卡洛采样通过温度参数τ控制探索程度，高τ值（τ=2.0）可产生更多样化的结构。研究表明，降低阈值可增加多样性但牺牲最优性（平均环数增加）。

与专家知识对比

模型成功重现了训练集中50.2%的已知PACs结构，同时生成了1872个新结构，其中包含超过八环的复杂分子，证明了其在重现专家知识基础上拓展化学空间的能力。

实际应用展示

以3.30 eV为目标能隙的案例表明，通过调整阈值参数，可在保持零失败率的同时，实现从高最优性（低环数）到高多样性的连续调控。在不同阈值下生成的PACs在环数分布上展现出显著差异，验证了框架的灵活性。

研究结论表明，该逆向设计框架不仅能够准确重现已知的PACs分子，还能发现超越训练集范围的新结构。通过将化学有效性检查集成到每个生成步骤中，确保了100%的结构有效性，且不依赖于化学空间的大小。虽然当前网格表示法专为PACs设计，但其方法论可扩展至其他共轭体系。

这项工作的重要意义在于首次实现了针对复杂PACs分子的精准逆向设计，为解决功能分子材料开发中的“设计-制备-表征”传统循环提供了智能化解决方案。通过将目标性能作为直接输入条件，该框架为有机电子材料、药物设计等领域的定向分子开发开辟了新途径。