MEMOL：基于多头注意力与专家混合的多模态学习模型显著提升药物毒性预测精度

　　本研究针对药物毒性预测中多模态融合的挑战，提出了MEMOL框架，通过将稀疏混合专家（MoE）机制嵌入多头自注意力与交叉注意力，实现了分子图像、图结构和指纹的高效融合。实验表明，该模型在多个毒性基准数据集上AUROC和AUPRC分别最高提升8.33%和9.11%，为药物安全评估提供了更精准的智能化解决方案。

　　

药物开发是一个漫长而昂贵的过程，平均需要10-15年和10-30亿美元的投入，其中毒性评估是确保药物安全的关键环节。传统的毒性测试方法不仅成本高昂，还面临伦理争议。近年来，人工智能技术在毒性预测领域展现出巨大潜力，尤其是能够整合多源数据（如分子图像、图结构和指纹）的多模态学习方法。然而，如何有效融合这些异构数据，仍然是一个亟待解决的难题。

为了突破多模态融合的瓶颈，韩国延世大学的研究团队在《Computer Methods and Programs in Biomedicine》上发表了一项创新研究，提出了一种名为MEMOL（Mixture of Experts for Multimodal Learning）的新型框架。该研究通过将稀疏混合专家（MoE）机制与多头注意力相结合，实现了对分子图像、图结构和指纹三种模态的高效集成，显著提升了药物毒性预测的准确性和鲁棒性。

研究采用的技术方法主要包括：1）基于Vision Transformer（ViT）的分子图像特征提取；2）结合图同构网络（GIN）和图注意力网络（GAT）的图结构嵌入；3）通过自编码器对分子指纹（FCFP和Pharm2D）进行降维编码；4）创新的MoE注意力模块，包括MoE自注意力块和MoE交叉注意力块，实现动态专家选择和多模态特征融合。

在"多模态学习效果评估"部分，研究人员通过对比单一模态、双模态和三模态的组合效果，发现三模态融合在所有数据集上均取得最佳性能，证明多模态互补的有效性。其中分子指纹单独使用已表现出较强预测能力，但与图像和图结构融合后性能得到进一步提升。

"专家数量与选择策略优化"实验表明，当专家总数（E）设为4且每次选择top-2专家（K=2）时，模型在多数数据集上达到最优平衡。过度增加专家数量反而会导致性能下降，说明适度的专家 specialization 比盲目增加参数量更有效。

通过"模态融合顺序比较"，研究发现先融合图像与图结构模态，再与指纹模态整合的策略（(Image?Graph)?FP）效果最佳。这种分阶段融合方式有利于模型逐步提取结构特征后再结合化学特征，避免信息混淆。

在"注意力机制消融研究"中，稀疏MoE在自注意力和交叉注意力中的同时应用展现出最强性能，显著优于标准多头注意力和密集MoE方案，证明动态专家选择在多模态学习中的关键价值。

该研究最终得出结论：MEMOL框架通过稀疏MoE与注意力机制的创新结合，有效解决了多模态药物数据融合的挑战，在hERG、DILI、皮肤反应、致癌性和DILIst等毒性预测任务中均实现最先进性能。这不仅为药物毒性预测提供了更精准的计算工具，也为多模态学习在生物医学领域的应用提供了新范式。值得注意的是，该模型在保持高性能的同时，通过稀疏计算提高了效率，使其更适用于大规模药物筛选场景。未来工作可进一步探索自监督学习增强数据利用，并结合可解释AI技术提升模型透明度，推动AI在药物安全评估中的实际应用。