xTrimoPGLM：破解蛋白质语言密码的千亿参数统一预训练模型

　　来自生物计算领域的研究团队针对蛋白质理解与生成任务难以兼顾的挑战，创新性地开发了统一预训练框架xTrimoPGLM。该模型通过联合优化自编码与自回归目标，以1000亿参数和1万亿训练token的规模实现突破，在18项蛋白质理解任务中超越现有基准，并具备原子级结构解析和可编程序列生成能力，为蛋白质科学基础模型发展树立新标杆。

为了促进科学的传播，生物通采集了这篇文章，如需英文原文，请点击！订阅BioHot索取原文

　　

蛋白质语言模型(Protein Language Models)在从序列中解码生命信息方面展现出惊人潜力，但传统模型受限于单一的自编码(autoencoding)或自回归(autoregressive)预训练目标，难以同时驾驭蛋白质理解与生成任务。研究团队提出的xTrimoPGLM通过创新性地探索两类目标的兼容性，构建了首个千亿级(100B)参数统一模型，使用1万亿训练token进行优化。实验证实：(1)在四大类18项蛋白质理解任务中显著超越现有基线，其原子分辨率(atomic-resolution)的蛋白质结构解析能力，催生出超越同类工具的三维结构预测模型；(2)不仅能遵循自然法则生成全新蛋白质序列(de novo)，还能通过监督微调实现可编程生成(programmable generation)。这些突破彰显了该模型在蛋白质科学与生物计算领域的里程碑意义，相关权重与数据集已开源共享。

下载《安捷伦 BioTek 共聚焦技术应用于 3D 细胞成像研究》电子书领 取

广告 Twist FlexPrep™ UHT文库制备试剂盒为人群大队列研究、农业基因组学和其他超高通量应用提供了一种替代基因芯片的 NGS 解决方案。欢迎下载！

打赏

下载安捷伦电子书《通过细胞代谢揭示新的药物靶点》探索如何通过代谢分析促进您的药物发现研究

10x Genomics新品Visium HD 开启单细胞分辨率的全转录组空间分析！

欢迎下载Twist《不断变化的CRISPR筛选格局》电子书

单细胞测序入门大讲堂 - 深入了解从第一个单细胞实验设计到数据质控与可视化解析

下载《细胞内蛋白质互作分析方法电子书》