开源平台统一蛋白质语言模型评测,揭示同源性泄漏对排名的影响
- Protify是一个开源、低代码的平台,将蛋白质语言模型的零样本、监督和迁移学习评测统一到同一套标准化流程中。
- 研究者在ProteinGym及涵盖酶分类、GO注释、相互作用和亚细胞定位等任务的大规模监督评测中检验了多种模型,结果没有哪个模型一贯领先,领先者之间的差距也落在重复运行的波动范围内。
- 在酶最适pH预测上,通用探针可与专门模型相当;但在控制同源性的数据划分下,池化嵌入探针几乎失去预测能力,说明评测设计对模型排名影响很大。
💡 要点 基于摘要的观点
如果领先模型之间的差距落在随机种子波动之内,排行榜上的名次基本等同于抛硬币,在相信任何排名之前我都想先看方差。更尖锐的警示是最适pH的结果:随机划分下表现不俗、剔除近缘同源序列后却几乎崩塌的探针,多半只是在读序列相似性。换成我自己的靶标家族,我会先用严格的序列一致性阈值重跑一遍。