为何跨数据划分的AUPRC差异可能误导深度学习抗生素筛选的评估
- 这是一篇方法学评论，讨论在仅能跟进少数化合物的抗生素筛选中如何评估深度学习模型。
- 由于AUPRC随测试集中活性分子的占比而变化，且分子划分会同时改变结构相似性与类别构成，仅凭不同划分间的差异无法说明结构因素究竟起了多大作用。
- 作者建议报告测试集构成与划分方法，在同一固定独立测试集上比较模型，并以靠前排名表现、早期富集或前瞻性命中率来判断实用价值。
💡 要点 基于摘要的观点
看到骨架划分后分数下降，人们很容易归结为“泛化变差”。但随机预测的AUPRC等于阳性率，不同划分的基线本身也在变。更实用的做法是做阳性率匹配或归一化的比较，再报告在实验预算所能挑选的少数化合物中的命中率。不过这只是评论文章，并未提供新的基准。
📄 原论文 · Journal of Chemical Information and Modeling (ACS) ↗ Interpretive Limits of Cross-Split AUPRC Differences in Deep Learning-Based Antibiotic Screening