分割間のAUPRC差がAI抗菌薬スクリーニングの評価を誤らせうる理由
- 追跡できる化合物がごく少数に限られる抗菌薬スクリーニングにおいて、深層学習モデルの評価方法を論じた方法論的解説である。
- AUPRCはテストセット中の活性化合物の割合に左右され、分子分割は構造類似性とクラス構成の両方を変えるため、分割間の差だけでは構造の影響の大きさを示せない。
- 著者らは、テストセットの構成と分割方法の報告、単一の固定独立セットでのモデル比較、上位順位での性能・初期濃縮・前向きヒット率による有用性の判断を推奨している。
💡 ポイント アブストラクトに基づく見解
スキャフォールド分割でスコアが落ちると、つい「汎化性能の低下」と読みたくなる。だがランダム予測のAUPRCは陽性率そのものなので、分割ごとに基準線も動いている。陽性率を揃えた比較や正規化に加え、アッセイの予算で実際に拾える数本での的中率も併記したい。ただし本稿は解説であり、新しいベンチマークを示すものではない。
📄 原論文 · Journal of Chemical Information and Modeling (ACS) ↗ Interpretive Limits of Cross-Split AUPRC Differences in Deep Learning-Based Antibiotic Screening