公平なチューニングとリークのない分割では、ADMETの全エンドポイントで勝てるモデル群は存在しない
- グラフニューラルネットワーク、凍結した事前学習エンコーダ、フィンガープリントのベースラインを、Therapeutics Data Commonsの6つのADMETタスクで比較した。骨格分割、各モデル群に同一のチューニング予算、検証データのみでの選択、複数シードの中央値を用いている。
- モデル群間の差は大半がシード間のばらつきの範囲内で、他を圧倒する手法はなかった。フィンガープリントは複数のエンドポイントで健闘し、GNNが唯一明確に優れた点も、グラフ表現ではなく追加された記述子に由来していた。
- テストデータで最適化手法を選んだり、単一の最良試行だけを報告したりすると、見かけの優位性が膨らむ。この結果は、エンドポイントごとのモデル選択とリークを抑えた評価の必要性を示している。
💡 ポイント アブストラクトに基づく見解
GNNが唯一明確に勝った点は、グラフ構造ではなく記述子による特徴量化の効果に見える。報告されているGNNの優位の多くも同様ではないかと疑ってしまう。公開のTDC 6タスクで前向き検証もなく、自分のシリーズについて言えることは少ない。持ち帰るべきは、同一のチューニング予算、検証データのみでの選択、複数シード中央値というチェックリストで、ベンダーの主張を吟味する際に手軽に使える。
Task-Dependent Performance of GNNs and Pretrained Models in ADMET Prediction ↗