タンパク質言語モデルの評価を標準化するオープン基盤、相同性リークの影響を可視化
- Protifyは、ゼロショット・教師あり・転移学習の評価を一つの標準化パイプラインで扱える、低コードのオープンソース基盤である。
- ProteinGymに加え、酵素分類、GOアノテーション、相互作用、局在などの幅広い教師ありタスクで検証したところ、突出したモデルはなく、上位モデル間の差は実行ごとのばらつきの範囲内だった。
- 酵素の至適pH予測では汎用プローブが専用モデルに並んだが、相同性を制御した分割ではプール化埋め込みのプローブはほぼ情報を失い、評価設計が順位を大きく左右することが示された。
💡 ポイント アブストラクトに基づく見解
上位モデルの差が乱数シードのばらつき内に収まるなら、順位表の並びはほぼコイン投げに近い。順位を信じる前にまず分散を見たい。より厳しい警告は至適pHの結果で、ランダム分割では競争力があるのに近縁配列を除くと崩れるプローブは、おそらく配列類似性を拾っていただけだろう。自分の標的ファミリーなら、まず厳しい同一性カットオフで再評価する。