隠れポケット予測の性能は構造情報ではなくタンパク質言語モデルの信号に由来する
- アーキテクチャとPocketMinerの小規模なMD由来訓練データを固定し、幾何情報のみ、ESM2埋め込みのみ、両者を統合した入力を比較した。
- この比較はCryptoBenchおよびポケット形成メカニズム別にも繰り返された。
- 幾何情報のみの性能はチャンスレベルだったが、ESM2を用いる条件はそれを大きく上回り、両者の間に区別できる差はなかった。データが限られる条件では、性能のほぼすべてを言語モデルの信号が説明することが示唆される。
💡 ポイント アブストラクトに基づく見解
ポケット予測で幾何情報がチャンスレベルというのは、示唆的である以上に疑わしい結果だ。小規模なMD由来の訓練データなら、構造が無意味だと結論する前に、配列レベルのリークやラベルのアーティファクトを疑うべきだろう。ESM2は単に相同タンパク質を記憶しているだけかもしれない。自分たちの標的では、配列クラスタ分割で検証してから信頼したい。なお、査読前のプレプリントである。