MoLFormerの立体化学の記載、事前学習ではなく微調整で除去と監査で判明
- MoLFormerのモデルカードは学習データから異性体情報を除いたと述べるが、同リポジトリのトークン頻度表では立体中心トークンが多数出現している。
- 除去自体は存在するものの、事前学習ではなく、下流ベンチマーク用の微調整スクリプトが非異性体SMILESを固定で使う形で行われていた。
- SMI-TEDは公開語彙サイズが報告値と異なり、記載されたコーパスが違うにもかかわらず頻度表はMoLFormerと同一だった。
- 著者らは抽出した表と監査ツールを公開し、モデルカードに段階別の立体化学の扱いを明記するよう提言している。
💡 ポイント アブストラクトに基づく見解
既製の埋め込みモデルを採用する前なら、私はモデルカードではなくトークナイザーと微調整スクリプトを開く。下流ベンチマークが非異性体SMILESで回されているなら、そのモデルがキラリティを区別できるかは測れておらず、報告された性能向上は立体が効くSARについて何も語らない。まず自前の評価にエナンチオマーやジアステレオマーのペアを加えて確かめたい。
📄 原論文 · Journal of Cheminformatics ↗ Model cards are not primary artifacts: stereochemistry in the MoLFormer and SMI-TED chemical foundation models