审计发现MoLFormer立体化学去除发生在微调而非预训练
- MoLFormer的模型卡称训练数据已去除异构信息,但仓库自带的词元频率表显示手性中心词元十分常见。
- 去除确实存在,但出现在微调脚本中(为下游基准数据硬编码非异构SMILES),而非预训练阶段。
- SMI-TED公开的词表大小与论文报告不一致,且其频率表与MoLFormer完全相同,尽管所述语料不同。
- 作者公开了提取的频率表和审计工具,并建议模型卡分别说明预训练、微调和推理阶段的立体化学处理。
💡 要点 基于摘要的观点
在采用任何现成的分子嵌入模型之前,我会先打开分词器和微调脚本,而不是看模型卡。如果下游基准是用非异构SMILES跑的,就无法检验模型能否区分手性,报告的性能提升对立体驱动的SAR说明不了什么。我会先在自己的评估里加入对映异构体和非对映异构体配对测试。
📄 原论文 · Journal of Cheminformatics ↗ Model cards are not primary artifacts: stereochemistry in the MoLFormer and SMI-TED chemical foundation models