量化本地大模型分子生成质量稳定,但对参考激酶抑制剂的遵循因模型而异

  • 在原始精度及三档权重量化下本地运行四个开源大模型,评估无约束小分子生成,以及基于上下文中参考激酶抑制剂的条件生成。
  • 量化提升了推理速度,其中两个模型提升最明显,而无约束生成的质量(有效性、唯一性、类药性、多样性、可合成性)未受影响。
  • 在参考引导生成中,仅一个模型在所有精度下都贴近参考化学空间,两个模型基本未遵循,另一个在最激进的量化下失去遵循能力。
💡 要点 基于摘要的观点

无约束生成的有效性、QED 这类指标对任何像样的 LLM 都接近饱和,所以“量化没有影响”在这里是个很弱的检验。真正有信息量的是对参考集的遵循度,而这需要真正的对照:用参考集随机抽取或简单的骨架修饰脚本作基线,再比较 Tanimoto/骨架重叠和新颖性。把量化模型放进激酶设计流程之前,我会在自己的系列上、用实际要部署的精度重跑一遍。

Lost in Chemical Space: Local Open-Source Large Language Models Display Model-Dependent Adherence to Reference Data in Molecular Generation ↗