PPI-Caliper为蛋白语言模型的相互作用预测提供错误发现率控制,但分布偏移时可能失效
- PPI-Caliper是一个与模型无关的封装,利用保留标签做保形校准,无需重新训练即可按用户设定的错误发现率筛选蛋白相互作用。
- 在五个物种、两种蛋白语言模型预测器及各自两版人类训练数据上,校准数据与测试数据同分布时,实际错误率不高于目标值。
- 存在分布偏移时,从别处沿用的阈值在预测变好时偏保守,但在性能变差时可能无法控制错误率。
💡 要点 基于摘要的观点
做靶点发现时,真正的问题从来不是基准AUC,而是在后续实验耗尽之前能负担追踪多少个排名靠前的相互作用。可调的FDR正好回答了这一点,而如实报告分布偏移的结果最为重要:在研究充分的物种上校准、再用到注释匮乏的物种,恰是最容易失灵的场景。在采信之前,应先在自有互作组上做正交验证。
Error-Controlled Discovery of Protein Interactions via Conformal Calibration ↗