ローカルLLMの量子化で分子生成は高速化、ただし参照化学空間への追従はモデル次第
- オープンソースLLM4種を、元の精度と3段階の量子化でローカル分子生成に用いて比較した。
- 課題は、制約なしの生成と、プロンプトで与えたキナーゼ阻害剤群に沿った生成の2種類。
- 制約なし生成では、量子化により処理速度が向上し、妥当性や多様性などの品質は維持された。
- 参照化学空間への追従性はモデルごとに大きく異なり、最低精度で追従できなくなるモデルもあった。
💡 ポイント アブストラクトに基づく見解
この種の評価では、妥当性や多様性は物差しとして弱い。出力が依頼した化学から離れていっても、どちらも変わらないままでいられるからだ。参照ガイド型の設計で見たいのは、与えたキナーゼ群との類似度と、それに対する新規性、そしてヒンジ結合部位やスキャフォールドのチェックである。低精度でプロンプトに従わなくなったモデルでも、自由生成の指標だけなら問題なく見えてしまう。自分のプロジェクトなら、実際に使う量子化レベルで、モデルごとに参照への追従性テストを回す。