確率的齲蝕リスク評価モデルの予測性能の評価．キャリブレーションの重要性

Assessing the Predictive Performance of Probabilistic Caries Risk Assessment Models: The Importance of Calibration.

• Mario Trottini
• Guglielmo Campus
• Denise Corridore
• Fabio Cocco
• Maria Grazia Cagetti
• M Isabel Vigo
• Antonella Polimeni
• Maurizio Bossù

抄録

キャリオグラムのような確率論的齲蝕リスク評価モデル（P-CRA）は，齲蝕の制御と予防のための治療計画を立てるための有望なツールである．これらのモデルが患者への情報提供や医療上の意思決定に有用であるかどうかは、識別性と較正性という2つの特性に依存する。しかし、現在のP-CRAモデルの一般的な評価はキャリブレーションを無視しており、これは誤解を招く可能性がある。本論文の目的は、P-CRAモデルのキャリブレーションを適切に評価し、不足している場合にはキャリブレーションを改善するためのツールを提供することである。P-CRAモデルが十分に校正されているかどうかを評価するために、標準的な校正ツール（校正プロット、大規模校正、校正勾配）と3つの新しい校正指標（校正指標と関連する2つの指標、E50とE90）の組み合わせを提案した。さらに、縮小されたキャリオグラムモデルを用いて評価された小児を対象とした以前の追跡調査のデータを用いて、キャリブレーションの欠如を示すプラットスケーリングと等張回帰を適用したアプローチが提案され、検証されました。Cariogramの使用は、予測確率が0.5未満の場合には新規う蝕の実際のリスクを過大評価し、予測確率が0.6を超える場合にはリスクを過小評価していた。プラットスケーリングとアイソトニック回帰の両手法は、Cariogramの識別特性を維持したまま、縮小されたCariogramモデルの較正を大幅に改善することができた。カットオフポイントp=0.5を用いたPlattスケーリングとアイソトニック回帰の平均特異度と感度はともに83以上であり、その和は160以上であった。提案した校正法の利点は有望であるが、この分野ではさらなる研究が必要である。

Probabilistic caries risk assessment models (P-CRA), such as the Cariogram, are promising tools to planning treatments in order to control and prevent caries. The usefulness of these models for informing patients and medical decision-making depends on 2 properties known as discrimination and calibration. Current common assessment of P-CRA models, however, ignores calibration, and this can be misleading. The aim of this paper was to provide tools for a proper assessment of calibration of the P-CRA models and improve calibration when lacking. A combination of standard calibration tools (calibration plot, calibration in-the-large, and calibration slope) and 3 novel measures of calibration (the Calibration Index and 2 related metrics, E50 and E90) are proposed to evaluate if a P-CRA model is well calibrated. Moreover, an approach was proposed and validated using data from a previous follow-up study performed on children evaluated by means of a reduced Cariogram model; Platt scaling and isotonic regression were applied showing a lack of calibration. The use of the Cariogram overestimates the actual risk of new caries for forecast probabilities <0.5 and underestimates the risk for forecast probabilities >0.6. Both Platt scaling and isotonic regression were able to significantly improve the calibration of the reduced Cariogram model, preserving its discrimination properties. The average specificity and sensitivity for both Platt scaling and isotonic regression using the cut-off point p= 0.5 were >83 and their sum well exceeded 160. The benefits of the proposed calibration methods are promising, but further research in this field is required.

© 2020 S. Karger AG, Basel.