予兆保全AIは何で評価すべき？Accuracy・Recall・誤報・Lead time・停止損失の見方

産業インサイト・課題解決///

製造設備の予兆保全PoCでは、「AIモデルのAccuracyが99%だった」という結果が示されることがあります。99%と聞くと、非常に高性能なモデルに見えるかもしれません。

しかし、予兆保全や異常検知では、Accuracy（正解率）だけでは実際の保全性能を判断できない場合があります。設備は正常に稼働している時間の方が長く、故障・異常データが少ないことが多いためです。

重要なのは、AIモデルとしてどれだけ多くのデータを正しく分類したかだけでなく、実際の故障を必要なタイミングで捉え、現場の保全判断へ利用できるかです。

本記事では、Accuracy、Recall（再現率）、Precision（適合率）、F1などのモデル性能に加え、故障イベント単位の検知、誤報、Lead time（予兆を捉えてから故障までの時間）、点検負担、停止損失まで含めて、予兆保全AIを評価する考え方を整理します。

予兆保全AIをAccuracyだけで評価してはいけない理由

Accuracyは、全予測のうち正しく判定できた割合を表す指標です。

正常・異常の二値分類であれば、True Positive（TP：実際に異常で、異常と判定）、True Negative（TN：実際に正常で、正常と判定）、False Positive（FP：正常なのに異常と判定）、False Negative（FN：異常なのに正常と判定）から計算します。

Accuracyはモデルの全体的な正答状況を見るうえで有用ですが、故障データが極端に少ない場合には注意が必要です。

Googleの機械学習教材でも、陽性データが全体の1%しか存在しない場合、すべてを陰性と予測するだけでAccuracy 99%になり得ることが示されています。データが不均衡な場合や、見逃しと誤報のコストが異なる場合には、Accuracy以外の指標も組み合わせて評価する必要があります。

Accuracy 99%なのに全故障を見逃す仮想例

説明用の架空例として、評価対象が1,000件あり、そのうち990件が正常、10件が故障・異常だったとします。

ここでAIモデルが1,000件すべてを「正常」と判定した場合を考えます。

項目件数
True Negative（正常を正常と判定）990
True Positive（異常を異常と判定）0
False Positive（正常を異常と判定）0
False Negative（異常を正常と判定）10

この場合、Accuracyは990 ÷ 1,000で99%です。

一方、実際の故障・異常10件のうち検知できたものは0件なので、Recallは0%になります。

つまり、Accuracyは99%でも、予兆保全として捉えたい故障・異常を1件も検知できていません。

これはAccuracyが悪い指標という意味ではありません。正常データが圧倒的に多いクラス不均衡環境でAccuracyだけを見ると、重要な少数クラスの見逃しを把握できない場合がある、ということです。

説明用の架空例：1,000件すべてを「正常」と予測
正常 990件 全件を正常と予測し、990件は正解
異常 10件 全件見逃し
Accuracy 99%
Recall 0%
数値は評価指標の違いを説明するための架空データです。

まず理解したいAccuracy・Recall・Precision・F1

Accuracy｜全体の正解割合

Accuracyは、正常・異常を含む全サンプルのうち正しく判定できた割合です。正常と異常の件数が比較的均衡している場合などには、モデル全体を把握する基本指標として利用できます。

一方、設備データのように正常状態が長期間続き、故障がまれな場合には、Accuracyが高いだけで故障検知性能まで高いとは判断できません。

Recall｜実際の故障をどれだけ拾ったか

Recallは、実際に異常だったデータのうち、モデルが異常として検知できた割合です。

故障見逃しの影響が大きい設備では重要な指標になります。ただし、Recallを高めるためにアラート判定を敏感にすると、正常状態まで異常とする誤報が増える場合があります。

Precision｜出した警報のどれだけが有効だったか

Precisionは、モデルが異常と判定したもののうち、実際に異常だった割合です。

Precisionが低い場合、現場には多数の誤報が届く可能性があります。アラートのたびに設備確認が必要なら、誤報は保全担当者の工数に直接影響します。

ただし、Precisionだけを高めようとして判定を厳しくすると、故障の見逃しが増える場合があります。どちらを優先するかは設備の重要度や誤報対応の負担によって異なります。

F1・PR-AUC｜モデル比較の補助指標

F1はPrecisionとRecallの調和平均で、両者のバランスを見る指標です。また、判定閾値を変化させながらPrecisionとRecallの関係を見るPrecision-Recall曲線やPR-AUCをモデル比較に利用することもできます。

Balanced Accuracy（バランス正解率）のように、各クラスのRecallを均等に考慮する指標もクラス不均衡時の補助になります。

ただし、これらはいずれもモデル性能を評価する指標です。設備を何日前に検知できたのか、誤報で何回点検したのか、停止損失を回避できるのかまでは表しません。

予兆保全では「時点」ではなく「故障イベント」でも評価する

時系列センサーデータでは、1秒・1分など一定周期で大量のデータが生成されます。

例えば故障の1時間前から1分ごとに60回連続してアラートが出たとしても、実際に発生した故障イベントは1件です。

この60件を「60件の故障を正しく検知した」と数えると、実際の保全性能とは異なる評価になってしまいます。

そのため、サンプル単位のPrecision・Recallに加えて、故障イベント単位で「対象故障を事前に少なくとも一度検知できたか」を評価する方法を検討します。

例えば故障イベントが10件あり、そのうち8件で事前に有効なアラートが出ていた場合には、イベント単位のRecallとして8件／10件という見方ができます。

ただし、「故障の何日前からを有効な予兆期間とするか」「何分以上継続したアラートを有効とするか」などの定義は、分析前に決めておく必要があります。

誤報率だけでなく「現場のアラート負担」を見る

AIモデルのFalse Positive Rate（偽陽性率）が低くても、設備数やデータ量が多ければ、実際の誤報件数は多くなる場合があります。

例えば多拠点に多数の設備がある場合、割合としては小さな誤報でも、毎日複数件の確認作業が発生すれば現場負担になります。

そこで、モデル指標だけではなく、次のような運用単位へ変換して確認します。

  • 設備1台あたり1週間に何回の誤報が発生するか
  • 1回のアラート確認に何分必要か
  • 同じ事象から重複アラートが何回出るか
  • 誰がアラートを確認するか
  • アラート後に現場点検が必要か

このように見ると、「誤報率2%」という数値だけでは見えなかった保全現場への影響を評価できます。

Lead timeは「保全行動に間に合うか」で評価する

予兆保全では、故障を検知できたかだけでなく、どの程度前に検知できたかも重要です。

Lead timeは、故障発生時刻と、その故障に対して最初に有効なアラートが発生した時刻との差として整理できます。

ただし、Lead timeは長ければ長いほど良いわけではありません。

  • 交換部品の調達にどの程度の時間が必要か
  • 保全要員を手配するまで何時間必要か
  • 次回計画停止まで待てるか
  • 早すぎる警報では設備状態がまだ不確実ではないか

例えば故障5分前に高い精度で検知できても、部品手配や生産計画変更に数時間必要なら、予兆保全として活用できる範囲は限定されます。

一方、数日前からアラートが出ても、正常状態でも頻繁に同じ警報が出るのであれば、現場が行動に移せない可能性があります。

AIモデルの数値性能から、実際の保全価値まで段階的に確認する
第1層
モデル性能
Accuracy・Recall・Precision・F1・PR-AUC
分類モデルとしてどの程度正しく判定できるか。
第2層
アラート性能
故障イベント捕捉・誤報・アラート頻度・Lead time
現場へ届くアラートとして利用可能か。
第3層
保全価値
点検負担・計画保全・停止損失・保全コスト
実際の保全意思決定や設備運用を変えられるか。

AIの評価を停止損失・保全コストまでつなげる

予兆保全AIの最終的な目的は、F1スコアを高くすることではなく、設備保全の判断を改善することです。

そのため、モデル評価を保全・事業上の影響までつなげて考えます。

見逃しによる損失

故障を見逃した場合には、突発停止、生産停止、品質影響、緊急修理などが発生する可能性があります。設備によって影響が異なるため、すべてのFalse Negativeを同じ重みで扱う必要があるとは限りません。

誤報による点検負担

一方、誤報には設備確認、データ確認、現場巡回などの工数が発生します。誤報が多すぎると、アラート自体への信頼が低下することも考えられます。

計画停止と緊急停止の違い

同じ故障でも、事前に検知して計画停止へ組み込める場合と、突発停止する場合では業務への影響が異なります。Lead timeの価値は、この保全計画へ反映できるかどうかと合わせて評価します。

予兆モデルの研究でも、単純な予測誤差だけではなく、その予測が下流の保全方針や期待保全コストへどのような影響を与えるかを評価する「意思決定指向」の考え方が提案されています（Kamariotis et al., 2024）。

PoCで設定したい技術KPIと業務KPI

PoCでは、モデル構築後に指標を選ぶのではなく、「何を満たせれば本番検討へ進むのか」を事前に整理しておくことが重要です。

分類指標例確認すること
技術KPIRecall故障・異常の見逃し状況
Precision異常アラートの有効性
Event Recall故障イベント単位の捕捉状況
Lead time故障前に確保できる時間
業務KPI誤報件数現場確認の負担
点検工数アラート対応に必要な人員・時間
計画保全への移行予兆を実際の保全計画へ利用できたか
突発停止保全上重要な設備イベントの変化
停止損失・保全コスト意思決定上の経済的影響

ここで重要なのは、全企業共通の合格ラインを設定しないことです。

故障の影響が非常に大きい設備では見逃しを強く抑えたい一方、点検に大きな停止作業が必要な設備では誤報のコストも無視できません。

モデルを比較するときの注意点

複数のAIモデルを比較する場合には、指標だけでなく評価方法そのものをそろえる必要があります。

  • 同じ評価期間を使用しているか
  • 学習データと評価データが時間的に混ざっていないか
  • 故障直前のデータが学習側へ漏れていないか
  • 同じ設備だけで学習・評価していないか
  • 同じアラート閾値で比較しているか
  • 故障イベント単位の定義が一致しているか
  • Lead timeの算定方法が一致しているか

特にPrecision・Recallはアラート判定の閾値によって変化します。モデルそのものの比較と、本番運用で使用するアラート閾値の調整は分けて考えます。

判定基準によって、見逃しと誤報のバランスは変化する
判定を敏感にする場合
故障・異常を拾いやすくなる可能性
正常状態への誤報も増える可能性
判定を厳しくする場合
誤報を抑えやすくなる可能性
故障・異常の見逃しが増える可能性
どちらを重視するかは、故障見逃しと誤報の影響、設備重要度、保全体制によって異なります。

予兆保全AIの評価チェックリスト

観点確認項目
モデル性能Accuracyだけを見ていないか
Recallを確認したか
Precisionを確認したか
正常・故障データの件数差を確認したか
イベント評価故障イベント単位で捕捉状況を確認したか
同じ故障への重複アラートを整理したか
見逃した故障イベントを個別に確認したか
現場運用誤報が週・月何件発生するか確認したか
誰がアラートを確認するか決まっているか
アラート対応工数を確認したか
Lead time故障のどの程度前に検知できたか
部品・要員手配に間に合うか
計画停止へ切り替えられる時間があるか
経済性故障見逃し時の影響を整理したか
誤報対応の負担を整理したか
緊急停止と計画停止の違いを整理したか
導入・運用費用も含めて確認したか

このチェックリストの該当数だけでPoCの採用・不採用を決めるものではありません。

予兆保全モデルを評価するときは、Accuracyの高さだけで本番導入を判断しません。実際の故障をどの程度捕捉できるか、誤報による現場負担は許容できるか、保全行動に必要な時間を確保できるかを分けて確認します。

まとめ

予兆保全AIでは、Accuracyが高いことだけで本番利用可能とは判断できません。正常データが圧倒的に多い場合、Accuracy 99%でも故障を1件も検知できていないモデルが成立するためです。

まずRecallやPrecisionなどから故障見逃しと誤報を確認し、必要に応じてF1、PR-AUC、Balanced Accuracyなどもモデル比較の補助として利用します。

さらに予兆保全では、サンプル単位の性能だけでなく、故障イベントを事前に捉えられたか、重複アラートや誤報がどの程度あるか、保全行動に必要なLead timeを確保できたかを評価することが重要です。

そして最終的には、故障見逃しによる影響、誤報時の点検工数、計画停止への変更可能性、停止損失などと組み合わせて、AIが実際の保全判断へ利用できるかを確認します。

SCI総合研究所株式会社のMIRASENTでは、「予兆保全AIのPoCで精度は出たが、本番導入してよいか判断できない」「Accuracy・Recall・PrecisionのどれをKPIにすべきか分からない」「故障見逃し、誤報、Lead time、停止損失まで含めて評価したい」といった段階から、対象設備、故障モード、保全方法、アラート後の対応、停止影響等を整理しながら評価指標を検討します。

AIモデルの数値性能だけを目的とせず、その結果が実際の設備保全判断に利用できるかという観点からPoC・運用評価を整理します。

MIRASENT｜設備保全・予兆診断について詳しく見る

参考文献

  • Baptista, M. L., Panse, S., and Santos, B. F. 2024. Revision and implementation of metrics to evaluate the performance of prognostics models. Measurement. Vol. 236. Article 115038. https://doi.org/10.1016/j.measurement.2024.115038
  • Kamariotis, A. et al. 2024. A metric for assessing and optimizing data-driven prognostic algorithms for predictive maintenance. Reliability Engineering & System Safety. Vol. 242. Article 109723. https://doi.org/10.1016/j.ress.2023.109723
  • Brodersen, K. H. et al. 2010. The balanced accuracy and its posterior distribution. 20th International Conference on Pattern Recognition. pp. 3121-3124. https://doi.org/10.1109/ICPR.2010.764
  • Google. Classification: Accuracy, recall, precision, and related metrics. Machine Learning Crash Course. https://developers.google.com/machine-learning/crash-course/classification/accuracy-precision-recall