異常検知モデルのPoC（Proof of Concept：概念実証）を終え、「精度は99%以上でした」と報告を受けたものの、本番運用に載せると、アラートが多すぎて現場が対応しきれない、あるいは重要な異常を見逃してしまう、という状況は珍しくありません。閾値（しきいち：異常と判定するスコアの境目）の根拠を問われて、答えに詰まる場合もあります。
精度の高いモデルを選び、そのうえで閾値を調整するという発想は自然です。ただし、精度は判定の当たり外れの「割合」を示す指標であり、外れ方の「重さ」までは表しません。誤報1回と見逃し1回が、現場にとって同じ重さであるとは限らないためです。
最初に決めたいのは「精度を何%にするか」ではなく、「誤報と見逃しのそれぞれが業務にどれだけの負担を生むか」です。閾値はモデルの設定値であると同時に、その比較から導かれる業務上の判断でもあります。
本記事では、誤報と見逃しのコストから期待コストを比較する閾値設計の考え方を整理します。あわせて、対応能力やアラート疲れといった現場の制約を踏まえ、運用できる閾値に落とし込むまでを扱います。記事中の数値はすべて説明用の仮定値であり、実在の事例や実績ではありません。
精度だけでは閾値を決められないのはなぜか
異常検知では、正常なデータが大半を占め、異常はごくわずかという不均衡データ（クラス不均衡：正常と異常の件数が大きく偏った状態）が一般的です。この場合、正解率（全判定のうち当たった割合）は高く出やすくなります。
説明用の仮定として、1か月の判定対象を10,000件、実際の異常を10件とします。すべてを「正常」と判定する仕組みでも、正解率は99.9%になります。しかし、異常10件はすべて見逃しです。見逃し1回のコストを100万円と仮定すると、総コストは1,000万円です。正解率が高いことと、業務として成り立つことは別の問題です。
ただし、これは精度指標が不要という意味ではありません。適合率や再現率は、不均衡データでは正解率より状況を捉えやすい指標です。陽性が少ないデータでは、ROC曲線（真陽性率と偽陽性率の関係を示す曲線）よりも、PR曲線（適合率と再現率の関係を示す曲線）のほうが情報を得やすい場合があるとされています（Saito and Rehmsmeier, 2015）。それでも、これらの指標は誤報と見逃しの「重さの違い」までは表しません。そこで、業務コストという別の軸が必要になります。
誤報と見逃しのトレードオフを整理する
異常検知の判定結果は、実際の状態と判定の組み合わせで4通りに分かれます。実務で問題になるのは、このうち誤報（偽陽性：False Positive）と見逃し（偽陰性：False Negative）の2つです。
誤報と見逃しは、混同行列のどこに位置するか
概念図であり、各区分の件数の割合を示すものではありません。
異常検知手法の出力には、異常らしさを数値化したスコアと、異常か正常かを示すラベルがあります。スコア型の場合は、閾値によってスコアを判定に変換します（Chandola et al., 2009）。閾値を下げると、小さな兆候でもアラートが出るため、見逃しは減りますが誤報は増えます。逆に閾値を上げると、誤報は減りますが見逃しが増えます。
適合率（アラートのうち実際に異常だった割合）と再現率（実際の異常のうち検知できた割合）も同じ構造で、一方を高めるともう一方が下がりやすい関係にあります。どの点が望ましいかは、モデルの性能だけでは決まりません。誤報と見逃しがそれぞれ業務に与える影響によって決まります。
業務コストから閾値を考える
考え方は単純です。閾値ごとに生じる誤報と見逃しの件数に、それぞれ1回あたりのコストを掛けて合計します。
総コスト ＝ 誤報件数 × 誤報1回のコスト ＋ 見逃し件数 × 見逃し1回のコスト
この総コストが小さくなる閾値を候補とするのが、期待コストにもとづく考え方です。コストの見積もりで、次のような項目を洗い出しておくと、後の議論がしやすくなります。
- 誤報1回のコスト：確認作業の人件費と時間、現場確認のための作業中断、他業務への割り込み
- 見逃し1回のコスト：設備の損傷や修理費、生産停止、不良品の流出と手戻り
- 見積もりにくいコスト：誤報が続くことによる通知への信頼低下、取引先への対応
- コストの幅：同じ「見逃し」でも、発見の時期や設備によって損失が大きく異なる点
スコアが確率として較正（モデルの出力値が、実際の異常の起こりやすさと対応するように調整すること）されている場合は、判断境界の目安として次の式が使えます。
異常確率 ＞ 誤報コスト ÷（誤報コスト ＋ 見逃しコスト）
誤報100円、見逃し100万円の仮定では、100 ÷ 1,000,100 で約0.0001、つまり異常確率が約0.01%を超えたらアラートを出す側に倒す計算になります。ただし、多くの異常スコアはそのままでは確率ではありません。この式はあくまで目安であり、実際の閾値は手元のデータで件数を数えて比較する必要があります。
具体例：誤報1回100円、見逃し1回100万円の場合
以下は、説明のために置いた仮定値です。1か月の判定対象は10,000件、実際の異常は10件、誤報1回は100円、見逃し1回は100万円とします。閾値ごとの件数も仮定であり、実データの傾向を示すものではありません。
| 閾値（仮定） | 誤報件数 | 見逃し件数 | 誤報コスト | 見逃しコスト | 総コスト |
|---|---|---|---|---|---|
| 0.9 | 20件 | 5件 | 2,000円 | 5,000,000円 | 5,002,000円 |
| 0.7 | 150件 | 1件 | 15,000円 | 1,000,000円 | 1,015,000円 |
| 0.5 | 800件 | 0件 | 80,000円 | 0円 | 80,000円 |
| 0.3 | 3,000件 | 0件 | 300,000円 | 0円 | 300,000円 |
この仮定では、閾値0.5が総コスト最小です。閾値0.9は誤報が少ない一方で、見逃しのコストが総コストの大半を占めます。閾値0.3は見逃しが0件でも、誤報の増加によって0.5より総コストが大きくなります。
ただし、この例から結論を断定することはできません。閾値0.5では誤報が月800件、1日あたり約27件（30日換算）です。この件数が現場の対応能力の範囲内かどうかは、別に確認する必要があります。また、「誤報1回100円」に確認作業の人件費や、アラート疲れによる信頼低下が含まれているかも見直す必要があります。見逃しコストが異なれば、最小となる閾値も変わります。
Pythonで確かめる：コスト最小の閾値と正解率最大の閾値
結論を先に述べると、総コストが最小になる閾値と、正解率が最大になる閾値は、一般にずれます。コードを読み飛ばしても、この点だけ押さえれば十分です。
以下は、特定の機械学習手法に依存しない汎用サンプルです。異常スコアを出すモデルがあれば、スコアと正解ラベルを差し替えて使えます。データは乱数で作った疑似データであり、実行結果は乱数の設定によって変わります。
import numpy as np
rng = np.random.default_rng(seed=0)
# 説明用の疑似データ（実データではありません）
n_normal, n_anomaly = 9_990, 10
scores = np.concatenate([
rng.beta(2, 8, size=n_normal), # 正常：低めのスコアに偏る
rng.beta(6, 3, size=n_anomaly), # 異常：高めのスコアに偏る
])
is_anomaly = np.concatenate([
np.zeros(n_normal, dtype=bool),
np.ones(n_anomaly, dtype=bool),
])
COST_FP = 100 # 誤報1回のコスト（円・仮定）
COST_FN = 1_000_000 # 見逃し1回のコスト（円・仮定）
MAX_ALERTS = 300 # 月間アラート件数の上限（仮定）
def evaluate(th):
pred = scores >= th
fp = int(np.sum(pred & ~is_anomaly)) # 誤報
fn = int(np.sum(~pred & is_anomaly)) # 見逃し
acc = (len(scores) - fp - fn) / len(scores)
cost = fp * COST_FP + fn * COST_FN
return fp, fn, acc, cost, int(pred.sum())
rows = []
for th in np.round(np.arange(0.05, 1.00, 0.05), 2):
rows.append((float(th), *evaluate(th)))
# 各行：(閾値, 誤報, 見逃し, 正解率, 総コスト, アラート件数)
best_cost = min(rows, key=lambda r: r[4])
best_acc = max(rows, key=lambda r: r[3])
feasible = [r for r in rows if r[5] <= MAX_ALERTS]
best_limited = min(feasible, key=lambda r: r[4]) if feasible else None
def show(label, r):
th, fp, fn, acc, cost, alerts = r
print(f"{label}: 閾値={th:.2f} 誤報={fp}件 見逃し={fn}件 "
f"正解率={acc:.2%} 総コスト={cost:,}円")
show("総コスト最小 ", best_cost)
show("正解率最大 ", best_acc)
if best_limited:
show("件数上限つき最小", best_limited)
else:
print("上限以下に収まる閾値がありません。上限やコスト前提を見直してください。")正解率が最大になる閾値は、ほとんどを「正常」と判定する高い側に寄る傾向があります。一方、見逃しのコストが大きい条件では、総コスト最小の閾値はそれより低い側に出やすくなります。件数上限を加えた閾値は、対応能力の制約を反映した、より現場に近い候補です。
期待コストだけでは決めきれない現場の制約
総コストが最小の閾値が、そのまま運用できる閾値であるとは限りません。次のような現場の制約を、候補の絞り込みに使います。
| 観点 | 確認すること | 閾値設計への反映例 |
|---|---|---|
| 対応能力 | 1日に処理できる件数、夜間・休日の体制 | 月間アラート件数の上限を設け、候補を絞る |
| アラート疲れ | 誤報が続いた際の現場の反応、無視された通知の有無 | 誤報コストの見直し、通知の段階化 |
| コストの不確実性 | 見逃しコストの幅（低め・標準・高め） | 複数の前提で最小となる閾値を比較する |
| 異常の重大度 | 軽微な異常と重大な異常を区別できるか | 注意・警告の二段階の閾値を検討する |
アラート疲れについては、医療現場の監視アラームを対象とした文献レビューで、アラームの多さが対応の鈍化につながることが整理されています（Cvach, 2012）。産業現場にそのまま当てはまるとは限りませんが、誤報の件数が通知への信頼に影響し得る点は、コスト前提を見直す手がかりになります。
コストの不確実性には、見逃しコストを半分にした場合や2倍にした場合で、最小となる閾値がどう動くかを確認する方法が有効です。候補が大きく変わらなければ、見積もりの精度に過度に悩まなくても進められます。大きく変わる場合は、そのコストの見積もりこそ議論すべき論点です。
閾値設計を進める実務ステップ
すべてを完璧に整備してから始める必要はありません。小さな範囲で確認し、運用しながら見直す進め方を前提にします。
閾値設計の5ステップ
- コストの洗い出し誤報と見逃しが業務に与える負担の項目を書き出す
- スコア分布と件数の確認閾値候補ごとのアラート件数を実データで数える
- 候補閾値の比較総コストを計算し、前提を変えた場合も見る
- 対応体制との照合件数が現場の対応能力の範囲に収まるか確認する
- 運用しながら見直す実績を記録し、見直す時期と担当を決める
ステップ3から5は、一度で終わらず繰り返すことを想定しています。
ステップ1：コストの洗い出し。まず、過去の誤報対応を3件ほど選び、かかった時間と人数を記録してみてください。見逃しについても、過去のトラブルから損失項目を書き出します。金額が確定しなくても、幅を持たせた見積もりで構いません。
ステップ2：スコア分布と件数の確認。過去の月次スコアから、閾値候補ごとのアラート件数だけを集計します。この段階では、正解ラベルがそろっていなくても、件数の規模感はつかめます。
ステップ3：候補閾値の比較。前述の式で総コストを計算し、コスト前提を変えた場合の変化も確認します。
ステップ4：対応体制との照合。候補ごとの月間件数を、1日あたりの件数と担当人数に換算し、現場の担当者と一緒に確認します。ここで現場と管理側が前提を共有しておくと、「誤報と見逃しのどちらを優先するか」の合意がとりやすくなります。
ステップ5：運用しながら見直す。設備の更新、季節変動、データの分布変化によってスコアの傾向は変わります。閾値の変更履歴と、アラートへの対応結果を記録し、見直しの時期を決めておきます。
なお、「アラートの数を絞るために運用しない」「条件付きで一部の設備から始める」といった選択肢も、判断として成り立ちます。二択にせず、小さな範囲で確認しながら進める方法も検討してください。
閾値を見直す前のチェックリスト
| 項目 | 確認内容 |
|---|---|
| コスト | 誤報1回・見逃し1回のコスト項目を書き出したか |
| 件数 | 閾値候補ごとの誤報・見逃し件数を実データで数えたか |
| 体制 | 月間アラート件数が対応能力の範囲に収まるか |
| 合意 | 現場と管理側で、コストの前提を共有したか |
| 感度 | コスト前提を変えても、候補が大きく変わらないか |
| 見直し | 見直しの時期と担当者を決めたか |
よくある質問
誤報や見逃しのコストが正確に分からない場合は？
正確な金額がなくても、低め・標準・高めの3通りなど、幅を持たせた前提で比較できます。どの前提でも似た閾値になるなら、その範囲で進められます。前提によって大きく変わる場合は、そのコストの見積もりを優先して議論します。
誤報と見逃しのどちらを優先すべきですか？
一律には言えません。1回あたりのコストの比、異常の発生頻度、現場の対応能力によって変わります。「見逃しが怖いから低く」「誤報が多いから高く」と感覚で決めるのではなく、比較した根拠を残すことが重要です。
適合率や再現率は見なくてよいのでしょうか？
見なくてよいという意味ではありません。モデルの比較や、閾値を動かしたときの傾向の把握には有用です。ただし、閾値の最終判断には、業務コストと対応体制を加えて考えます。
閾値は一度決めたら固定でよいですか？
固定にしない前提で設計するほうが現実的です。設備の状態や運用体制の変化に応じて、前提となるコストや件数も変わるためです。見直しの時期と担当をあらかじめ決めておくと、運用が安定しやすくなります。
まとめ
異常検知の閾値は、精度指標だけでは決まりません。誤報と見逃しのコストを比較し、対応能力やアラート疲れといった現場の制約を重ねたうえで、運用できる水準を選ぶ判断です。コストから求めた最小値は、あくまで出発点であり、最適な閾値が必ず求まるわけではありません。
次に確認することは、次の4点に整理できます。
- 誤報1回と見逃し1回のコスト項目を書き出す
- 閾値候補ごとの件数を実データで数える
- 月間アラート件数が現場の対応能力に収まるか照合する
- 見直しの時期と担当者を決める
閾値は、業務コスト・対応体制・リスク許容度を踏まえた「業務上の判断」です。
参考文献
- Saito and Rehmsmeier. 2015. The Precision-Recall Plot Is More Informative than the ROC Plot When Evaluating Binary Classifiers on Imbalanced Datasets. PLOS ONE. Vol. 10. Issue 3. pp. e0118432. https://doi.org/10.1371/journal.pone.0118432
- Chandola et al. 2009. Anomaly detection: A survey. ACM Computing Surveys. Vol. 41. Issue 3. pp. 15:1-15:58. https://doi.org/10.1145/1541880.1541882
- Cvach. 2012. Monitor alarm fatigue: an integrative review. Biomedical Instrumentation & Technology. Vol. 46. Issue 4. pp. 268-277. https://doi.org/10.2345/0899-8205-46.4.268