害虫検知AIの導入を検討していると、ベンダーの資料やPoC(Proof of Concept:概念実証)の報告書で「正解率95%」のような数値を目にすることがあります。数値が高いほど良いと感じるのは自然な反応であり、「何%あれば導入してよいのか」という基準を知りたくなるのも、現場や経営の立場からは当然の発想です。
この問いには価値がありますが、見落としやすい点があります。害虫モニタリングでは「害虫がいない」場面が大半を占めるため、正解率は高く出やすく、害虫を見逃していても数値が下がりにくい場合があります。また、AIの間違いには「いないのに知らせる(誤報)」と「いるのに知らせない(見逃し)」の二種類があり、現場にとっての重さは同じではありません。
そのため、最初に決めたいのは「精度が何%か」ではなく、「自社の現場で見逃し1件と誤報1件がそれぞれ何を引き起こすか」と「その精度をどの単位で測るか」です。精度の数値は、この二つが決まって初めて読み取れるようになります。
本記事では、Accuracy(正解率)、Precision(適合率)、Recall(再現率)を現場の言葉で整理し、見逃しと誤報のコストから必要な精度やしきい値を逆算する考え方を、疑似データとPythonの簡単なコードで解説します。なお、本記事に登場する件数・倍率・コスト値はすべて説明用の疑似データまたは仮定であり、実際の現場や特定のシステムの結果ではありません。
Accuracy(正解率)だけでは導入判断できないのはなぜか
Accuracyは、すべての判定のうち正しく判定できたものの割合です。直感的で分かりやすい指標ですが、害虫検知のように「害虫がいる場面」が少数で「いない場面」が多数を占めるデータ(不均衡データ:クラスごとの件数に大きな偏りがあるデータ)では、実態を反映しにくくなります。
たとえば、判定対象1,000件のうち害虫ありが90件、なしが910件だったとします。何も検知せず、すべて「害虫なし」と答えるだけの仕組みでも、910件は正解となるため、Accuracyは91.0%になります。害虫を1件も捉えていないにもかかわらず、数字の上では高い水準に見えてしまいます。不均衡データの評価では、正解率やROC曲線よりも、適合率と再現率を扱う指標のほうが実態を捉えやすい場合があると報告されています(Saito and Rehmsmeier, 2015)。
ただし、これはAccuracyが不要という意味ではありません。全体の傾向を確認する補助指標としては有用です。問題は、Accuracyだけを見て導入可否を決めてしまうことにあります。
混同行列で見る、検知結果の4つの分類
AIの判定結果を整理する基本は、混同行列(Confusion Matrix:実際の状態と判定結果の組み合わせを4つに分けて件数を数えた表)です。害虫検知では、「実際に害虫がいたか」と「AIが検知したか」の組み合わせで、次の4つに分かれます。
害虫検知における混同行列(概念図)
概念図です。「1件」を画像・日・エリアのどの単位で数えるかは、評価の設計によって変わります。
TP・FN・FP・TNは、それぞれ True Positive・False Negative・False Positive・True Negative の略称です。現場の言葉に置き換えると、FNが「見逃し」、FPが「誤報」にあたります。以降の指標は、すべてこの4つの件数から計算されます。
Precision(適合率)とRecall(再現率)を現場の言葉で読み替える
Precisionは「アラートのうち、本物だった割合」、Recallは「実際にいた害虫のうち、捉えられた割合」です。現場の言葉では、Precisionが誤報の少なさ、Recallが見逃しの少なさに対応します。
| 指標 | 式 | 意味 | 害虫検知での読み方 |
|---|---|---|---|
| Accuracy(正解率) | (TP+TN)÷全件 | 全判定のうち正しかった割合 | 害虫なしが多いデータでは高く出やすい。見逃しの多さは読み取れない |
| Precision(適合率) | TP÷(TP+FP) | アラートのうち本物だった割合 | 誤報の少なさ。低いと確認作業や不要な対応が増える |
| Recall(再現率) | TP÷(TP+FN) | 実際にいた害虫のうち捉えた割合 | 見逃しの少なさ。低いと気づかない害虫が残る |
ここで注意したいのは、「Precisionが高い」ことと「見逃しが少ない」ことは別だという点です。アラートが出たときの確度が高くても、そもそもアラートの数が少なければ、多くの害虫を見逃している場合があります。一般に、判定のしきい値を動かすと、PrecisionとRecallは一方を上げると他方が下がりやすい関係になります。ただし、これは両方を同時に改善できないという意味ではなく、データの質やモデルの改善によって両方が向上する場合もあります。
説明用の疑似データで比べる:Precision 90%・Recall 60%のモデル
具体的に見てみます。以下はすべて説明用の疑似データです。判定対象1,000件のうち、害虫ありが90件、害虫なしが910件とします。モデルAは「Precision 90%・Recall 60%」の仕組み、モデルBは「すべて害虫なしと判定する」仕組みです。
| 項目 | モデルA(疑似データ) | モデルB:全件「害虫なし」(疑似データ) |
|---|---|---|
| TP(正しく検知) | 54 | 0 |
| FN(見逃し) | 36 | 90 |
| FP(誤報) | 6 | 0 |
| TN(正しく静か) | 904 | 910 |
| Accuracy | 95.8% | 91.0% |
| Precision | 90.0%(54÷60) | 算出不可(検知が0件のため) |
| Recall | 60.0%(54÷90) | 0.0% |
モデルBはAccuracyが91.0%と高い一方で、害虫を1件も検知できていません。モデルAは、アラート60件のうち54件が本物(9割)ですが、実際にいた90件のうち36件(4割)を見逃しています。つまりモデルAは「誤報は少ないが、見逃しが多いモデル」と読むことができます。
この計算を確認するための、標準ライブラリだけで書いた汎用サンプルコードを示します。件数は上記の疑似データです。
# 説明用の疑似データ(混同行列の件数)から指標を計算する
def metrics(tp, fn, fp, tn):
total = tp + fn + fp + tn
accuracy = (tp + tn) / total
precision = tp / (tp + fp) if (tp + fp) > 0 else None # 検知0件なら算出不可
recall = tp / (tp + fn) if (tp + fn) > 0 else None
return accuracy, precision, recall
models = {
"モデルA": dict(tp=54, fn=36, fp=6, tn=904),
"モデルB(全件 害虫なし)": dict(tp=0, fn=90, fp=0, tn=910),
}
for name, counts in models.items():
acc, prec, rec = metrics(**counts)
prec_text = "算出不可" if prec is None else f"{prec:.1%}"
print(f"{name}: Accuracy={acc:.1%}, Precision={prec_text}, Recall={rec:.1%}")Pythonこのモデルは現場で使えるのか
モデルAが使えるかどうかは、数値そのものではなく、現場でどう運用するかで決まります。一例として、次のように整理できます。
使えるケースの例
- 人による定期巡回と併用し、AIは確認の優先順位付けに使う場合
- 誤報への対応工数を抑えたい場合
- 見逃した分を、巡回や別の手段で補える場合
使いにくいケースの例
- 見逃しが急速な被害拡大や、出荷・衛生上の重大な問題につながる場合
- AIの判定だけで巡回を省略したい場合
- 見逃しに気づく手段が、ほかにない場合
この例から「Recall 60%は低いから不可」「Precision 90%だから十分」と断定することはできません。同じモデルでも、人の確認工程の有無や見逃しの影響の大きさによって、評価は変わります。
見逃し1件・誤報1件のコストから考える
必要な精度を考えるときは、指標の数値から入るのではなく、見逃し1件と誤報1件が現場に与える影響から入ります。見逃しコストが大きい現場と、誤報コストが大きい現場では、優先する指標が変わります。
| 観点 | 見逃しコストが大きい現場 | 誤報コストが大きい現場 |
|---|---|---|
| 典型的な状況 | 発見が遅れると被害が広がりやすい。出荷や衛生上の基準に関わる | 確認や駆けつけに充てられる人手が限られている |
| 起きやすいこと | 気づかないまま対応が遅れる | 不要な確認や防除作業が増え、アラートへの信頼が下がる |
| 重視しやすい指標 | Recall(見逃しの少なさ) | Precision(誤報の少なさ) |
| 運用の工夫 | しきい値を低めにし、誤報は人が確認して絞り込む | しきい値を高めにし、巡回など別の手段で見逃しを補う |
誤分類の種類ごとにコストが異なる場合は、そのコストを踏まえて判定の基準を決める考え方が整理されています(Elkan, 2001)。実務では、次の流れで考えると整理しやすくなります。
コストから必要な精度条件を考える流れ(概念図)
概念図であり、手順の順序や内容を固定するものではありません。
コストを比較する際の基本的な式は、次のとおりです。
期待コスト=FN(見逃し件数)×見逃し1件のコスト+FP(誤報件数)×誤報1件のコスト
正確な金額を出せなくても構いません。「見逃し1件が誤報1件の1倍から10倍」のように幅を持たせて試算し、結論が変わるかどうかを見るだけでも、議論の材料になります。
しきい値を動かすと何が変わるのか
多くの画像認識の仕組みは、画像ごとに「害虫らしさ」のスコアを出し、しきい値(Threshold:スコアがこの値以上なら「害虫あり」とアラートを出す境目)で判定します。しきい値を高くすると慎重にアラートを出すため誤報は減りますが、見逃しは増えます。低くするとその逆です。
以下は、先ほどと同じ前提(害虫あり90件・なし910件)の疑似データです。しきい値ごとの件数に、見逃しコストが誤報の1倍の場合と10倍の場合を仮定して期待コストを計算しています。倍率は説明用の仮定であり、実際のコストではありません。コストの単位は、誤報1件を1とした相対値です。
| しきい値 | TP | FN | FP | Precision | Recall | 期待コスト(見逃し=誤報の1倍) | 期待コスト(見逃し=誤報の10倍) |
|---|---|---|---|---|---|---|---|
| 0.8 | 54 | 36 | 6 | 90.0% | 60.0% | 42 | 366 |
| 0.6 | 62 | 28 | 20 | 75.6% | 68.9% | 48 | 300 |
| 0.4 | 72 | 18 | 45 | 61.5% | 80.0% | 63 | 225 |
| 0.2 | 82 | 8 | 110 | 42.7% | 91.1% | 118 | 190 |
| 0.1 | 86 | 4 | 250 | 25.6% | 95.6% | 254 | 290 |
見逃しと誤報を同じ重さ(1倍)とすると、期待コストが最小になるのはしきい値0.8です。見逃しを誤報の10倍重いと仮定すると、最小はしきい値0.2に移ります。同じ検知結果でも、コストの見積もりによって望ましい設定が変わることが分かります。この計算をpandasで行うコード例を示します。コスト値はすべて仮の値です。
import pandas as pd
# 説明用の疑似データ: 害虫あり90件・なし910件に対するしきい値ごとの件数
df = pd.DataFrame({
"threshold": [0.8, 0.6, 0.4, 0.2, 0.1],
"fp": [6, 20, 45, 110, 250], # 誤報の件数
"fn": [36, 28, 18, 8, 4], # 見逃しの件数
})
FP_COST = 1 # 仮の値: 誤報1件のコストを基準(1)とした相対値
# 仮の値: 見逃し1件が誤報1件の何倍か。実際のコストではない
scenarios = {"見逃し=誤報の1倍": 1, "見逃し=誤報の10倍": 10}
for label, fn_cost in scenarios.items():
df["cost"] = df["fn"] * fn_cost + df["fp"] * FP_COST
best = df.loc[df["cost"].idxmin()]
print(f"{label}: 期待コスト最小のしきい値={best['threshold']}, コスト={int(best['cost'])}")Pythonこの結果は、あくまで疑似データと仮定による一例です。実際には、スコアの分布は現場ごとに異なります。また、期待コストが最小の設定だけが正解とは限りません。確認に回せる人手の上限や、一定以上の見逃しは許容できないといった制約がある場合は、コストが近い複数の候補を残して運用面から選ぶ方法もあります。
評価単位の違いに注意する:画像単位と日単位・エリア単位
「Recall 60%」という数値は、何を1件と数えたかで意味が変わります。AIの評価は画像1枚ごとに行われることが多い一方、現場で知りたいのは「今日この区画に害虫がいたか」といった日単位・エリア単位の情報である場合があります。
画像単位のRecall 60%は、日単位・エリア単位の検知率とは一致しません。同じ害虫が複数の画像や複数の日に写る場合、ある画像で見逃しても別の画像や別の日に検知できるため、日単位の検知率は画像単位のRecallより高くなる場合があります。一方で、見逃しが特定の設置位置や照明条件に偏っていると、同じ場所で繰り返し見逃され、期待したほど改善しない場合もあります。
誤報も同様です。画像単位では誤報が少なく見えても、画像の枚数が多いと日単位・エリア単位では誤報が積み重なり、確認件数が増えることがあります。どちらが高くなるかは一概には言えません。現場の対応の単位(その日の巡回で確認するのか、エリア単位で点検するのか)から逆算して評価単位を決め、その単位で見逃しと誤報を数え直すことが重要です。
PoCの合格基準を決める前に確認したいこと
PoCの合格基準を決める前に、次の点を関係者で確認しておくと、後からの認識のずれを減らせます。
- 人の確認工程:アラートが出たあと、誰がいつ確認し、何を判断するか
- 評価データと運用環境の違い:季節、照明、設置位置、カメラ、対象種などが評価時と本番で異なっていないか
- 評価単位:画像・日・エリアのどれで数えるか
- 合格基準の事前合意:見逃しと誤報の許容範囲を、結果が出る前に文書化しているか
すぐに試せる確認作業として、手元にPoCや試験運用の結果があれば、まず混同行列の4つの件数(TP・FN・FP・TN)を書き出してみてください。そのうえで、見逃し1件と誤報1件がそれぞれ現場で何を引き起こすかを、関係者に一文で書いてもらいます。回答が割れる場合は、数値の議論の前に整理すべき論点が残っているということです。すべての条件を整えてから始める必要はなく、小さい範囲で確認することから進められます。
導入判断前のチェックリスト
| No. | 確認項目 | 確認する内容 |
|---|---|---|
| 1 | 評価単位 | 画像・日・エリアのうち、現場の対応単位に合っているか |
| 2 | 見逃し・誤報のコスト | 1件あたりの影響を、金額または段階・倍率の幅で整理したか |
| 3 | 人の確認工程 | アラート後の確認者・タイミング・判断内容が決まっているか |
| 4 | 評価データと運用環境 | 評価時と本番で条件の違いがないか、違いを把握しているか |
| 5 | しきい値の検討 | コストの見積もりを変えても結論が大きく変わらないか確認したか |
| 6 | PoC合格基準の合意 | 評価の前に、関係者間で基準を文書として合意しているか |
まとめ:一律の合格ラインはなく、自社のコストと評価単位で決まる
害虫検知AIの精度に、「何%以上なら導入できる」という一律の合格ラインはありません。Accuracyは不均衡データでは高く出やすく、それだけでは見逃しの多さを判断できません。Precisionは誤報の少なさ、Recallは見逃しの少なさとして別々に読み、見逃し1件と誤報1件のコスト、そして評価単位から、自社に必要な水準を考える必要があります。
次に確認することは、評価単位の定義、見逃し・誤報のコストの整理、人の確認工程、評価データと運用環境の違い、PoC合格基準の事前合意の五点です。数値の高低を議論する前に、これらを関係者で言葉にしておくことが、導入判断の出発点になります。
害虫検知AIの導入判断では、精度の数値だけでなく、見逃しと誤報が現場にもたらす影響の整理が欠かせません。G-SENSIAでは、モニタリングデータをもとに、評価基準の設計や意思決定に使える形での活用を支援しています。PoCの評価方法やベンダー提示の精度の読み方に迷っている段階でも、ご相談いただけます。
参考文献
- Saito and Rehmsmeier. 2015. The Precision-Recall Plot Is More Informative than the ROC Plot When Evaluating Binary Classifiers on Imbalanced Datasets. PLoS ONE. Vol. 10. Issue 3. pp. e0118432. https://doi.org/10.1371/journal.pone.0118432
- Elkan. 2001. The Foundations of Cost-Sensitive Learning. Proceedings of the 17th International Joint Conference on Artificial Intelligence (IJCAI). Vol. 2. pp. 973-978.