防虫モニタリングに画像判定AIを導入し、捕虫紙やトラップの画像から虫の種類や数を判定する運用が広がっています。導入当初は想定どおりに動いていたのに、ある時期から誤判定が目立つようになる、という状況は起こりえます。そのとき「画像をもっと集めてモデルを作り直せばよい」と考えるのは自然な発想です。
この発想には価値があります。ただし、画像を増やすこと自体は目的ではありません。どの画像を、誰が、どの基準で、何のために集めるのかが決まっていないと、手間だけが増えます。再学習をしても、効果があったのか判断できなくなります。
最初に決めたいのは、「何枚集めるか」ではなく、「現場で気づいた誤判定を、どこに記録し、誰が確認し、どう学習データへ戻すか」という流れです。教師データ(Training Data:AIが学習するための、正解ラベル付きの画像データ)の収集を、一度きりの作業ではなく日常の運用に組み込めるかどうかが、導入後の精度維持を左右します。
本記事では、画像AIの教師データを現場から集め続けるための運用設計を、誤判定画像の月次レビューを軸に整理します。特定の施設や顧客の事例ではなく、一般的な考え方に基づく解説です。再学習の頻度や必要枚数などの数値目安は示しません。
導入後に画像AIの精度が落ちるのはなぜか
画像AIは、学習時に用意された画像の傾向をもとに判定のルールを獲得します。学習に使った画像は、ある期間・ある条件で集めたものです。運用が始まると、現場のデータは少しずつ学習時から変わっていきます。
時間の経過に伴ってデータの性質や入力と正解の関係が変わる現象は、コンセプトドリフト(Concept Drift:概念の変化、データの性質のずれ)として研究されています(Gama et al., 2014)。防虫モニタリングでは、次のような形で現れる場合があります。
- 学習時に含まれていなかった虫種が現れる
- 季節によって発生する虫種や、その状態が変わる
- 照明やカメラ位置、捕虫紙の種類や汚れなど、撮影条件が変わる
- 現場の管理方法や設備の変更で、撮影される対象そのものが変わる
精度低下とモデルの欠陥は別の話です。導入時の評価が適切であっても、現場の側が変われば、同じモデルでも結果は変わります。だからこそ、変化に気づく仕組みと、変化をデータとして取り込む仕組みを、導入時から運用の一部として考えておく必要があります。
精度低下の要因を3つに切り分けて考える
誤判定が増えたとき、原因を「AIの精度が悪い」とひとまとめにすると、対策の方向を誤りやすくなります。まずは、新種の出現、季節変化、撮影条件の変化の3つに分けて見ていきます。
| 要因 | 起こりやすいこと | 対策の方向性 |
|---|---|---|
| 新種・学習時にない虫種の出現 | 既存クラスのいずれかに無理に当てはめられ、確信度が高いまま誤判定される場合がある | 「不明」クラスを用意し、月次レビューで新しいクラス候補として整理する |
| 季節変化 | 特定の時期に発生種や個体の状態が変わり、学習時に少なかった対象の誤判定が増える | 時期別に誤判定を集計し、不足している対象を学習データ候補として蓄積する |
| 撮影条件の変化 | 照明、カメラ位置、ピント、捕虫紙の汚れなどにより見え方が変わり、全般的に判定が不安定になる | 撮影条件を記録してモデルの問題と切り分け、必要に応じて撮影手順の標準化を先に行う |
実際の現場では、これらが重なって現れることも少なくありません。この表は原因を単純に分類できることを意味するものではなく、確認の順序を考えるための整理です。
教師データ収集は「現場から戻す循環」として設計する
運用段階の教師データ収集は、専用の作業を新たに増やすというより、現場の気づきを学習データにつなぐ流れを作ることです。全体像を次の図に示します。
現場フィードバックから再学習までの循環
現場側
- 気づき誤判定や判断に迷う画像に気づく
- 記録画像IDと指摘内容を残す
合同レビュー
- 月次レビュー現場担当と技術担当で確認する
- ラベル確定正解または「不明」を決める
技術側
- 学習データ追加候補として蓄積し、必要に応じて追加する
- 評価固定した評価用データで比較する
- 反映効果と影響を確認して運用へ反映する
反映後の運用の中で、再び現場の気づきが生まれ、循環が続きます。概念図であり、各工程の期間や頻度を示すものではありません。
この循環の中で、判断を担うのは人です。AIが自動的にすべてを更新するわけではありません。誤判定かどうか、どのラベルが正しいか、学習データに加えてよいかは、現場の知識と技術的な観点の両方を踏まえて決める必要があります。
現場では何を記録すればよいのか
記録様式は、完璧なものを作ってから始める必要はありません。現場の負担が大きいと記録が続かないため、最初は最小限の項目から始め、運用しながら見直すほうが現実的です。
- 画像ID(どの画像かを特定できること)
- AIの判定結果と確信度(システムから自動で取得できる場合)
- 現場担当の指摘内容(「羽の形が違うように見える」「汚れを虫と判定している」など短文で)
- 撮影日時と施設区分(エリア)
正解ラベルは、現場担当が記録時に確定できなくても構いません。判断に迷った場合は「迷った」という事実そのものを記録し、正解の確定は月次レビューで行います。現場の役割は「気づきを残すこと」、正解の確定は「合同で行うこと」と分けておくと、記録の心理的負担が下がります。
誤判定画像の月次レビューをどう進めるか
月次レビューは、現場担当と技術担当が月に一度、記録された画像をまとめて確認する場です。ここでの「月次」は確認の周期であり、再学習の頻度を意味するものではありません。レビューで蓄積したデータを実際にいつ学習へ使うかは、別に判断します。
Step 1:レビュー対象を絞る
すべての画像を見る必要はありません。一般論としては、次のような画像が候補になります。
- AIの判定が誤っていた画像
- 確信度が低かった画像
- 「不明」と判定された画像
- 現場担当が判断に迷った画像
最初は、確認できる範囲の件数から始めて構いません。たとえば、確信度が相対的に低い画像から数件ずつ並べ、「AI判定」「現場の指摘」「確認後の正解」の3項目だけを記録する形でも、傾向は見えてきます。
Step 2〜3:合同で確認し、正解ラベルを確定する
現場担当は、実物や設置状況を知っている立場から見え方の背景を伝えます。技術担当は、モデルの判定傾向や画像の質の観点から確認します。意見が分かれた場合は、無理に結論を出さず「不明」または「保留」として残す選択肢を用意します。
Step 4:学習データ候補として蓄積する
ラベルを確定した画像は、すぐに学習へ使うのではなく、まず「学習データ候補」として蓄積します。後述する偏りの確認や評価用データとの分離を行ってから、追加するかどうかを判断します。
Step 5:傾向を振り返る
個々の画像の確認だけでなく、どの時期に、どのエリアで、どの対象の誤判定が増えているかを振り返ります。この集計の例は、後の節で示します。
誤判定の記録方法やレビュー体制を自社の現場に合わせてどう設計するか迷う場合は、G-SENSIAで、現状のデータや運用の整理から相談することもできます。
「不明」クラスを正式な選択肢にする
新種や判断が難しい個体が現れたとき、既存のクラスのどれかに分類させてしまうと、誤ったラベルが学習データに混ざる原因になります。そこで、「不明」を正式なクラスとして用意し、判断できないものは無理に当てはめない運用を勧めます。
学習時に存在しなかったクラスが運用時に現れる状況を前提とする問題設定は、オープンセット認識(Open Set Recognition:未知のクラスを想定した認識)として研究されています(Scheirer et al., 2013)。防虫の現場でも、すべての虫種を事前に網羅できるとは限りません。
「不明」と判定された画像は、月次レビューで次のように振り分けて考えます。
- 新しいクラスとして整理すべき候補
- 既存クラスの個体差や状態の違い(損傷、重なりなど)
- 画質や撮影条件が原因で判断できない画像
- 虫以外(汚れ、異物など)
ただし、これは「不明を増やせばよい」という意味ではありません。不明が多い状態は、モデルの対応範囲や撮影条件の見直しが必要なサインでもあります。不明は失敗ではなく、次に確認すべき情報として扱うという位置づけです。
ラベル付け基準のばらつきをどう抑えるか
教師データの質は、ラベルの一貫性に左右されます。担当者ごとに判断基準が異なると、同じような画像に異なるラベルが付き、再学習の効果を見えにくくします。ラベルの誤りがモデルの学習や評価に与える影響や、その検出方法も研究されています(Northcutt et al., 2021)。
一般的な対策として、次のような取り組みが考えられます。
- ラベル付けの基準書を作り、判断に迷った例を画像付きで追記していく
- 判断が分かれた画像を、基準を見直す材料として残す
- 複数名で同じ画像を確認する機会を、レビューの中に設ける
- レビュー担当を記録し、基準の変更履歴を追えるようにする
基準書は最初から完成させる必要はありません。月次レビューのたびに「迷った例」を足していく形で、現場の知識が文書として蓄積されていきます。
疑似データで誤判定の傾向を集計してみる
記録がたまってきたら、どの時期・どの対象で誤判定が増えているかを集計し、レビューの優先度を決める材料にします。以下は説明用の疑似データ(架空のデータ)の例です。虫種名は一般的な分類名にとどめています。
記録日,施設区分,画像ID,AI判定結果,確信度,現場担当の指摘内容,レビュー後の正解ラベル,レビュー担当,備考
2025-06-03,エリアA,IMG-0001,ユスリカ類,0.58,羽の形が異なるように見える,チョウバエ類,担当B,
2025-06-10,エリアA,IMG-0002,チョウバエ類,0.91,体が小さく判断に迷う,不明,担当B,画像がやや不鮮明
2025-07-02,エリアB,IMG-0003,その他,0.47,見慣れない形の個体,不明,担当C,新規候補として保留
2025-07-15,エリアB,IMG-0004,ユスリカ類,0.66,捕虫紙の汚れを虫と判定,虫以外,担当C,撮影条件の確認が必要PythonこのCSVをpandas(Pythonのデータ集計ライブラリ)で読み込み、月別・正解ラベル別などに件数を数える短いコードの例です。
import pandas as pd
# 説明用の疑似データ(架空)を想定した誤判定記録CSV
df = pd.read_csv("misjudgment_log_sample.csv", parse_dates=["記録日"])
# 月ごとに集計できるよう、年月の列を作る
df["年月"] = df["記録日"].dt.to_period("M").astype(str)
# 月別 x 正解ラベル別の件数
by_month_label = (
df.groupby(["年月", "レビュー後の正解ラベル"])
.size()
.unstack(fill_value=0)
)
print(by_month_label)
# 施設区分別 x 月別の件数(エリア固有の要因を探す手がかり)
by_area_month = (
df.groupby(["施設区分", "年月"])
.size()
.unstack(fill_value=0)
)
print(by_area_month)
# AI判定結果 x 正解ラベルの組み合わせ(どの取り違えが多いか)
confusion = pd.crosstab(df["AI判定結果"], df["レビュー後の正解ラベル"])
print(confusion)Pythonこのコードの目的は、レビューの優先度を決めるための把握に限られます。読み取る際には、次の点に注意が必要です。
- 記録されているのは気づいた誤判定だけであり、件数の増加がそのまま誤判定率の上昇を意味するとは限りません。撮影枚数や虫の発生量の増減も影響します。
- 特定のエリアだけに偏る場合は、モデルよりも撮影条件を先に確認する余地があります。
- 特定の取り違えの組み合わせが目立つ場合は、その組み合わせをレビューで重点的に確認する材料になります。
学習データに加える前に確認したい4つの注意点
レビューでラベルが確定した画像も、そのまま学習データに加えればよいとは限りません。次の4点を確認してから追加を判断します。
1. 誤判定画像だけで学習データが偏るリスク
誤判定画像だけを追加し続けると、「判断が難しい例」ばかりが増え、通常の見え方の画像との釣り合いが崩れる可能性があります。正しく判定できている画像も含めて全体の構成を確認し、特定の虫種や時期、エリアに偏っていないかを見る必要があります。
2. 評価用データを学習に混ぜない
再学習の効果を判断するには、学習に使わない評価用データを別に確保しておく必要があります。評価用データが学習に混ざると、見かけ上の結果が良く見えてしまい、実際の効果を判断できなくなります。
学習データ候補と評価用データの分離
A
学習データ候補
- 月次レビューでラベルを確定した画像
- 偏りを確認したうえで追加を判断する
- 再学習のたびに更新されうる
B
評価用データ
- 学習には使わず、別に確保しておく画像
- 再学習の前後で同じものを使って比較する
- 更新する場合は、変更の経緯を記録する
AとBは別のデータとして管理します。概念図であり、データの割合や枚数を示すものではありません。
3. 撮影条件の変化とモデルの問題を切り分ける
照明の変化や捕虫紙の汚れ、カメラ位置のずれが原因の誤判定を、そのまま再学習で吸収しようとすると、本来は撮影手順で解決できる問題をモデルに抱え込ませることになります。特定のエリアや特定の時期に誤判定が集中している場合は、まず撮影条件を確認し、撮影側の改善で済むのかを見極めます。
4. 画像への人物・機密情報の写り込みへの配慮
画像を蓄積し、技術担当や外部と共有する場面では、人物や設備の配置、製品、掲示物などが写り込んでいないかを確認する必要があります。写り込みがある場合は、トリミングやマスキング、共有範囲の限定などを検討します。保管場所とアクセス権限も、あらかじめ決めておくことをお勧めします。
再学習の効果をどう判断するか
再学習を行ったら、効果を確認してから運用に反映します。判断の基本は、固定した評価用データで、再学習の前後を同じ条件で比較することです。
- 全体の指標だけでなく、誤判定が多かった対象・時期・エリア別にも確認する
- 改善した対象だけでなく、悪化した対象がないかも確認する
- 「不明」の扱いが適切に変化しているかを見る
- 効果が限定的、または悪化した箇所がある場合は、反映を見送る判断も選択肢に含める
再学習を行う頻度は、一律に決められるものではありません。蓄積された学習データ候補の内容、現場の変化、運用に使える工数を踏まえて検討します。また、撮影手順や判定結果の運用ルールの見直しで対応できる場合は、必ずしも再学習が必要になるとは限りません。
社内で続ける範囲と外部に相談する範囲
この運用は、すべてを社内で完結させる必要も、すべてを外部に任せる必要もありません。役割を分けて考えると、継続しやすくなります。
| 役割 | 主な担当範囲 | 留意点 |
|---|---|---|
| 現場担当 | 誤判定・判断に迷う画像の気づきの記録、月次レビューへの参加、撮影状況の共有 | 記録の負担が大きくならないよう、項目は最小限にする |
| 技術担当 | レビュー対象の抽出、集計、学習データ候補の管理、評価用データの管理、再学習と評価の実施 | 評価用データを学習に混ぜないよう、管理ルールを明確にする |
| 外部支援 | 評価の設計、新種対応の方針整理、データの偏りの検証、必要に応じた技術検証 | 社内で判断すべき範囲と、外部に相談する範囲を事前に整理する |
記録、月次レビュー、基準書の更新は、社内で継続しやすい範囲です。一方で、評価設計や、モデルの見直しを含む技術検証が必要になる場合は、外部への相談が有効になることがあります。
月次レビューのチェックリスト
月次レビューの前後で確認する項目を、チェックリストとして整理します。すべてを一度に満たす必要はなく、できるところから段階的に整えていく使い方を想定しています。
| 区分 | 確認項目 | 確認の観点 |
|---|---|---|
| 記録 | 誤判定・迷った画像の記録先が決まっている | 画像IDと指摘内容を残せるか |
| 対象抽出 | レビュー対象の抽出方法を決めている | 誤判定、確信度が低い画像、「不明」を含むか |
| ラベル確定 | ラベル確定の基準書がある | 迷った例を追記できる形か |
| 不明の扱い | 「不明」を正式な選択肢としている | 無理に既存クラスへ当てはめていないか |
| 切り分け | 撮影条件の変化を確認している | エリアや時期への偏りを見ているか |
| データ管理 | 評価用データを学習データと分けている | 学習への混入を防ぐ管理ができているか |
| 偏り | 追加する学習データの構成を確認している | 誤判定画像だけに偏っていないか |
| 情報管理 | 写り込みの確認と保管ルールがある | 人物・機密情報への配慮ができているか |
まとめ
画像AIの教師データ収集は、一度に大量の画像を集める作業ではなく、現場の気づきを学習データへ戻す流れを作ることです。精度低下の背景には、新種の出現、季節変化、撮影条件の変化があり、どれが主因かによって、取るべき対策は異なります。
次に確認したいのは、次の点です。
- 現場の誤判定や迷いを、どこに記録しているか
- 月次レビューで、誰がどの基準でラベルを確定するか
- 「不明」を選べる運用になっているか
- 評価用データを学習から分けて管理できているか
完璧な体制を整えてから始める必要はありません。まずは小さな範囲で記録とレビューを試し、運用しながら見直していく進め方が現実的です。
運用設計や評価の進め方で迷ったときは
画像AIは、導入して終わりではなく、現場の変化に合わせて育てていく仕組みが重要です。SCI総合研究所株式会社のG-SENSIAは、防虫モニタリングのデータ活用と運用設計を、現場の状況を踏まえて支援しています。精度低下への対応や、データ収集・評価の進め方で迷われた場合は、お気軽にご相談ください。
参考文献
- Gama et al. 2014. A survey on concept drift adaptation. ACM Computing Surveys. Vol. 46. Issue 4. pp. 1-37. https://doi.org/10.1145/2523813
- Scheirer et al. 2013. Toward Open Set Recognition. IEEE Transactions on Pattern Analysis and Machine Intelligence. Vol. 35. Issue 7. pp. 1757-1772. https://doi.org/10.1109/TPAMI.2012.256
- Northcutt et al. 2021. Confident Learning: Estimating Uncertainty in Dataset Labels. Journal of Artificial Intelligence Research. Vol. 70. pp. 1373-1411. https://doi.org/10.1613/jair.1.12125