需要予測モデルを複数作ったとき、「RMSEが最も小さいモデルを採用する」という選び方は分かりやすく見えます。
しかし、SCMや在庫管理で本当に知りたいのは、予測誤差そのものだけではありません。
例えば、年間を通じたRMSEは小さいものの、最も重要な繁忙期だけ需要を大きく過小予測するモデルがあったとします。その誤差によって欠品、販売機会損失、緊急輸送が発生するなら、「平均的によく当たる」ことと「業務上使いやすい」ことは必ずしも同じではありません。
需要予測では、RMSEやMAE等でForecast Qualityを評価すると同時に、その予測を使った発注・生産・在庫判断がどのようなBusiness Impactを生むかまで確認することが重要です。
本記事では、需要予測の統計的な精度評価を否定するのではなく、欠品、過剰在庫、Service Level、在庫コスト等と組み合わせてモデルを評価する方法を整理します。
需要予測で「精度が高い」とは何を意味するのか
需要予測では、実績値と予測値の差であるForecast Errorを基にモデルを評価します。
代表的な評価指標にはRMSE、MAE、MAPE等があります。これらは同じ「予測精度」を見ているようで、それぞれ異なる性質を持っています。
そのため、「どの指標が一番優れているか」を決めるのではなく、自社の予測対象と意思決定に合わせて評価する必要があります（Hyndman and Koehler, 2006）。
RMSE・MAE・MAPEは何を見ているのか
RMSE（Root Mean Squared Error）は、予測誤差を二乗して平均した後に平方根を取る指標です。大きな誤差の影響を強く受けるため、大外れを重く評価したい場合に有用です。
MAE（Mean Absolute Error）は、誤差の絶対値を平均します。需要と同じ単位で理解でき、大きな誤差だけを二乗によって強調しないという特徴があります。
MAPE（Mean Absolute Percentage Error）は誤差を実績値に対する割合で表せるため直感的ですが、実績が0または0に近い場合には計算できなかったり、極端な値になったりする問題があります（Hyndman and Koehler, 2006）。
つまり、RMSEが低いこと自体には意味があります。しかし、それだけでモデル採用を決めるのではなく、「どこで、どちら方向に誤差が出たか」まで確認します。
平均精度は良いのに繁忙期だけ大外れする架空例
説明用の架空企業で、同じ需要データに対してモデルAとモデルBを比較したとします。
モデルAは通常期の誤差が小さく、全期間のRMSEでもモデルBより良好です。一方、繁忙期になると需要上昇を捉えられず、大きく過小予測する傾向があります。
モデルBは通常期ではモデルAより多少誤差がありますが、繁忙期の需要上昇は比較的捉えています。
このとき、RMSEだけならモデルAが有力候補になります。しかし繁忙期の欠品による販売機会損失や緊急調達コストが大きい企業では、モデルBも業務上の有力候補になり得ます。
ただし、モデルBが必ず優れているわけではありません。結果は在庫保有費、欠品コスト、Lead Time、安全在庫、発注ルール、Service Level目標等によって変わります。
需要予測モデルを評価する6つの視点
1. 全体のForecast Accuracy
まずRMSEやMAE等を用いて、Out-of-sample、つまりモデル学習に利用していない期間で予測性能を確認します。
高度なモデルだけでなく、単純なBaseline Forecastとも比較します。
2. Biasと過小・過大予測
絶対的な誤差が小さくても、継続的に需要を低く予測しているモデルでは欠品側へ判断が偏る可能性があります。
平均誤差等からBiasを確認し、Under ForecastとOver Forecastを分けて観察します。
3. 繁忙期・重要期間
年間平均だけでなく、繁忙期、キャンペーン、決算期等、業務上重要な期間を分けて評価します。
ただし、特定期間を恣意的に選んで良く見えるモデルを採用するのではなく、その期間が事前に識別でき、将来も同じ意思決定上の重要性を持つかを確認します。
4. SKU・カテゴリ別
売上規模、粗利、欠品影響、需要変動が異なるSKUを、全商品平均だけで評価すると重要な問題が隠れることがあります。
重要SKU、変動の大きいSKU、欠品影響の大きいSKUなど、実際の管理単位に合わせて確認します。
5. Forecast Horizon別
1週間先と3か月先では予測の難易度も利用目的も異なります。
調達Lead Timeが長い商品であれば、直前の予測が高精度でも発注変更へ間に合わない場合があります。業務で必要なForecast Horizonにおける性能を見ることが重要です。
6. Inventory / Business KPI
最後に、予測値を実際の発注・在庫ルールへ適用したときに何が起きるかを確認します。
Stockout Rate、Service Level、平均在庫量、在庫保有費、Lost Sales、緊急調達費などが候補になります。
予測誤差の分布はSafety Stock等の在庫設計にも関係するため、平均精度だけでなく誤差分布を確認することにも意味があります（Barrow and Kourentzes, 2016）。
過小予測と過大予測は業務上同じ誤差ではない
例えば実需要100に対して80と予測した場合と、120と予測した場合は、絶対誤差だけを見ればどちらも20です。
しかし在庫業務では意味が異なる可能性があります。
どちらがより大きな問題になるかは企業・商品・期間によって異なります。
食品等では余剰在庫による廃棄が重要な場合があります。一方、欠品による販売機会損失や顧客影響が大きい商品もあります。
予測の望ましい点も、どの誤差をどの程度重く見るかというLoss Functionによって変わります。二乗誤差を最小化する点予測と、絶対誤差を最小化する点予測、非対称な損失を想定した点予測では対象となる統計量が異なります（Gneiting, 2011）。
Point Forecastだけでなく不確実性を見る
「来月の需要は1,000個」という一点だけでは、予測にどの程度の不確実性があるか分かりません。
必要に応じてPrediction IntervalやProbabilistic Forecastを利用し、「どの範囲に需要が入りそうか」を確認します。
またQuantile Forecastでは、条件付き分布の特定の分位点を予測します。
過小予測と過大予測のコストが非対称な業務では、中央値だけでなく別のQuantileを意思決定へ利用する考え方があります。ただし「欠品を避けたいから常にP90」のような一律運用は適切ではありません。
どのQuantileを利用するかは、過小予測と過大予測の相対的な損失や在庫政策に応じて決めます。
Forecast Accuracyと在庫KPIをどうつなげるか
実務では、モデルAとモデルBの予測値を同じ在庫・発注ルールへ入力し、結果を比較すると分かりやすくなります。
| 評価レイヤー | 主な指標 | 確認すること |
|---|---|---|
| Forecast Quality | RMSE、MAE、Bias、MASE等 | 予測そのものが未知期間でどの程度外れるか |
| Period / Segment | 繁忙期、SKU別、Horizon別誤差 | 重要な場面に誤差が集中していないか |
| Inventory | Stockout Rate、平均在庫、Service Level | 予測を使った在庫状態がどう変わるか |
| Business Cost | Holding、Lost Sales、Emergency、Disposal等 | 誤差が実際の業務コストへどう影響するか |
ここで重要なのは、在庫方針を固定せずにモデルごとに都合よく変えて比較しないことです。
まず同じLead Time、安全在庫、発注条件等を置いた状態で予測モデルの違いを比較し、その後に必要なら在庫政策自体の最適化を別途検討します。
簡易在庫シミュレーションで比較する
予測精度と在庫成果を接続する方法の一つが、過去期間を使った簡易シミュレーションです。
例えば過去の各時点で実際に利用可能だったデータだけから予測し、その予測を所定の発注ルールへ入力したと仮定します。そして実需要に対して、在庫残高、欠品、追加発注等がどう推移したかを確認します。
予測誤差分布がSafety Stockの設計や必要在庫へ影響することは、在庫管理の観点からも重要です（Barrow and Kourentzes, 2016）。
この方法なら、「RMSEが何ポイント改善したか」だけでなく、「その改善によって欠品・平均在庫・Service Levelがどの程度変化したか」を同じ土俵で比較できます。
ただし、過去データによるシミュレーションが将来の成果を保証するわけではありません。価格、商品構成、Lead Time等の構造変化も考慮して解釈します。
精度改善にどこまで投資すべきか
モデルAから高度なモデルCへ変更するとRMSEが改善するとしても、その差が業務上ほとんど影響しない場合があります。
一方、わずかな精度改善でも、重要SKUの欠品や高額な緊急輸送を減らせるなら価値が大きい場合があります。
したがって高度な需要予測モデルへの投資判断では、モデル指標の改善幅だけでなく、次のような変化を見ることが重要です。
- どの期間・SKUの誤差が改善したか
- Under ForecastとOver Forecastのどちらが改善したか
- 欠品・平均在庫・Service Levelがどう変化したか
- モデル開発・運用・保守費を上回る業務価値が期待できるか
需要予測モデルは「最も当たるもの」を競うだけではなく、「その予測を使って何を改善したいのか」から採用条件を決める方が、SCM上の意思決定につなげやすくなります。
需要予測モデル評価チェックリスト
| 確認項目 | 確認内容 |
|---|---|
| Out-of-sample | 学習に使っていない期間で精度を確認したか |
| Baseline | 単純な予測方法と比較したか |
| Metric | RMSEだけでなく目的に応じた指標を確認したか |
| Bias | 継続的な過小・過大予測がないか |
| Critical Period | 繁忙期等を別途確認したか |
| SKU | 重要商品で誤差が集中していないか |
| Horizon | 業務で必要な予測期間の性能を確認したか |
| Stockout | 欠品期間とForecast Errorを照合したか |
| Excess | 過剰在庫期間とForecast Errorを照合したか |
| Lead Time | 実際の調達・生産Lead Timeを考慮したか |
| Inventory Policy | 安全在庫・発注ルールを含めて評価したか |
| Service Level | 顧客供給面の指標も確認したか |
| Uncertainty | Point Forecast以外の情報も必要か検討したか |
| Business Value | 精度改善による業務価値を確認したか |
| Cost | 高度なモデルの開発・保守費も比較したか |
現在使っている需要予測について、「一番RMSEが大きかった時期はいつか」だけでなく、「どの時期・SKUの予測誤差が実際の欠品や過剰在庫につながったか」を確認してみてください。
モデル指標と業務上の損失が一致しているとは限りません。
まとめ
需要予測ではRMSEやMAE等によるForecast Accuracyの評価が重要です。
しかし、最もRMSEが低いモデルが、必ずしも在庫・欠品・Service Levelの観点でも最も適しているとは限りません。
特にSCMでは、誤差の大きさだけでなく、過小予測か過大予測か、いつ発生したか、どのSKUで発生したか、Lead Timeや安全在庫と組み合わせたときに何が起こるかまで確認する必要があります。
したがって、Forecast QualityとDecision / Business Qualityを二層で評価し、必要に応じて過去データを使った在庫シミュレーションや確率予測も組み合わせることが、実務上のモデル選定につながります。
SCI総合研究所株式会社のRASHINRAでは、需要予測モデルの精度だけではなく、その予測を何の意思決定へ利用するのか、過小予測・過大予測がどのような業務コストにつながるのか、どのモデルを採用することが業務上合理的なのかまで整理します。
「RMSEは改善したのに欠品が減らない」「繁忙期だけ予測が外れる」「精度改善に追加投資する価値があるか分からない」といった段階から、予測評価と意思決定の論点を整理できます。
参考文献
- Hyndman, R. J. and Koehler, A. B. 2006. Another look at measures of forecast accuracy. International Journal of Forecasting. Vol. 22. Issue 4. pp. 679-688. DOI: 10.1016/j.ijforecast.2006.03.001.
- Gneiting, T. 2011. Making and Evaluating Point Forecasts. Journal of the American Statistical Association. Vol. 106. Issue 494. pp. 746-762. DOI: 10.1198/jasa.2011.r10138.
- Barrow, D. K. and Kourentzes, N. 2016. Distributions of forecasting errors of forecast combinations: Implications for inventory management. International Journal of Production Economics. Vol. 177. pp. 24-33. DOI: 10.1016/j.ijpe.2016.03.017.