En prognose bliver ikke bedre af sig selv. Man skal måle, hvor meget den rammer ved siden af, og om den systematisk ligger for højt eller for lavt. Tre mål dækker det meste.
Eksempel
En vare over tre måneder:
| Måned | Faktisk salg | Prognose | Afvigelse |
|---|---|---|---|
| August | 100 | 90 | 10 |
| September | 80 | 100 | 20 |
| Oktober | 120 | 110 | 10 |
| I alt | 300 | 300 | 40 |
MAPE
MAPE er den gennemsnitlige procentvise afvigelse pr. måned:
(10/100 + 20/80 + 10/120) / 3 = (10 % + 25 % + 8,3 %) / 3 = 14,4 %
MAPE er let at forstå, men går galt på varer med lavt salg. Sælger en vare 2 stk., og var prognosen 6, er afvigelsen 200 %, selvom det kun er 4 stk. Og sælger varen 0 stk., kan MAPE slet ikke regnes. Derfor passer den dårligt til webshops med mange småsælgende varer.
WAPE
WAPE lægger afvigelserne sammen og deler med det samlede salg:
40 / 300 = 13,3 %
Store varer vægter mere, og varer med lavt salg kan ikke trække tallet helt ud af proportioner. Det er nok det mest brugbare mål, hvis man vil se præcisionen for en leverandør eller hele sortimentet.
Bias
Bias viser, om prognosen ligger systematisk over eller under:
(−10 + 20 − 10) / 300 = 0 %
I eksemplet rammer prognosen ved siden af, men lige meget til begge sider. Er bias +15 %, bestiller man for meget hver gang, og så ender det som overlager. Er den −15 %, løber varerne tør. Bias er tit vigtigere end selve afvigelsen, fordi en skæv prognose kan rettes, mens tilfældig støj ikke kan.
Test på historikken
For at sammenligne metoder kan man lave en backtest:
- Skjul de seneste tre måneder i historikken.
- Lad hver metode lave en prognose for de tre måneder ud fra resten.
- Sammenlign med det faktiske salg og regn WAPE og bias.
- Brug den metode der ramte bedst, og gentag testen jævnligt.
Tre måneder er et kompromis. Kortere perioder er for tilfældige, og længere perioder siger mindre om, hvordan varen sælger nu.
Hvad er godt nok
Det afhænger af varen. En stabil A-vare kan ofte rammes inden for 15 til 25 %, mens en vare der sælger få stk. om måneden, sjældent kommer under 50 %. Det giver nok mere mening at følge udviklingen over tid og se på bias, end at jagte et bestemt tal.
Backtest i lesslater
lesslater laver en backtest på de seneste tre måneder for hver vare. Tre måneder er for få til at skifte metode på en lille forskel, så lesslater skifter kun væk fra sæsonprofilen, eller fra SBA på varer der sælger sjældent, når en anden metode ramte langt bedre. Analysen viser, hvor meget prognosen har ramt ved siden af.