
Kako proveriti i popraviti verovatnoća fudbalskih ishoda koje pružaju AI i statistički modeli
Mnogi entuzijasti i profesionalni kladioničari danas koriste AI prognoze da bi ocenili šanse mečeva. Problem koji se često zanemaruje jeste razlika između tačnosti prognoze i njene kalibracije: model može dobro rangirati favorite, ali davati verovatnoće koje su sistematski prenaglašene ili potcenjene. Ovaj vodič objašnjava osnovne metrike i vizualne alate za ocenu verovatnoća, uvodi metode kalibracije i najavljuje kako uporediti modelske verovatnoće sa tržišnim kvotama radi pronalaženja potencijalnih value betova.
Zašto je kalibracija verovatnoća fudbalskih ishoda važna
Razlikovati tri pojma: statistička verovatnoća (iz modela), kvota na tržištu (odraz tržišnih očekivanja i marže) i konačan ishod (rezultat meča). Kalibrisana verovatnoća znači da kada model kaže 60% šanse za pobedu, oko 60% takvih predikcija zaista završi pobedom. Bez kalibracije, donošenje odluka o value betovima postaje rizično — model može biti “pametniji” od slučaja, ali ne i pouzdan u proceni rizika.
Kalibracija je posebno važna kod fudbala zbog niskofrekventnih događaja (npr. ishod 0:0 ili precizna gol-razlika) i promenljivih faktora kao što su povrede, forma i rotacije timova. Dobro kalibrisan model olakšava novčano upravljanje i dosledno traženje vrednosti na tržištu.
Osnovni metrički alati: Brier score i log loss
Za kvantifikaciju kalibracije često se koriste dve osnovne metrike:
- Brier score — mera prosečne kvadratne greške između predviđene verovatnoće i ishoda (0 ili 1). Niži Brier score znači bolju kalibraciju i preciznost. Prednost: jednostavno i intuitivno; mana: tretira sve greške kvadratno, pa je osetljivije na velike odstupanja.
- Log loss (cross-entropy) — kaznjava vrlo poverljive, ali pogrešne prognoze mnogo jače. Koristan je za modele koji proizvode ekstremne verovatnoće. Niži log loss znači model koji ne “preteruje” u poverenju.
Kada koristiti koju metriku
- Za opštu kalibraciju i jednostavnu interpretaciju: Brier score.
- Za penalizovanje previsokog poverenja i poređenje modela sa različitim distribucijama verovatnoća: log loss.
Vizuelni alati: reliability diagram i dijagnostika kalibracije
Numeričke metrike daju sumarni uvid, ali pouzdanost se najbolje vidi grafički. Reliability diagram (kalibracioni dijagram) prikazuje prosečnu ostvarenu frekvenciju ishoda unutar binova predviđenih verovatnoća. Dijagram jasno pokazuje da li model sistematski precenjuje ili potcenjuje šanse — linija blizu dijagonale ukazuje na dobru kalibraciju.
- Dodati histogram predviđenih verovatnoća pomaže da se vidi gde model najčešće radi (ekstremi vs. centar).
- Reliability diagram zajedno sa Brier decompozicijom otkriva koliko greška dolazi iz loše kalibracije, a koliko iz nedovoljne oštrine modela.
U sledećem delu vodiča biće detaljnije objašnjene metode za korigovanje kalibracije — Plattova (logistička) kalibracija i izotonska regresija — plus praktični primeri backtestinga na odvojenim skupovima i kako uporediti model sa tržišnim kvotama kako bi se identifikovali value betovi.
Plattova (logistička) kalibracija — jednostavna i robusna korekcija
Plattova kalibracija tretira izlaz modela kao ulaz u jednostavan logistički model: nova verovatnoća p’ = sigmoid(a · z + b), gde je z originalna izlazna skor (logit, raw score ili postavljena verovatnoća). Parametri a i b se uče na skupu kalibracije minimalizacijom log loss-a. Prednosti ove metode su jednostavnost, stabilnost i mala sklonost overfitu kada imate ograničenu količinu podataka.
Praktične napomene:
– Ulaz z: za modele koji već vraćaju verovatnoće, često je bolje prvo transformisati p u logit(p) pre nego što se primeni Platt (osim ako model već proizvodi logite). Za neke ML modele (SVM, neke neuronalne mreže) koriste se raw skorovi.
– Skup za kalibraciju mora biti odvojen od trening skupa — idealno je koristiti hold-out ili k-fold strategiju koja izbegava curenje informacija.
– Regularizacija: pri malom broju primera može biti korisno dodati L2 regularizaciju ili ograničiti opseg a i b kako bi se izbeglo preterano prilagođavanje.
– Evaluacija: primenite log loss i reliability diagram pre i posle Platta; log loss bi trebao pasti a reliability linija se pomeriti bliže dijagonali.
Kada koristiti Platt:
– Ako imate relativno malo podataka za kalibraciju.
– Ako model pokazuje monotono, ali sistematski krivo poverenje (npr. sve verovatnoće su prenapumpane).
– Ako želite brzu, interpretabilnu korekciju koja ne narušava redosled verovatnoća.
Izotonska regresija — fleksibilna, ali zahtevna
Izotonska regresija je neparametarski metod koji uči monotonu (nenarastajuću ili nenadanu) funkciju koja mapira predikcije na empirijske verovatnoće. Prednost je što može popraviti kompleksne, nelinearne greške u kalibraciji (npr. podcenjivanje u srednjim verovatnoćama, precenjivanje na ekstremima) bez pretpostavke logističkog oblika.
Praktične napomene:
– Potreban broj primera: izotonska je vrlo fleksibilna i lako preopterećuje kada je broj primera mali. Pravilo palca: koristiti je kada imate stotine do hiljade primera za svaku klasu ishoda.
– Postprocessing: često se kombinuje sa binningom ili laplasovim izravnavanjem na krajevima da se izbegnu oštri skokovi.
– Validacija: koristi se cross-validation ili kalibracioni državni skup da bi se izbeglo “prilagođavanje” buke. Posle učenja, obavezno iscrtati pre i posle reliability diagram da bi se proverila stabilnost funkcije.
– Kada birati izotonsku nad Plattom: ako reliability diagram pokazuje nemonotone greške (višestruki prelomi iznad/ispod dijagonale) i imate dovoljno podataka.
Backtesting i poređenje sa tržišnim kvotama za pronalaženje value betova
Backtest mora simulirati stvarne uslove klađenja: delite podatke vremenski (train kalibracija → test backtest), koristite samo informacije koje bi bile dostupne pre meča i ne kalibrujte na test skupu. Preporučena procedura:
1. Podela podataka: koristite hronološki hold-out ili rolling/window (walk-forward) validaciju.
2. Korekcija tržišne margine: konvertujte decimalne kvote u implied probabilities p_market = 1/odds, zatim uklonite overround normalizacijom (p_market_fair = p_market / sum(p_market svih ishoda)). Za sofisticiraniju procenu možete koristiti Shin-ov metod.
3. Definisanje value bet-a: value ako p_model_calibrated > p_market_fair + δ (δ prag za transakcione troškove i statističku nesigurnost; npr. 0.02–0.05).
4. Simulacija klađenja: simulirajte fiksni ulog ili Kelly sizing (uz ograničenje frakcije) i beležite ROI, EV po opkladi, maksimalni drawdown i hit rate.
5. Statistička provera: koristite bootstrap za intervale poverenja ROI, i binominalni test za proveru da li je ostvareni profit nenula u odnosu na slučajnost.
Dodatne mere opreza:
– Multiple testing: traženje value betova na mnogim tržištima povećava lažno pozitivne rezultate; koristite korekciju (npr. Bonferroni) ili kontrolu FDR.
– Adaptacija tržišta: ako delite rezultate javno ili koristite ih dugoročno, tržište će se menjati i profitabilnost može opadati.
– Praćenje posle kalibracije: ponovo ocenjujte kalibraciju periodično i osvežavajte Platt/izotonski model kako se nove informacije akumuliraju.
U sledećem delu prikazaćemo konkretne primere koda i numeričke primere backtestova na javnim dataset-ima, plus praktične trikove za uklanjanje marže i podešavanje praga za value.
Praktični završetak i sledeći koraci
Kalibracija probabilističkih prognoza je proces, ne jednokratna akcija. Postavite reproducibilan pipeline, pratite metrike i vizuale, i tretirajte model i tržište kao žive sisteme koji se moraju periodično revidirati. Fokusirajte se na kontrolu rizika i konzistentnost u eksperimentima — to daje stvarnu vrednost vašim verovatnoćama kada su one upotrebljene u odlučivanju o opkladama.
Operativna check-lista
- Koristite hronoloski odvojene setove: trening, kalibracija (hold‑out) i backtest.
- Automatski pratite metrike: Brier score, log loss i pouzdanost (reliability diagram).
- Logujte sve predikcije, kvote tržišta i eventualne isplate za kasniju analizu i audite.
- Normalizujte tržišne kvote da biste uklonili overround pre poređenja.
- Definišite jasne pragove za value bet (δ) i pravila za sizing (fiksni ulog ili ograničeni Kelly).
- Backtestirajte strategije vremenski i koristite bootstrap za intervale poverenja performansi.
- Kontrolišite multiple testing kada pretražujete mnogo tržišta ili strategija.
- Periodično re‑kalibrišite (Platt ili izotonski) i proveravajte stabilnost kalibracione funkcije.
Saveti za održavanje i upravljanje rizikom
- Budite konzervativni pri malom uzorku: preferirajte jednostavnije kalibracije i regularizaciju.
- Ograničite veličinu opklada i koristite frakcionisani Kelly da smanjite volatilnost kapitala.
- Primenjujte smoothing ili binning uz izotonsku regresiju da izbegnete nepoželjne skokove.
- Automatizujte detekciju drifta u kalibraciji i postavite upozorenja za rekalibraciju.
- Čuvajte verzije modela i datasetova kako biste mogli rekonstruisati rezultate i greške.
- Izbegavajte javno deljenje profitabilnih signala koji bi mogli promeniti tržišnu dinamiku.
- Uvedite ljudsku proveru za visoko rizične ili neuobičajene predikcije.
Završna poruka: razvijajte kulturu kontinuiranog testiranja i opreznog upravljanja rizikom. Dobra kalibracija povećava vrednost verovatnoća koje model daje — ali stvarna korist dolazi tek kada se te verovatnoće koristi u disciplinovanom, merenom i reproducibilnom procesu donošenja odluka.
