Opt reguli pentru predictii mai bune

Nate Silver s-a aruncat cu capul inainte in lumea analizei datelor si foloseste oferta de produse SPSS, o companie IBM, de la o varsta frageda. cand avea 9 ani, Silver si tatal sau sedeau intr-o zi ploioasa in timpul unei vacante in Maine pentru a-si reprezenta ce i-a atras pe oameni sa mearga la Major League Baseball games.

'Desi surprinzator, sansele de a umple un stadion sunt mai mari daca ai o echipa buna,' s-a adresat el cu umor multimii in a doua zi a SPSS Directions North American Conference, conferinta anuala a companiei analitice si predictive adresata userilor.

Silver, presedinte al FiveThirtyEight, o companie care colecteaza si analizeaza date de vot si politice, s-a manifestat inca din zorii analizei datelor pentru a prezice cu succes castigatorul a 49 din 50 state in timpul alegerilor prezidentiale din 2008. Intr-una din revistele Time, 'The World's 100 Most Influential People' de anul acesta el a destainuit multimii opt principii de ajutor in predictii mai bune. 'Unele sunt destul de evidente, altele sunt de nivel mai scazut iar altele sunt mai avansate' spune el.

Cele 8 lectii sunt:
•asigurati-va ca doriti sa aflati adevarul
•talentul este totul
•calitatea bate cantitatea
•uitati „lama lui Ockham”(preferinta pentru simplitate), folositi „palnia lui Ockham”
•cazurile extreme sunt inevitabile
•cand aveti dubii vizualizati
•regula 80/20 este supraestimata
•imbratisati starea Tao a datelor.

A refuza ceea ce simtim este cel mai important principiu dintre toate; prima lectie e simpla: asigurati-va ca doriti intr-adevar sa aflati cum stau lucrurile in realitate. Observand ca multe studii comandate de companii care sa sprijine deciziile pe care acestea le-au luat deja, Silver a indemnat participantii sa aiba un nivel sanatos de obiectivitate si sa fie gata pentru ipoteze ce vor fi respinse total dupa o analiza atenta. 'Analiza datelor este o forma de arta dar si stiinta,' zicea el. 'A veni cu un raspuns acceptabil nu este acelasi lucru cu a veni cu un raspuns exact.'

Acestea fiind spuse, cand vine vorba de analiza datelor este nevoie in primul rand de talent pentru job. Silver crede ca exista 3 calitati pe care orice bun analist de date trebuie sa le aiba:
•aptitudine pentru statistica
•viziune
•cunoasterea domeniului.

'Cumva, aceste calitati sunt acum mai importante decat inainte pentru ca exista instrumente ca SPSS, cu care puteti face in cateva secunde lucruri ce altfel ar lua ore, zile sau saptamani intregi, ca atunci cand se faceau manual,' spunea Silver. 'Abilitatea tehnica nu este atat de importanta; trebuie sa fii mai degraba un artist decat un mestesugar.'

Alaturi de aceste atribute umane, calitatea datelor trebuie neaparat sa treaca in fata cantitatii. Silver a explicat audientei ca datele de slaba calitate sunt periculoase pentru ca nu sunt egal distribuite de-a lungul setului. Astfel, rezultatele pe care le generati pot fi afectate drastic.
Daca un analist are o intrebare despre un grafic generat dintr-un anumit set de date, Silver este de parere ca cea mai buna idee este sa ne folosim creierul, care este special proiectat pentru recunoasterea paternurilor inca din vremuri stravechi. 'Omul pesterilor isi proteja familia... imaginand repede daca un fosnet care tocmai i-a trecut pe la ureche e zgomotul vantului prin frunze sau un leu,' spune el. 'Ei erau nevoiti sa faca predictii bune deoarece consecintele unei posibile greseli ar fi fost catastrofale. Mult din valoarea adaugata vine prin abilitatea vizuala pe care o avem.'

Lectia finala sau principiul pe care el l-a impartasit audientei este imbratisarea starii Tao a datelor, adica exact punctul unde analiza ca arta si in egala masura stiinta prinde forma. 'Yin-ul si Yang-ul analizei datelor este un mix de descoperire si decizie, intuitie si informare,' este de parere Silver. 'Ai nevoie de intuitie dar si de a fi obiectiv.'

Silver crede ca a sosit momentul pentru analistii de date, garantand ca ei sunt gata sa accepte invingerea cand e necesar. 'Este momentul cel mai bun sa fii un ganditor dar este si o oportunitate creativa,' spunea el. 'Oamenii creativi si multitalent isi pot vorbi in termeni gresiti. Este nevoie de incredere dar si de dorinta de a fi umili si a admite cand gresim.'