Regresia liniară

In multe alte domenii se intalnesc deseori situatii care presupun luarea unor decizii, care necesita prognoze sau care pun in evidenta nevoia de a cunoaste modul in care depind unele de altele anumite marimi importante.

Se considera ca intre variabilele Y si X1, X2, Xn exista o interdependenta, in sensul ca Y este influentat de X1, X2, Xn. Metoda regresiei conduce la obtinerea unei expresii analitice a unei functii de regresie care sintetizeaza forma si sensul variatiei lui Y sub influenta factorilor Xi (i=1 n). Variabila Y se numeste variabila dependenta (sau variabila de raspuns), iar variabilele X1, X2, Xn se numesc variabile independente sau variabila predictor.

Regresia liniara simpla este realizata in cazul in care o linie dreapta este folosit pentru a aproxima relatia dintre o singura variabila predictor si o singura variabila de raspuns (dependenta). Daca se considera doua sau mai multe variabile predictor, se obtine un model de regresie multipla.

REGRESIE LINIARA SIMPLA 1.

Daca intre variabilele X si Y exista o legatura de forma liniara, metoda regresiei permite estimarea:

(1)

Relatia (1) este denumita ecuatia estimata a regresiei, unde:

- este valoarea prezisa (estimata) a variabilei dependente;

- este termenul liber al dreptei de regresie, locul pe ordonata unde dreapta de regresie se intersecteaza cu axa y;

- este panta dreptei de regresie;

- se numesc coeficienti de regresie

Linia adevarata de regresie este data de ecuatia:

(2)

Relatia (2) este denumita ecuatia regresiei, unde este termenul de eroare. Sa presupunem ca avem n observatii pentru modelul dat de ecuatia (2):

(3)

pentru Reziduurile sunt estimari ale termenilor de eroare

2

Desigur, cautam sa minimizam suma totala a erorilor de predictie. Regresia in sensul celor mai mici patrate functioneaza prin alegerea liniei de regresie care minimizeaza suma patratelor reziduurilor peste toate punctele de date. Exista metode alternative de alegere a liniei care aproximeaza cel mai bine relatia liniara intre variabile, cum ar fi regresia mediana, dar metoda celor mai mici patrate ramane metoda cea mai comuna.

Linia celor mai mici patrate este aceea linie care minimizeaza