Procese Stochastice

Lucrare de laborator nr. 1

Tema: Lanturile Markov timp discret

Scopul lucrarii: Studierea metodelor de redare,descriere,analiza a proprietatior Markov timp discret si a caracteristicilor numerice de performanta.

Teorie:

Un proces stochastic Marcovian, omogen definit in spatiu de stari dscrete si in timp discret se numeste Lant Markov timp discret.

Un proces stochastic este proces Markov dacă comportamentul său ulterior poate fi estimat numai pe baza informaţiei din prezent, fără a cunoaşte modul în care sa ajuns la ea. De exemplu, este posibil ca pe piaţa de capital evoluţia preţului acţiunilor să nu fie markoviană dar procesul cumulat să aibă proprietatea Markov.

Intr-un proces Markov, la fiecare moment, sistemul isi poate schimba sau pastra starea, in conformitate cu o anumita distributie de probabilitate. Schimbarile de stare sunt numite tranzitii. Un exemplu simplu de proces Markov este parcurgerea aleatoare a nodurilor unui graf, tranzitiile fiind trecerea de la un nod la unul din succesorii sai, cu probabilitate egala, indiferent de nodurile parcurse pana in acel moment.

Lanţul aleator de tipul Markov este un lanţ de variabile aleatoare care satisfac condiţia lui Markov si anume: probabilitatea ca sistemul discret in momentul (k+1), să se afle în starea discretă (ik+1), condiţionată de faptul ca sistemul s-a găsit la momentele 1,2,…,k+1,k in stările i1,i2,…,ik, depinde doar de ultima stare:

Pr(xk+1=ik+1|xk=ik, xk-1=ik-1,…, x1=i1)=Pr(xk+1=ik+1|xk=ik)

Calcule Folosite:

• Probabilitatea sistemului de aflare în starea Sb: s(k)= i(k),k 0

• Probabilitatea sistemului de aflare în starea Sr: s(k)= i(k)=1- s(k),k 0

• Profitul mediu al sistemului în starea SB: Cs(k)= Ci(k). i(k),k 0

• Profitul mediu al sistemului în starea SR: Cs(k)= Cj(k). j(k),k 0

• Profitul mediu pe DLM: CLM(k)= Cs(k)+Cs(k),k 0

Graf ergodic

Fig 11 Graf ergodic

Graf neergordic

Fig.12 Graf neergodic

Graficele dependentilor pentru tabelele nr.1 si nr. 2

Fig. 1 Graficul Probabilitatilor pentru starile bune in dependenta de momentul k

Fig.2 Graficul Probabilitatilor pentru starile rele in dependenta de momentul k

Fig.3 Graficul costurilor mediu pentru starile bune in dependenta de momentul k

Fig.4 Graficul costurilor mediu pentru starile rele in dependenta de momentul k

Universitatea Tehnică a Moldovei

Catedra Calculatoare