Zaman içinde öngörülemeyecek biçimde gelişen süreçlere stokastik süreçler denir. Stokastik süreçler sürekli zaman stokastik süreçler ve kesikli zaman stokastik süreçler olarak ikiye ayrılır. Bu ünitenin temel konusunu oluşturan Markov zinciri bir kesikli zaman stokastik sürecinin özel türüdür.
Markov süreçlerinde ileride ortaya çıkması olası durumların gerçekleşme olasılıkları, geçmiş verilere göre değil, şuandaki verilerden yararlanarak bulunur. Bir sistemde bir durumdan diğer bir duruma geçiş, sistemin sadece bir önceki durumuna bağlıdır. Dolayısıyla, Markov sürecinde bir önceki durum dışında diğer daha önceki durumların bilinmesine gerek yoktur. Birinci derece Markov süreci, gelecekteki olayın olasılığı son olaya bağlı ve daha önceki olaya bağlı olmama varsayımına dayanır. Çalışmamızda ele aldığımız Markov süreci birinci dereceden ve durağan durum özelliklidir. Durağan Markov zincirinde geçiş olasılığı (pij) t zamanında i durumunda verilen sistemin, t+1 zamanında j durumunda olma olasılığıdır.
Vektör Qn = [q1, q2, …, qn] Markov zinciri için başlangıç olasılık dağılımıdır. P(X0=i) qi ile ifade edilir.
Markov zincirinde geçişlerin özelliği ve yapısını iyi anlamak için gerekli olan; yol, ulaşılabilir durum, iletişimli durum, kapalı küme, yutucu durum, geçici durum, yinelenen durum, dönemsel ve dönemsel olmayan durum ve ergodiklik tanımları yapılarak durumlar sınıflandırılmıştır. Kendi dışındaki başka bir duruma geçiş olasılığı olmayan durumlara (yani pii = 1, pij =0 j≠1 ise) yutucu durumlar adı verilir. Yutucu durumlar içeren bir Markov sürecinin yutulma olasılığı birdir. Bir anlamda, belli bir adımdan sonra süreçte muhakkak bir yutucu duruma ulaşılır ve bu andan itibaren yutucu olmayan durumlar arası geçiş olasılığı sıfır olur.
n. adımda geçiş matrisi (Pn), geçiş olasılık matrisi P’nin n’inci kuvveti hesaplanarak bulunur; P(n)=Pn-1.P dir. Bundan da, i durumundan j durumuna n. adımda geçiş olasılığı P ij (n)=Pn matrisin (i, j)’inci elemanı olarak elde edilir.
Bir geçiş olasılıklar matrisinin tüm kuvvetlerinde bulunan tüm elemanların hepsi sıfırdan farklı ve pozitif ise bu geçiş olasılıkları matrisine düzenli (regular) matris denir.
Geçiş olasılıkları matrisi bir kare matris olup matrisin her satırında veya sütununda yer alan elemanların toplamı bire eşittir. Aynı zamanda geçiş olasılıkları veya geçiş matrisinde yer alan her eleman pozitif değerlidir.
Durumların geçiş sayıları sonsuz sayıda arttığında durum başlangıç olasılık dağılım vektörü Qn = [q1, q2, q3, …, qn] durağan veya denge durumuna ulaşır. n sonsuza yaklaştığında denge durum olasılıkları toplamı (q1+q2+q3+…+qn=1) bir olur. Denge durumuna ulaşmak için de Q=Q.P formülünden ve q1+q2+q3+…+qn=1 koşulundan yararlanılır. Söz konusu formül ve eşitlik koşulundan yararlanarak şirketlerin gelecekteki denge pazar paylarının ne olacağı hesaplanabilir.
Bu bilgilerden de anlaşıldığı gibi doğru cevap E’dir. Markov zincirine ilişkin olarak seçeneklerde yer alan ifadelerin tümü doğrudur.