De overgangen tussen verschillende situaties , en in een vaste tijdsperiode kunnen worden beschreven met een overgangsgraaf.
Dit is een gerichte graaf met luswegen. Dat komt omdat er behalve van overgang van de éne situatie naar de andere ook sprake
is van in dezelfde situatie blijven. De getallen bij de pijlen zijn overgangskansen die daarom alleen waarden van t/m kunnen aannemen. Het totaal van de overgangskansen vanuit één bepaalde situatie is
altijd .
Bij een overgangsgraaf past een overgangsmatrix .
In de tabel zie je hoe daarbij het
"van ... naar ..."
is geregeld. Die keuze bepaalt hoe je met matrixvermenigvuldiging de verdeling over
de verschillende situaties telkens één periode verder berekent. Dit betekent bovendien
dat de som van de kentallen in elke kolom is.
Als de -matrix de verdeling van de aantallen over de drie situaties voorstelt, dan zijn de aantallen
na één periode , na twee periodes , enzovoorts. (Je moet wel denken om een passende en steeds gelijke volgorde van aantallen
en kansen bij de verschillende situaties.)
Blijf je zo doorrekenen, dan vormen de verdelingen een zogenaamde Markov-keten.
Soms leidt dit doorrekenen tot een evenwichtssituatie, waarin de aantallen voor , en niet meer veranderen.