WikiDer > Markov-Kette

EIN Markov-Kette, benannt nach dem RussischMathematikerAndrey Markov, beschreibt a System die eine Reihe von Zuständen durchläuft und schrittweise Übergänge von einem (oder dem gleichen) Zustand in einen anderen zeigt. Die spezifische markov-Eigenschaft bedeutet im Volksmund: "Die Zukunft der Gegenwart hängt nicht von der Vergangenheit ab". Das heißt, wenn sich das System in einem bestimmten Zustand befindet, hängt das zukünftige Verhalten des Systems, also die kommenden Übergänge, nur vom aktuellen Zustand ab und nicht von der Art und Weise, wie dieser Zustand zustande gekommen ist. Die aufeinanderfolgenden Zustände des Systems werden durch eine Folge beschrieben stochastische Variablen${displaystyle pi _{0},pi _{1},pi _{2},ldots }$, in welchem ${displaystyle pi_{n}}$ der erwartete Zustand des Systems ist na ${displaystyle n}$ schreiten. Die Markov-Eigenschaft wird in einer Eigenschaft der Übergangswahrscheinlichkeiten ausgedrückt.

Definition

Eine Markov-Kette eines Systems mit ${displaystyle k}$ mögliche Staaten ${displaystyle E={1,2,ldots,k}}$, beschreibt die mögliche Entwicklung des Systems im Laufe der Zeit in regelmäßigen Abständen ${Anzeigestil 0,1,2,ldots}$, durch eine Serie ${displaystyle (pi _{0},pi _{1},pi _{2},ldots )}$ von stochastische Variablen Über ${Anzeigestil E}$ die berechnet werden mit:

${displaystyle pi _{n}=pi _{n-1}cdot P}$

und ${displaystyle pi_{0}}$ das Ausgangszustand vom System. Es ist ein Vektor mit ${displaystyle k}$ Elemente, nämlich a Wahrscheinlichkeitsverteilung Über ${Anzeigestil E}$. Wenn der Anfangszustand definiert ist, zum Beispiel Zustand 1, ist das erste Element dieses Vektors 1 und die anderen Elemente sind 0. Im Allgemeinen liegen die Elemente des Vektors zwischen 0 und 1 und ihre Summe ist gleich 1.

Das ${displaystyle kimes k}$-Matrix ${Anzeigestil P=(p_{ij})}$ ist die (einstufige)Übergangsmatrix. Die Nummer ${displaystyle p_{ij}}$ ist die Wahrscheinlichkeit, dass das System den Zustand ändert ${Anzeigestil i}$ nach Bedingung ${Anzeigestil j}$. Mit anderen Worten: das ist der bedingte Wahrscheinlichkeit dass das System zu einem bestimmten Zeitpunkt ${displaystyle n}$ ist im Zustand ${Anzeigestil j}$, vorausgesetzt, das System ist zur Zeit ${Anzeigestil n-1}$ in zustand ${Anzeigestil i}$ war lokalisiert. Das Geldt markov-Eigenschaft, was besagt, dass diese Wahrscheinlichkeit nur vom jeweiligen Zustand abhängt ${Anzeigestil n-1}$ und nicht der vorstehenden Staaten:

${displaystyle P(pi_{n}=j|pi_{0}=i_{0},pi_{1}=i_{1},ldots ,pi_{n-1}=i)=P(pi _{n}=j|pi_{n-1}=i)}$

Mit anderen Worten, das System hat keinen "Speicher". Dies wird als Markov-Kette erster Ordnung in diskreter Zeit bezeichnet: Das System kann seinen Zustand nur in regelmäßigen Abständen ändern.

Verallgemeinerungen

Die Definition der Markov-Kette kann auf verschiedene Weise verallgemeinert werden:

• Das System kann unendlich viele diskrete Zustände annehmen oder einen kontinuierlichen Zustandsraum haben, wie im braunes Uhrwerk. Ist der Zustandsraum stetig, sprechen wir von a Markov-Prozess und nicht von einer Markov-Kette; aber die Begriffe werden oft synonym verwendet.
• Die einstufigen Übergangswahrscheinlichkeiten können von der Zeit abhängen ${displaystyle n}$. Wenn sich die Übergangswahrscheinlichkeiten zeitlich nicht ändern, wird dies als Markov-Kette bezeichnet homogen;
• Man kann eine Markov-Orderkette erstellen chain ${displaystyle m}$ deren einstufige Übergangswahrscheinlichkeiten nicht nur vom vorherigen Zustand abhängen, sondern auch von ${displaystyle m}$ frühere Staaten (${displaystyle m>1}$):

${displaystyle P(pi_{n}=i_{n}|pi_{n-1}=i_{n-1},pi_{n-2}=i_{n-2},ldots ,pi _{ 0}=i_{0})=P(pi_{n}=i_{n}|pi_{n-1}=i_{n-1},ldots pi_{nm}=i_{nm})}$

• Anstelle eines Systems, das sich nur zu regelmäßigen, diskreten Zeiten ändert, kann man auch ein System in kontinuierlicher Zeit betrachten, das seinen Zustand zu unregelmäßigen Zeiten ändert.

Beispiele

Beispiel 1

EIN Maus bewegt sich durch a Haus mit den Räumen 1, ..., 5 im Obergeschoss und den Räumen 6, 7 und 8 im Erdgeschoss Er kann sich frei durch die Räume im Obergeschoss bewegen, durfte aber durch das Loch im Boden das Schlafzimmer 5 betreten fallen, dann gibt es kein Zurück mehr und er muss unten bleiben. In dem Küche (8) steht a fallen, wo die Maus, sollte sie sich in die Küche wagen, auf jeden Fall landen wird. Die Maus wandert auf der Suche nach Nahrung umher und kann sich wirklich nicht erinnern, ob sie schon einmal in einem Raum war. Er entscheidet sich daher, mit gleichen Chancen in einen der angrenzenden Räume zu gehen.

Das System lässt sich schön mit einem gewichteten, gezielten Anzahl:

Ein typischer Verlauf kann sein, dass sich die Maus zunächst in Raum 5 befindet. Von dort aus kann er mit 1/4 für jede Wahrscheinlichkeit in einen der Räume 2, 3, 4 und 7 gehen. Das Leben der Maus, das wir eine Realisierung des Prozesses nennen, kann schematisch so aussehen: 5 4 1 4 1 2 5 7 6 7 8(bam!). Mit mehr Glück könnte es heißen: 5 4 1 2 5 4 1 2 3 2 1 4 1 4 1 4 1 4 1 2 3 5 7 6 7 6 7 6 7 8, eine deutlich längere Lebensdauer.

Für das obige Diagramm ist dies der Übergang oder die Übergangsmatrix:

${displaymath P = {Egin {bmatrix} 0 & 1/2 & 0 & 1/2 & 0 0 0 0/1/3 & 0 & 1/3 & 0 & 1/3 & 0 0 0/0 & 1/2 & 0 0 1/2 & 0 0 0/1/2 & 0 0 0 1/2 & 0 0 0 0 0 1/40 & 01/0 1/0/0 0 0 0 0 0 0 0 1/4 & 01 & 0 0/0/0 0 0 0 0 0 0; / 2/0&0&0&0&0&0&0&1Ende{bmatrix}}}$

Wie oben erwähnt in ${Anzeigestil P}$ die Zahl in einer Reihe ${Anzeigestil i}$ und Spalte ${Anzeigestil j}$ das Wahrscheinlichkeit dass das Staatssystem ${Anzeigestil i}$ nach Bedingung ${Anzeigestil j}$ Ringe; Hier ist also die Wahrscheinlichkeit, dass sich die Maus im Raum befindet ${Anzeigestil i}$ zum Raum ${Anzeigestil j}$ geht. Dies sind die Zahlen bei den Pfeilen in der obigen Grafik. ${Anzeigestil P}$ ist ein stochastische Matrix; jede Zeile der Matrix besteht aus Zahlen zwischen 0 und 1 und die Summe jeder Zeile ist gleich 1.

Anhand dieser Matrix kann man die Wahrscheinlichkeit berechnen, dass die Maus aus Raum 5 genau dem Weg folgt 5 4 1 4 1 2 5 7 6 7 8; es ist die Kombination der Übergangswahrscheinlichkeiten 5-4, 4-1, 1-4, 4-1 usw. Wegen der Markov-Eigenschaft ist diese Kombination einfach das Produkt dieser Übergangswahrscheinlichkeiten:

${displaystyle P('54141257678')=P_{54}P_{41}P_{14}P_{41}P_{12}P_{25}P_{57}P_{76}P_{67}P_{78}= }$

${displaystyle ={ frac {1}{4}} imes { frac {1}{2}} imes { frac {1}{2}} imes { frac {1}{2}} imes { frac {1}{2 }} imes { frac {1}{3}} imes { frac {1}{4}} imes { frac {1}{2}} imes 1 imes { frac {1}{2}}=3{,}225 imes 10^{-4}}$

Der erwartete Zustand des Systems zum Zeitpunkt ${displaystyle n}$ wird beschrieben durch a Zeilenvektor${displaystyle pi_{n}}$. Die Anzahl der Elemente dieses Vektors ist gleich der Anzahl der möglichen Zustände des Systems (in diesem Beispiel die Anzahl der Räume im Haus) und der ${Anzeigestil i}$-das Element im Vektor ist die Wahrscheinlichkeit, dass sich das System im Zustand befindet ${Anzeigestil i}$ ist zur zeit ${displaystyle n}$; also die Wahrscheinlichkeit, dass die Maus im Raum ist ${Anzeigestil i}$ ist na ${displaystyle n}$ mal.

Angenommen, die Maus befindet sich zum Zeitpunkt 0 in Raum 5, dann ist die Anfangsverteilung

${displaystyle pi _{0}={ egin{bmatrix}0&0&0&0&1&0&0&0end{bmatrix}}}$

Von Raum 5 kann die Maus zu Raum 2, 3, 4 oder 7 gehen; die Wahrscheinlichkeit für jeden Übergang ist gleich 1/4. Dies bedeutet, dass wir zum Zeitpunkt 1 die Maus mit einer Wahrscheinlichkeit von 1/4 in den Kammern 2, 3, 4 und 7 und mit Wahrscheinlichkeit 0 in den anderen Kammern finden können. So

${displaystyle pi _{1}={ egin{bmatrix}0&1/4&1/4&1/4&0&0&1/4&0end{bmatrix}}}$

Diese Verteilung erhalten wir durch Matrixprodukt um den Zeilenvektor zu machen ${displaystyle pi_{0}}$ mit der stochastischen Matrix ${Anzeigestil P}$.

Auf die gleiche Weise finden wir die Wahrscheinlichkeitsverteilung zum Zeitpunkt 2

${displaystyle pi _{2}=pi _{1}cdot P={ egin{bmatrix}5/24&1/8&1/12&0&1/3&1/8&0&1/8end{bmatrix}}}$

Im Allgemeinen,

${displaystyle pi _{n}=pi _{n-1}cdot P=pi _{0}cdot P^{n}}$

Nach hundert Schritten hat sich der Zustandsvektor zu entwickelt

${displaystyle pi _{100}={ egin{bmatrix}0.00018&0.00026&0.00016&0.00017&0.00027&0.00009&0.00017&0.99871end{bmatrix}}}$.

Wir sehen, je weiter wir in der Zeit schauen, desto wahrscheinlicher wird es, dass die Maus in Raum 8 landet, aus dem es keinen Ausweg mehr gibt (dies folgt aus der 1 im Hauptdiagonale der stochastischen Matrix ${Anzeigestil P}$). Der Zustandsvektor ${displaystyle pi_{n}}$ ist in der grenze, zum steigen ${displaystyle n}$, invariant (es gibt

${displaystyle pi cdot P=pi }$) und gleich ${displaystyle pi ={ egin{bmatrix}0&0&0&0&0&0&0&1end{bmatrix}}}$,

was wir so ausdrücken können: es ist sicher, dass die maus je landet in Raum 8. Diese asymptotische Verteilung ist unabhängig des Ausgangszustandes ${displaystyle pi_{0}}$: Wo immer die Maus am Start war, wird sie eines Tages in Zustand/Raum 8 landen und dort bleiben. Die Zustände/Räume 1 bis 7 haben eine Grenzwahrscheinlichkeit gleich 0, dh sie werden nach einer ausreichend langen Zeit nie wieder belegt. Solche Bedingungen heißen Übergangszustände (Übergangszustände); ein Zustand wie Zustand 8 im Beispiel ist a absorbierender Zustand (absorbierender Zustand oder Einfangzustand).

Eine Markov-Kette mit der Eigenschaft, dass die Wahrscheinlichkeitsverteilung im Limes unabhängig vom Ausgangszustand ist, heißt Komplett ergodisch.

Nehmen wir nun an, in einem anderen Haus gibt es zwei Mausefallen, zum Beispiel in den Räumen 4 und 8. Die Übergangsmatrix sieht dann anders aus als oben und hat auf der Hauptdiagonale in den Reihen 4 und 8 zweimal eine 1. In diesem Fall ist die Die Markov-Kette ist nicht mehr vollständig ergodisch. Teilweise wird die Maus in Raum 4 und teilweise in Raum 8 in die Falle tappen. Die Grenzverteilung ist somit nicht mehr unabhängig vom Ausgangszustand.

Der Grenzvektor ${Anzeigestil pi}$ ist ein Eigenvektor der Übergangsmatrix, entsprechend der Selbstachtung 1. Die Satz von Perron-Frobenius sagt, dass jede stochastische Matrix mindestens einen solchen Vektor hat (es kann mehrere geben, wie im Fall einer Markov-Kette mit mehreren absorbierenden Zuständen) und dass 1 der größte Eigenwert der Matrix ist. Voraussetzung ist, dass die Matrix bzw. die entsprechende Markov-Kette, irreduzibel ist. Dazu muss jeder Zustand des Systems von jedem anderen Zustand aus erreichbar sein (keine Teile des Graphen dürfen von anderen Teilen isoliert sein).

Beispiel 2

Einfache Markov-Kette mit zwei Zuständen

Der Graph rechts stellt eine Markov-Kette mit zwei Zuständen A und E dar. Wenn sich das System zu einem Zeitpunkt im Zustand A befindet, beträgt die Wahrscheinlichkeit, dass es sich beim nächsten Mal immer noch im Zustand A befindet, 0, 6; die Wahrscheinlichkeit, dass es in den Zustand E geht, beträgt 0,4. Befindet sich das System im Zustand E, ist die Wahrscheinlichkeit des Übergangs in den Zustand A größer: 0,7. Die stochastische Matrix für dieses System mit den Zuständen A,E lautet:

${displaystyle P={ egin{bmatrix}6/10&4/10/7/10&3/10end{bmatrix}}}$

Angenommen, das System startet vom Zustand A; dann ist ${displaystyle pi _{0}={ egin{bmatrix}1&0end{bmatrix}}}$. In den folgenden Schritten finden wir für den Zustandsvektor:

• ${displaystyle pi _{1}=pi _{0}cdot P={ egin{bmatrix}6/10&4/10end{bmatrix}}}$
• ${displaystyle pi _{2}=pi _{1}cdot P={ egin{bmatrix}64/100&36/100end{bmatrix}}}$
• ${displaystyle pi _{3}=pi _{2}cdot P={ egin{bmatrix}636/1000&364/1000end{bmatrix}}}$
• ${displaystyle pi _{4}=pi _{3}cdot P={ egin{bmatrix}6364/10000&3636/10000end{bmatrix}}}$, usw.

Wenn das System vom Zustand E aus startet, ist ${displaystyle pi _{0}={ egin{bmatrix}0&1end{bmatrix}}}$. Nun finden wir in den folgenden Schritten:

• ${displaystyle pi _{1}=pi _{0}cdot P={ egin{bmatrix}7/10&3/10end{bmatrix}}}$
• ${displaystyle pi _{2}=pi _{1}cdot P={ egin{bmatrix}63/100&37/100end{bmatrix}}}$
• ${displaystyle pi _{3}=pi _{2}cdot P={ egin{bmatrix}637/1000&363/1000end{bmatrix}}}$
• ${displaystyle pi _{4}=pi _{3}cdot P={ egin{bmatrix}6363/10000&3637/10000end{bmatrix}}}$, usw.

Offenbar in Entwicklung ${displaystyle pi_{n}}$, zum Aufstehen ${displaystyle n}$, hier auch auf einen konstanten Vektor, der unabhängig vom Anfangszustand des Systems ist. Was ist das für ein Vektor, ${Anzeigestil pi}$? Um es zu finden, müssen wir die Gleichung aufstellen ${displaystyle pi = pi cdot P}$ lösen. Zusammen mit der Forderung, dass die Summe der Elemente von ${Anzeigestil pi}$ gleich 1 bildet es ein lineares Gleichungssystem. Paar

${displaystyle pi ={ egin{bmatrix}pi _{A}&pi _{E}end{bmatrix}}}$,

dann ist das ein System von drei Gleichungen in zwei Unbekannten:

• ${displaystyle 0{,}6cdot pi _{A} 0{,}7cdot pi _{E}=pi _{A}}$
• ${displaystyle 0{,}4cdot pi _{A} 0{,}3cdot pi _{E}=pi _{E}}$
• ${displaystyle pi _{A} pi _{E}=1}$

(Eine der drei Gleichungen ist linear abhängig der anderen beiden). Zum Beispiel von ${displaystyle pi_{E}}$ ersetzt werden durch ${displaystyle 1-pi _{A}}$ in der ersten Gleichung finden wir, dass ${displaystyle pi_{A}=7/11}$ und so ist

${displaystyle pi_{E}=4/11}$ und ${displaystyle pi ={ egin{bmatrix}7/11&4/11end{bmatrix}}}$

Langfristig ist die Wahrscheinlichkeit am größten (nämlich 7/11), dass wir das System im Zustand A vorfinden. Wir haben es also auch hier mit einem vollständigen ergodischen Prozess zu tun, allerdings ohne Übergangszustände. Die Zustände A und E sind wiederkehrend Zustände, die sicherlich unendlich oft vorkommen werden, wenn ${displaystyle n}$ geht ins Unendliche. Eine solche Markov-Kette, in der jeder Zustand rekurrent ist, wird als rekurrente Kette bezeichnet.

Hier können wir auch die Wahrscheinlichkeit berechnen, dass sich das System in einem Zustand befindet ${Anzeigestil i}$ lokalisiert und genau ${displaystyle n}$ Zeiten bleibt im gleichen Zustand; so ist die reihenfolge ${Anzeigestil {i,i,ldots,i,j}}$ durchgeht, in dem es ${Anzeigestil n-1}$ mal ein "Übergang" von ${Anzeigestil i}$ zu ${Anzeigestil i}$ auftritt, gefolgt von einem Übergang von ${Anzeigestil i}$ zu ${Anzeigestil j}$, in welchem ${Anzeigestil j}$ unterscheidet sich von ${Anzeigestil i}$. Diese Wahrscheinlichkeit ist:

${displaystyle p_{i}(n)=(P_{ii})^{n-1}cdot (1-P_{ii})}$

Die Wahrscheinlichkeit, dass sich das System im Zustand A befindet und dort fünf Mal hintereinander verweilt und dann in den Zustand E übergeht, beträgt also 0,6⁴.(1−0,6) = 0,05184.

Die erwartete Anzahl aufeinanderfolgender gleicher Zustände, d. h. die erwartete Verweildauer des Systems im gleichen Zustand, ist dann gleich:

${displaystyle sum _{n=1}^{infty}ncdot p_{i}(n)=sum _{n=1}^{infty}ncdot (P_{ii})^{n-1}cdot (1- P_{ii})={frac {1}{1-P_{ii}}}}$

In diesem Fall gilt für Zustand A : 1/(1−0.6) = 2.5 und für Zustand E: 1/(1−0.3) = 1.4286. Über einen (unendlich) langen Zeitraum erwarten wir, dass das System für durchschnittlich 2,5 Zeiträume im Zustand A und für 1,4286 Zeiträume im Zustand E bleibt.

Beispiel 3: Zufällige Bewegung

Ein binärer Baum

EIN zufällige Bewegung ("Random Walk") in einem Netzwerk oder Gitter ist eine typische Markov-Kette. Angenommen, das Netzwerk hat a Binärbaum ist wie nebenstehend gezeigt, bei dem ein Floh kontinuierlich von einem Knoten zu jedem benachbarten Knoten springt; sowohl nach oben als auch nach unten (wir berücksichtigen nicht die Richtung der Pfeile). Die Übergangsmatrix für dieses System mit neun möglichen Zuständen lautet:

${Displaystyle P = {Egin {bmatrix} 0 & halb & halb & 0 & 0 & 0 & 0 & 0 & 0/1/3 & 0 & 0 & 1/3 & 1/3 & 0 & 0 & 0 & 0 /1/2 & 0 & 0 & 0 & 0 & 1/2 & 0 & 0 & 0/0 & 1 & 0 & 0 & 0 & 0 & 0 & 0 & 0/0 & 1/3 & 0 & 0 & 0 & 0 & 1/3 & 1/3 und 0/0 & 0 & 1/2 & 0 & 0 & 0 & 0 & 0 & 1/2/0 & 0 & 0 & 0 & 1 & 0 & 0 & 0 & 0/0 & 0 & 0 & 0 & 1 & 0 & 0 & 0 & 0/0 & 0 & 0 & 0 & 0 & 1 & 0 & 0 & 0end {bmatrix}}}$

Der Grenzvektor ${Anzeigestil pi}$ dieses System ist leicht zu berechnen; es ist

${displaystyle pi ={ egin{bmatrix}1/8&3/16&1/8&1/16&3/16&1/8&1/16&1/16&1/16end{bmatrix}}}$

Diese Werte sind proportional zur Anzahl der Verbindungen zu und von den Knoten im Baum.

Nehmen wir aber den Wahrscheinlichkeitsvektor ${displaystyle pi_{n}}$ (${Displaystil n=1,2,ldots}$) für den Fall, dass der Floh von Knoten 1 aus startet, stellen wir fest, dass er mit der Zeit nicht auf diesen Wert ansteigt, sondern zwischen den beiden Werten oszilliert:

${displaystyle { egin{bmatrix}1/4&0&0&1/8&3/8&1/4&0&0&0end{bmatrix}}}$ in den gleichmäßigen Schritten, und

${displaystyle { egin{bmatrix}0&3/8&1/4&0&0&0&1/8&1/8&1/8end{bmatrix}}}$ in den ungeraden Schritten.

Wenn der Floh von Knoten 2 oder 3 abweicht, wird die Reihenfolge dieser beiden Vektoren umgekehrt. Dies liegt natürlich daran, dass der Floh jederzeit die Ebenen im Baum wechselt. Wenn er zum Zeitpunkt 0 auf einem "gerade"-Niveau beginnt, wird er auch zu jedem nachfolgenden geraden Zeitpunkt auf einem geraden Pegel sein, und die Wahrscheinlichkeit, sich auf einem Knoten mit ungerader Ebene zu befinden, ist notwendigerweise Null. Der oben berechnete Grenzvektor kann als die Wahrscheinlichkeit angesehen werden, dass sich der Floh an einem bestimmten Knoten auf a . befindet zufällige Zeit in der Zukunft.

Lassen wir den Floh an einigen Stellen „ausruhen“, fällt diese Schwingung weg und der Zustandsvektor entwickelt sich auf einen festen Grenzwert. Nach vielen Sprüngen kann der Floh dann auf jedem Knoten des Baumes sitzen. In diesem Fall unterscheiden sich einige Werte auf der Hauptdiagonale der Übergangsmatrix von Null.

Anwendungen

Markov-Ketten und Markov-Prozesse werden in vielen Bereichen verwendet, um (Computer-)Modelle von Systemen zu simulieren und zu analysieren, deren Zustand ganz oder teilweise vom Zufall abhängt. Je nach Problemstellung wird das Einschwingverhalten der Kette oder der Grenzzustand untersucht.

• In dem Chemie kann das klassische modell des Kinetik von Enzym-katalysierte Reaktionen, beschrieben durch die Michaelis-Menten-Gleichung, kann als Markov-Kette dargestellt werden. Auch das Wachstum und die Zusammensetzung von Copolymerketten kann mit Markov-Ketten analysiert werden.
• In dem Warteschlangentheorie man kann Markov-Ketten verwenden, um Warteschlangenprobleme zu analysieren und Telekommunikationsnetze zu optimieren.
• Markov-Ketten sind in der Wirtschafts- und Finanzwelt bei der Modellierung aller Arten von Phänomenen üblich, wie in Leontiefs Input-Output-Analyse. Der wirtschaftliche Aspekt wird beispielsweise angesprochen, wenn eine Umstellung des Systems mit einem bestimmten Ertrag (positiv oder negativ, Gewinn oder Verlust) verbunden ist. Man kann dann bestimmen, wie hoch der erwartete Ertrag im nächsten ist ${displaystyle n}$ Stufen, abhängig vom aktuellen Zustand der Anlage (Einschwingverhalten) oder dem langfristig zu erwartenden Ertrag pro Stufe.
• Das Statistik kombiniert Markov-Ketten mit Monte-Carlo-Simulationen im sogenannten MCMC-Verfahren (Markov Chain Monte Carlo). Dabei wird abgetastet, wie viele Schritte erforderlich sind, um eine vorbestimmte, stationäre Verteilung einer Markov-Kette innerhalb einer bestimmten Fehlerspanne zu erreichen oder sich ihr anzunähern. Die Methode wird unter anderem verwendet, um mehrdimensionale Integrale numerisch zu berechnen.
• Im Qualitätsmanagement zur Bestimmung der Verlässlichkeit und Verfügbarkeit von Systemen, zum Beispiel von Prozesssteuerung- oder Kontrollsysteme.
• Viele Spiele, bei denen der Zufall eine Rolle spielt, können als Markov-Kette modelliert werden.
• In der Musik können Markov-Ketten als Grundlage für stochastische Musik dienen, wie in Iannis Xenakis.
• Zur Berechnung der Wolkenbildungswahrscheinlichkeit werden Markovketten verwendet, siehe Doktorarbeit von Jesse Dorrestijn vom Centrum Wiskunde & Informatica (CWI).

Siehe auch

• Hidden-Markov-Modell
• Bedingte Wahrscheinlichkeit