Le cadre pour ce cours est celui des espaces d’états fini. Le cas des espaces d’états dénombrables ne sera pas abordé. Les chaînes de Markov seront homogènes.
-
Définitions et premières propriétés.
-
Propriété de Markov, définition d’une chaîne de Markov.
-
Chaînes de Markov homogènes, matrice de transition.
-
Calcul de la loi de la chaîne à un instant fixé.
-
Diagramme associé à une chaîne de Markov.
-
Classification des états.
-
Relation de communication entre les états : c’est une relation d’équivalence.
-
Notion d’état apériodique. Critères simples pour l’apériodicité. Admis : l’apériodicité est une propriété de classe.
-
États récurrents et transients. Exemples sur des diagrammes.
-
Existence d’un état récurrent.
-
La récurrence et la transience sont des propriétés de classe (avec preuve s’il y a le temps).
-
Notion de chaîne irréductible apériodique.
-
Quelques exemples numériques de trajectoires en temps long pour motiver la suite.
-
Mesures invariantes.
-
Définition d’une mesure de probabilité invariante, par les points de vue probabiliste (expliquer le sens du mot "invariante") et algébrique (vecteur propre à gauche).
-
Calcul explicite sur une chaîne à deux états.
-
Définition d’une mesure réversible. Les mesures réversibles sont invariantes. Exemples de chaînes non réversibles.
-
Théorème de Perron-Frobenius. Preuve dans le cas restreint où tous les coefficients sont strictement positifs.
-
Conséquence sur l’existence et l’unicité d’une probabilité invariante.
-
Comportement en temps long.
-
Définition de la distance en variation totale.
-
Théorème de convergence en variation totale. Démonstration avec Perron-Frobenius.
-
Nombre de visites d’un état par une trajectoire.
-
Théorème ergodique (admis).