Concepts de bases : définition d’une chaîne de Markov, reconnaissance des états et transitions entre eux, interprétation des matrices de transition.
Classification des états : identification et classification des états communicants, compréhension des classes de communication, reconnaissance des états absorbants.
Analyse des performances : calcul de la distribution stationnaire, détermination du temps de retour moyen, études des propriétés ergodiques des chaînes de Markov.
Compétences à acquérir
Modéliser des phénomènes réels à l’aide de chaînes de Markov : utilisation dans des contextes en biologie, files d’attentes, économie, traitement du signal, et autres.
Calculer la distribution stationnaire à l’aide de l’algorithme de la puissance
Simuler une chaîne de Markov par méthode de Monte-Carlo
Résoudre un problème en mobilisant les savoirs acquis ; interpréter les résultats obtenus.
Langue(s) d'enseignement
Anglais
Bibliographie
Durrett (1999) Essentials of Stochastics Processes. Sringer Texts in Statistics, Springer-Verlag, New-York.
R. Norris (1997) Markov Chains. Cambridge Series in Statistical and Probabilistic Mathematics, Cambridge University Press.