On abordera dans ce cours des notions fondamentales de probabilités, de statistiques et de théorie de l'information qui seront utiles pour la suite de la licence ainsi qu'en master d'informatique.
Du point de vue des probabilités, le cours est construit autour de la notion de variable aléatoire. On introduira les variables aléatoires discrètes et continues, les notions d'espérance et de variance, ainsi que quelques loi de probabilités fondamentales que peuvent suivre ces variables, en particulier les lois uniformes, binomiales et normales. On s'intéressera ensuite à la variation simultanée de deux variables aléatoires en on introduira la notion de loi conjointe, de loi marginale, et de loi conditionnelle ainsi que la notion de d'indépendance de deux variables aléatoires. On finira par présenter les règles permettant de calculer certaines probabilités à partir d'autres probabilités, on verra en particulier la règle de multiplication, la règle des probabilités totales ainsi que la formule de Bayes.
Du point de vue des statistiques, on s'intéressera à la description des données numériques unidimensionnelles et bi-dimensionnelles et des indicateurs permettant de les décrire ainsi qu'à l'échantillonnage et aux tests statistiques.
Du point de vue de la théorie de l'information, on introduira les notions fondamentales de la théorie de l'information, en particulier la notion d'entropie d'une variable aléatoire, ainsi que l'information mutuelle entre deux variables aléatoires, l'entropie croisée et la divergence de Kullback Liebler. On verra aussi le premier théorème de Shannon et le lien avec la compression de données.
Ces notions seront mises en pratique à travers trois TP qui seront réalisés en Python. Le premier portera sur la génération de données à partir de loi de probabilités, le second sur l'estimation de paramètres à partir de données et le troisième sur la compression de données.
