Ce cours est un cours d'introduction aux modèles de langage, qui sont des modèles numériques permettant d'attribuer une probabilité à une séquence de mots et, grâce à de telles probabilités, générer du texte.
On retracera l'historique des modèles de langage, en commençant par les modèles historiques fondés sur des chaînes de Markov avant d'aborder les modèles plus récents, fondés sur l'apprentissage profond. Plusieurs type de modèles seront présentés, fondés sur différents types de modèles profond, en particulier le perceptron multicouche, les réseaux récurrents et les réseaux fondés sur l'attention.
Le étudiants développeront dans le cadre de ce cours des modèles de langages à partir de données qui leur seront fournies et en calculeront les performances en suivant différents protocoles.
