Ce cours introduit des modèles, algorithmes, ressources et outils pour la résolution de problèmes structurés en traitement automatique des langues (TAL), en particulier à l'aide de méthodes d'apprentissage profond (deep learning). Le cours est composé de 6 blocs thématiques, chacun avec 2h de cours/TD et 2h de TP avec implémentation du modèle étudié en python avec la bibliothèque pytorch.
1. Étiquetage en parties du discours avec réseaux de neurones récurrents (RNN)
- Modèle neuronal de classification de textes
- Réseaux de neurones récurrents, p.ex. GRU
2. Reconnaissance d’entités nommées avec modèles de Markov cachés (HMM)
- HMM : estimation de paramètres et inférence (algorithme de Viterbi)
- Entités nommées et encodage begin-inside-outside
3. Prédiction de traits morphologiques avec modèle sous-lexical et multi-tâches
- Modèles sous-lexicaux (RNN ou convolution 1D sur les caractères)
- Apprentissage joint multi-tâches avec partage de paramètres
4. Modèle BERT: principes et pré-entraînement
- Prédiction de super-senses avec embeddings contextuels
- Apprentissage par transfert : affinage (fine-tuning)
5. Analyse syntaxique en dépendances par transitions
- Représentation d’arbres comme séquences d’actions (oracle)
- Modèle d’analyse par transitions : pile, buffer, configuration, action
6. Analyse syntaxique en dépendances par graphe
- Architecture analyseur bi-affine
- Arbre couvrant maximal (Algorithme Chu-Liu-Edmonds)
