The Swiss engineering master's degree

Ce module présente les principaux concepts théoriques relatifs au traitement automatique du langage (TAL) écrit et parlé.  Ceux-ci permettent par la suite de concevoir des applications qui, d’une part, trouvent, classent ou extraient des informations à partir de textes écrits ou oraux, et d’autre part, génèrent du texte ou de la parole, par exemple pour résumer des textes ou répondre à des instructions des utilisatrices. Le module récapitule les principes fondamentaux du TAL dans la perspective de la science des données, en mettant l’accent sur les méthodes provenant du deep learning.  Le module s’intéresse aux modèles de langage fondamentaux, qui peuvent être affinés ou instruits pour réaliser de nombreuses tâches, relevant ainsi de l’intelligence artificielle générative. Le module présente également des modèles multitâches pour les textes écrits ou parlés, des modèles multilingues et des systèmes interactifs.  Le module offre des compétences pratiques par le biais d’exercices utilisant des bibliothèques et des modèles open source, en se concentrant sur le prototypage rapide de solutions à des problèmes typiques.

Le module est divisé en quatre parties. La première partie passe en revue les principaux concepts du TAL puis s’intéresse à la représentation des mots, des modèles vectoriels aux plongements (embeddings) non contextuels utilisant les réseaux de neurones, avec application à la recherche de documents et à la similarité de textes. Dans la deuxième partie, les modèles de deep learning pour les séquences de mots sont discutés en détail, précédés d’un examen des modèles statistiques de séquences ; les applications concernent par exemple l’étiquetage morpho-syntaxique et la reconnaissance d’entités nommées. L’approche basée sur les Transformers – encodeurs, décodeurs, ou les deux – est également présentée, y compris leur adaptation et le cas non supervisé. La troisième partie aborde les modèles neuronaux pour l’analyse et la synthèse de la parole, avec des tâches, données et métriques typiques. Enfin, le module montre comment atteindre une interaction naturelle avec les systèmes d’IA générative, via des chatbots oraux ou écrits, y compris par apprentissage par renforcement à partir de feed-back humain, et se termine par une discussion sur les limites et les risques de tels systèmes.

Compétences préalables

• Mathématiques : algèbre linéaire de base, théorie des probabilités (par exemple, théorème de Bayes), statistiques descriptives et tests d’hypothèses.

• Apprentissage automatique et deep learning (p. ex., classifieurs, réseaux de neurones), notions de base de traitement du langage naturel et de recherche d’information (p. ex., prétraitement et manipulation de données textuelles, tokenisation, balisage, TF-IDF, recherche documentaire).

• Programmation pour la science des données : bonne maîtrise de Python, capacité à gérer l’ensemble du pipeline de traitement des données (acquisition et analyse des données, conception et entraînement de modèles ML, évaluation et interprétation des résultats).

Objectifs d'apprentissage

• Les étudiant·es sont capables de formuler un problème dans le domaine de l’analyse et de la génération du langage écrit ou oral, et peuvent relier un nouveau problème à des cas connus et adapter des solutions à leurs besoins.

• Les étudiant·es sont en mesure de spécifier les caractéristiques des données nécessaires à l’entraînement et au test des modèles, ainsi que les mesures d’évaluation appropriées. À partir d’un problème de TAL, les étudiant·es peuvent concevoir des évaluations comparatives afin d’identifier la meilleure solution.

• Les étudiant·es savent comment sélectionner, parmi des modèles statistiques et neuronaux, les plus efficaces pour une tâche de TAL donnée.  De même, entre les bibliothèques et les modèles pré-entraînés, les étudiant·es savent comment sélectionner ceux qui conviennent le mieux à une tâche donnée.

• Les étudiant·es sont conscient·es des capacités des modèles fondamentaux et peuvent les adapter à une tâche spécifique, par le biais de couches supplémentaires, du fine-tuning, ou de la conception de nouveaux prompts.

Catégorie de module

Partie I : Mots [ca. 20%]

1. Rappels des notions de base du TAL : propriétés du langage écrit ou parlé ; tokenisation en sous-mots avec BPE et SentencePiece ; principales étapes de traitement ; tâches, mesures d’évaluation et applications typiques.

2. Classification de textes et analyse des sentiments basées sur l’apprentissage statistique avec une représentation de type sac-de-mots ; mesures d’évaluation pour ces tâches.

3. Les vecteurs de mots et leur utilisation : (a) vecteurs en grande dimension, le modèle VSM et l’application à la recherche de documents ; (b) vecteurs en faible dimension, plongements de mots non contextuels, LSA, word2vec, FastText et applications à la similarité de textes.

Partie II : Séquences de mots [ca. 35 %]

4. Modélisation statistique de séquences de mots pour des traitements au niveau des mots ou des phrases ; application à l’étiquetage morpho-syntaxique, à la reconnaissance d’entités nommées et à l’analyse syntaxique ; méthodes d’évaluation pour ces tâches.

5. Modèles de langage, des n-grammes aux réseaux de neurones ; modèles de séquence utilisant des réseaux de neurones profonds (RNN et Transformers) ; application à la traduction automatique et au résumé de textes ; méthodes d’évaluation pour ces tâches.

6. Modèles fondamentaux : encodeurs, décodeurs et leur combinaison ; tâches d’entraînement ; adaptation à d’autres tâches à l’aide de couches supplémentaires ; fine-tuning de modèles pré-entraînés ; apprentissage basé sur des exemples.

Partie III : Langage parlé [ca. 20%]

7. Représentation et traitement de la parole avec des réseaux de neurones ; modèles statistiques vs. architectures neuronales basées sur les RNN et les Transformers ; l’architecture CTC ; aperçu des boîtes à outils et des modèles pré-entraînés ; notions sur la synthèse vocale.

8. Tâches de traitement automatique de la parole, données et méthodes pour l’évaluation ; détection de thèmes, extraction d’information et traduction vocale ; systèmes multilingues.

Partie IV : Interaction [ca. 25 %]

9. Grands modèles de langage : présentation de leurs capacités émergentes ; instruction tuning et apprentissage par renforcement (RLHF) ; conception de prompts ; limites et risques pour la société.

Méthodes d'enseignement et d'apprentissage

Enseignement magistral, exercices utilisant la programmation.

Bibliographie

Speech and Language Processing, Daniel Jurafsky and James H. Martin, 2e édition, Prentice-Hall, 2008 / 3^e édition en ligne, 2023.

Introduction to Information Retrieval, Christopher Manning, Prabhakar Raghavan and Hinrich Schütze, 2008.

Neural Network Methods for Natural Language Processing, Yoav Goldberg, Morgan & Claypool, 2017.

Le matériel supplémentaire (articles) sera indiqué pour chaque cours.