03 - Apprendre les langues aux machines : Modèles de langue
Épisode de Informatique et sciences numériques (2023-2024) - Benoît Sagot par Collège de France · 22 décembre 2023 · 60 min
Collège de France
Benoît Sagot
Informatique et sciences numériques (2023-2024)
Année 2023-2024
03 - Apprendre les langues aux machines : Modèles de langue
Résumé
Les modèles de langue, une direction de recherche indépendante de la représentation vectorielle pendant l'ère préneuronale. Leur évolution récente et leur rencontre, jusqu'aux modèles de langue contextuels neuronaux. Les architectures récurrentes (y compris les LSTM) et l'architecture Transformer. Les modèles de langues neuronaux : modèles par masquage (ELMo, BERT et ses dérivés), modèles génératifs (GPT, BLOOM, LLAMA), modèles encodeur-décodeur (BART, T5). L'affinage (fine-tuning). L'évaluation des modèles de langue : les grands benchmarks tels que GLUE/SuperGLUE et leurs limites.
Autres épisodes de « Informatique et sciences numériques (2023-2024) - Benoît Sagot »
- Séminaire : L'IA axée sur les objectifs : vers des machines capables d'apprendre, de raisonner et de planifier 9 février 2024
- 08 - Apprendre les langues aux machines : Multimodalités : TAL et images, TAL et parole 9 février 2024
- Séminaire : Prédire c'est comprendre : un modèle neuro-cognitif du langage fondé sur la prédiction 2 février 2024
- 07 - Apprendre les langues aux machines : Converser avec la machine 2 février 2024
- Séminaire : Analyse automatique de l'argumentation dans les débats politiques 26 janvier 2024
- 06 - Apprendre les langues aux machines : Linguistique computationnelle 26 janvier 2024
- Séminaire : Génération de texte à partir de connaissances 19 janvier 2024
- 05 - Apprendre les langues aux machines : Approches neuronales pour quelques tâches applicatives 19 janvier 2024
- Séminaire : Traduction neuronale massivement multilingue 12 janvier 2024
- 04 - Apprendre les langues aux machines : Traduction automatique 12 janvier 2024
- Séminaire : Apprendre un modèle de langue à partir de l'audio 28 décembre 2023
- Séminaire : Deux exemples d'usage des transducteurs en linguistique 15 décembre 2023
- 02 - Apprendre les langues aux machines : Approches symboliques et probabilistes 15 décembre 2023
- Séminaire : Quelques exemples d'application du TAL aux humanités numériques 8 décembre 2023
- 01 - Apprendre les langues aux machines : Représenter les unités textuelles 8 décembre 2023
À propos du podcast
Benoît Sagot, polytechnicien, devient docteur en informatique de l'Université Paris–Diderot en 2006. Il intègre alors l'Inria comme chercheur spécialisé en traitement automatique des langues (TAL), dans ce qui est aujourd'hui le centre Inria de Paris. Il y dirige l'équipe ALPAGE de 2014 à 2016,…
Informatique et sciences numériques (2023-2024) - Benoît Sagot
Épisodes similaires
- 2026-04 V2 PINS.mp4 – Lille.Pod
- BONUS _ 7 CHOSES A SAVOIR SUR L'ARGENT POUR (ENFIN) DEVENIR RICHE – FINI LES DETTES !
- Episode #16 Jordan Marion - L'école d'astrologie – Pour l’Amour du Ciel
- E116 - Why You Understand French but Can't Speak It – Intermediate French Podcast - Ta vie en français
- La guillotine : un progrès social ? # Révolution française 🇫🇷 DELF A2 / B1 - French intermediate level - Compréhension orale – Escargot - News & Culture in Simple French
- André Malraux – La base
Tous les épisodes de Informatique et sciences numériques (2023-2024) - Benoît Sagot · Plus de podcasts Éducation