Informatique et sciences numériques (2023-2024) - Benoît Sagot Collège de France

Collège de France
Benoît Sagot
Informatique et sciences numériques (2023-2024)
Année 2023-2024

Séminaire : L'IA axée sur les objectifs : vers des machines capables d'apprendre, de raisonner et de planifier

Intervenant : Yann LeCun, Professeur invité, Collège de France, Chief AI Scientist, Meta, Professor, NYU

Résumé

Comment les machines pourraient-elles apprendre aussi efficacement que les humains et les animaux ? Comment les machines pourraient-elles apprendre le fonctionnement du monde et acquérir le sens commun ? Comment les machines pourraient-elles apprendre à raisonner et à planifier ?

Les architectures d'IA actuelles, telles que les modèles de langage auto-régressifs à grande échelle, sont insuffisantes. Je proposerai une architecture cognitive modulaire qui pourrait constituer un chemin vers la réponse à ces questions. La pièce maîtresse de l'architecture est un modèle prédictif du monde qui permet au système de prédire les conséquences de ses actions et de planifier une séquence d'actions qui optimisent un ensemble d'objectifs. Les objectifs incluent des garde-fous qui garantissent la contrôlabilité et la sécurité du système. Le modèle du monde utilise une architecture hiérarchique jointe de prédiction d'embeddings (H-JEPA, pour Hierarchical Joint Embedding Predictive Architecture) entraîné par apprentissage auto-supervisé. L'architecture JEPA apprend des représentations abstraites des perceptions qui sont simultanément maximales en termes d'information et de prédictibilité.

Yann LeCun

Yann LeCun is VP & Chief AI Scientist at Meta and Silver Professor at NYU affiliated with the Courant Institute of Mathematical Sciences & the Center for Data Science. He was the founding Director of FAIR and of the NYU Center for Data Science. He received an Engineering Diploma from ESIEE (Paris) and a PhD from Sorbonne Université. After a postdoc in Toronto he joined AT&T Bell Labs in 1988, and AT&T Labs in 1996 as Head of Image Processing Research. He joined NYU as a professor in 2003 and Meta/Facebook in 2013. His interests include AI, machine learning, computer perception, robotics, and computational neuroscience. He is the recipient of the 2018 ACM Turing Award (with Geoffrey Hinton and Yoshua Bengio) for "conceptual and engineering breakthroughs that have made deep neural networks a critical component of computing", a member of the National Academy of Sciences, the National Academy of Engineering, the French Académie des Sciences.

Collège de France
Benoît Sagot
Informatique et sciences numériques (2023-2024)
Année 2023-2024

08 - Apprendre les langues aux machines : Multimodalités : TAL et images, TAL et parole

Résumé

Multimodalité : TAL et images, TAL et parole. Améliorer la traduction automatique grâce au contexte, notamment aux images. Le TAL sans l'écrit : réconcilier TAL et traitement de la parole, avec l'exemple de la traduction automatique de la parole.

Collège de France
Benoît Sagot
Informatique et sciences numériques (2023-2024)
Année 2023-2024

Séminaire : Prédire c'est comprendre : un modèle neuro-cognitif du langage fondé sur la prédiction

Intervenant : Philippe Blache, directeur de recherche CNRS

Résumé

La compréhension mutuelle pendant une conversation est un processus extrêmement rapide et efficace : nous pouvons traiter trois mots par seconde, souvent plus. Cette observation n'est cependant pas conforme aux expériences de laboratoire montrant que le traitement d'un seul mot peut prendre jusqu'à une seconde. La rapidité du traitement s'explique par notre capacité à prédire ce que va dire l'interlocuteur, d'une certaine façon à la manière des modèles de langage. Aujourd'hui, il n'existe pas de modèle global permettant d'intégrer à une architecture classique du traitement du langage (de la phonétique à la sémantique en passant par la syntaxe) ce phénomène de facilitation reposant sur la prédiction. Je présenterai les bases d'un tel modèle permettant d'expliquer comment cohabitent des processus superficiels (effets de facilitation) et profonds (en cas de difficulté). Cette architecture repose sur un mécanisme central, la prédiction, que je décrirai en l'abordant à la fois du point de vue computationnel et neurolinguistique. Cette approche repose sur les résultats obtenus dans le cadre de théories récentes en sciences cognitives (« prediction-by-production ») et en neurosciences (« predictive coding ») conduisant à penser que les participants à une conversation utilisent le même mécanisme pour produire et comprendre la parole.

Philippe Blache

Philippe Blache is Senior Researcher at the CNRS. His works focus on the cognitive and cerebral basis of language processing taken in its natural context. He develops in this perspective an interdisciplinary approach bringing together computational modeling, formal linguistics and neuroscience. Philippe Blache created and has been the director of two research institutes (ILCB and BLRI). He was previously the head of 2 CNRS labs in France (LPL, 2LC). He is author of more than 200 publications and has been PI of many research projects at the national and international level. He has been actively involved in research management and chaired around 20 international conferences.

Collège de France
Benoît Sagot
Informatique et sciences numériques (2023-2024)
Année 2023-2024

07 - Apprendre les langues aux machines : Converser avec la machine

Résumé

Agents conversationnels, chatbots et « large language models » conversationnels : d'Eliza à ChatGPT et ChatLLAMA. Comment les très grands modèles conversationnels ont-ils été entraînés ? Quelles limites, quels enjeux éthiques, quelles utilisations, quel avenir ?

Collège de France
Benoît Sagot
Informatique et sciences numériques (2023-2024)
Année 2023-2024

Séminaire : Analyse automatique de l'argumentation dans les débats politiques

Intervenant : Elena Cabrio, professeur des Universités, université Côte-d'Azur, Inria, CNRS, I3S, France

Résumé

Les débats politiques offrent aux citoyens une occasion unique d'apprécier la position des représentants politiques sur les sujets les plus controversés de l'actualité. Au regard des prises actives de paroles des différents acteurs de la vie politique, ces débats constituent une source d'information qu'il se doit d'être capitalisée afin de mieux appréhender les dynamiques sociétales. Compte tenu de leur qualité argumentative innée, ces échanges constituent un scénario d'application adéquat pour la mise en œuvre de méthodes computationnelles d'extraction d'arguments. La fouille d'arguments est un axe de recherche étudié dans le domaine du traitement du langage naturel et dont l'objectif consiste en l'extraction et l'identification automatique des structures argumentatives d'un texte en langage naturel à l'aide de programmes informatiques. L'analyse des structures argumentaires est une tâche complexe s'attachant à l'étude des composants et des schémas d'argumentation, aux relations entre les arguments ou encore aux stratégies de contre-argumentation. Au cours de cet exposé, je détaillerai les étapes nécessaires quant à l'automatisation de l'analyse du discours politique par le biais de méthodes de fouille d'arguments. En premier lieu, il s'agira de présenter les approches dédiées à l'identification des structures argumentatives et leurs relations. Ensuite, je décrirai les stratégies déployées dans le cadre de l'identification automatique des arguments fallacieux, notamment à travers l'analyse des différentes formes d'argumentation et la détection des manœuvres stratégiques dans le discours argumentatif.

Elena Cabrio

Elena Cabrio est professeur à l'université Côte-d'Azur et membre de l'équipe de recherche Wimmics de l'Inria-I3S. En 2021, elle a obtenu une chaire en Intelligence artificielle à l'Institut interdisciplinaire d'intelligence artificielle 3IA Côte d'Azur sur le thème « IA et langage naturel ». Ses domaines de recherche principaux sont le traitement automatique du langage, en particulier la fouille d'arguments, l'extraction d'informations et la détection de discours haineux. L'objectif de ses recherches est de concevoir des technologies de débat pour des systèmes avancés d'aide à la décision, afin de soutenir l'échange d'informations et d'opinions dans différents domaines (comme la santé et la politique), en tirant parti de l'interdisciplinarité et des avancées en matière d'apprentissage automatique pour le traitement du langage naturel. Elle a publié plus de cent articles scientifiques, notamment dans des revues et des conférences internationales sur l'intelligence artificielle et le traitement du langage naturel. Elle coordonne actuellement le projet ANTIDOTE (ArgumeNtaTIon-Driven explainable artificial intelligence fOr digiTal mEdicine) (CHIST-ERA XAI 2019).

Collège de France
Benoît Sagot
Informatique et sciences numériques (2023-2024)
Année 2023-2024

06 - Apprendre les langues aux machines : Linguistique computationnelle

Résumé

Le TAL au service de la linguistique, avec un bref détour par les applications du TAL au service des humanités et sciences sociales. La linguistique comme domaine d'application du TAL, en trois exemples : morphologie computationnelle et complexité morphologique ; approches informatiques de la linguistique historique et de la phylogénétique linguistique ; scriptométrie quantitative pour l'étude de la naissance de l'orthographe en français.