Si les IA réussissent des examens académiques, quels enseignements peut-on en tirer ?

À force de parler d’intelligence artificielle, la confrontation des algorithmes avec nos modes classiques d’évaluation des compétences par le biais d’examens académiques s’est rapidement posée. Au printemps 2023, des chercheurs de l’Institut technologique de l’Illinois (Illinois Tech) et de l’Université du Stanford ont soumis GPT- 4, le modèle d’IA édité par la société OpenAI, les sujets pour l’accès à la profession d’avocat aux Etats-Unis.

Il a réussi près de 76% des questions à choix multiples. Soit 7% de plus que les candidats humains moyens. En ayant été performant tant pour les QCM que pour des réponses rédigées et argumentées.

Toutes les spécialités universitaires sont concernées

Les chercheurs pensaient intuitivement que les domaines scientifiques semblaient être plus favorables à une assimilation des connaissances par des modèles algorithmiques.

Ainsi, fin novembre 2024, des universitaires de l’Ecole Polytechnique Fédérale de Lausanne (EPFL) ont publié une étude portant sur l’emploi de l’IA générative, pour répondre aux examens sur les 50 cours dispensés à l’EPFL, principalement dans les domaines de l’informatique, des mathématiques, de la biologie, de la physique ou de la science des matériaux. Cela concerne des épreuves pour obtenir un Bachelor (Bac+3) et un Master (Bac+4).

Apprendre comme un étudiant

Il a fallu tout d’abord éduquer l’IA avec des cours universitaires, des examens antérieurs et des modèles d’évaluation. En fait, il s’agissait de compiler le même type d’informations qui seraient recherchées par un étudiant qui souhaiterait se préparer sérieusement à l’examen. C’est la phase d’acquisition de connaissances.

Les auteurs de l’étude ont ensuite réfléchi aux moyens les plus efficaces d’interroger l’IA. On parle de "prompts" pour désigner les consignes que l’on rédige, afin d’obtenir les réponses les plus pertinentes.

Les scientifiques ont établi qu’en utilisant les formulations les plus basiques, c’est-à-dire celles qui seraient exprimées par des personnes sans compétences ni connaissances particulières du sujet d’examen, obtiennent 65% de réponses correctes. Le score grimpe à 85% dès lors que les rédacteurs des prompts maîtrisent plus précisément la matière étudiée.

L'occasion de reconsidérer l'enseignement

Ces résultats finalement ne servent pas seulement à démontrer qu’une machine peut réussir un examen. Ce qui est très symbolique quant à l’évolution des technologies, mais n’est guère utile pour nous autres humains.

C’est avant tout l’occasion de s’interroger sur la manière de pratiquer l’enseignement. En veillant à ce que les étudiants, qui pourraient s’appuyer un peu trop sur les outils d’IA génératives pour conduire leurs travaux d’apprentissage, n’acquièrent pas suffisamment de connaissances de base.

De celles qui permettent d’appuyer par la suite des raisonnements plus complexes. Il pourrait y avoir un sentiment immédiat de gain de temps, mais qui viendrait fragiliser par la suite leur aptitude à appréhender des concepts plus élaborés. Avec à la clé, un affaiblissement des compétences initiales. D’autant que les modèles d’IA ne vont faire que s’améliorer, voire se spécialiser. Et donc devenir des assistants de plus en plus experts.

Valoriser la spécificité de l'esprit humain

C’est sans doute – dans un contexte de généralisation des IA – l’occasion d’accentuer ce qui fait la spécificité humaine. C’est-à-dire la capacité à combiner des informations de natures différentes, pour obtenir un résultat à un problème complexe. Dans le domaine de l’enseignement, cela signifie vraisemblablement qu’il faudra revoir les modes d’évaluation des compétences.

Avec des sujets d’examens qui feront appel à des domaines variés, et plus seulement la recension de données issues directement d’un cours théorique. Cela correspond à un travail dans un mode projet, qui exige de faire appel à une diversité de notions et d’expertises.

Cela veut dire que les universités elles-mêmes vont devoir reconsidérer leurs modes d’enseignement. En s’interrogeant sur les matières et les domaines qui doivent impérativement faire partie du cursus initial. Et sur des formats révisés d’évaluation des connaissances acquises, et des modes d’exploitation croisée des différents savoir-faire.

Utilisée à bon escient, la calculatrice est un puissant renfort pour les étudiants, dès lors qu’ils connaissent les principes fondamentaux des mathématiques. On devrait agir de même avec l’IA. Pour que le déploiement de ces technologies ne se fasse pas au détriment des compétences des humains.