: Tribune Election américaine : faut-il incriminer les sondages ?

Une victoire de Joe Biden bien longue à se dessiner, la résistance de la base électorale pro-Trump sous estimée : pour beaucoup d'observateurs, l'élection présidentielle américaine illustre une nouvelle fois un "ratage" des instituts de sondage. Dans une tribune pour franceinfo, Brice Teinturier, directeur général délégué d'Ipsos en France, et Mathieu Gallard, directeur d'études Ipsos Public Affairs, plaident pour leur profession. Et expliquent en quoi, selon eux, la défiance envers les sondages est un problème.

Le résultat de l’élection américaine pose à nouveau deux questions autour des sondages. Celle de l’usage médiatique qui en est fait et celle, à nouveau, de leur statut et de leur précision. Les sondages sont bien sûr essentiels, mais dans une campane serrée et incertaine comme celle que viennent de connaître les Etats-Unis, nous avions très ouvertement publié un pronostic chiffré des différents scénarios donnant l’élection de Joe Biden comme de loin la plus probable. Au-delà des sondages classiques, c’est par une approche plus intégrée que nous avons quantifié ces scénarios, et nous n’avons été surpris ni du résultat de l’élection ni de l’évolution du rapport de force électoral depuis le début du dépouillement. 2020 a en effet ceci de particulier que dès le 4 novembre, alors même que le décompte des voix n’était pas achevé et que l’on ne pouvait donc pas comparer ce que les enquêtes avaient prévu en les confrontant à la réalité, bon nombre de médias et non des moindres ont entamé une critique majeure des sondages, avec comme axe principal "ils nous avaient annoncé une vague bleue alors que le score est très serré, au point que Trump pourrait l’emporter". Bref, ils nous ont - sous-entendu une fois de plus - trompé !

Cela est problématique pour trois raisons.

1Aucune "vague bleue" n'avait jamais été annoncée

D’abord, disons-le simplement, jamais "les sondeurs" américains n’ont annoncé de vague bleue et encore moins Ipsos. Il faut donc s’interroger sur l’origine d’une telle expression. Elle provient du fait que dans un scrutin complexe donnant lieu à de multiples combinaisons possibles, l’avance mesurée de sept points de Joe Biden au plan national a été traduite et reformulée par certains journalistes et commentateurs comme l’assurance d’une "vague bleue". Le besoin de simplification a ainsi produit une interprétation ultra simplifiée des données, une grille de lecture médiatique très loin des scénarios indiqués par la plupart des sondeurs dont Ipsos. Lorsque les premiers résultats sont tombés, et alors même qu’il était avéré et annoncé que le vote postal, non encore dépouillé dans de nombreux Etats, était beaucoup plus favorable à Biden et que les choses allaient donc se rééquilibrer en faveur du démocrate, la prudence qu’il aurait fallu avoir n’a toujours pas prévalu : les premiers résultats semblaient en décalage avec l’idée de la vague bleu, ce fut donc haro sur les sondages !

Que disions-nous en réalité et comment avons-nous travaillé ? Il est utile de le rappeler. A la veille de l’élection, nos collègues d’Ipsos aux Etats-Unis estimaient que le scénario le plus probable était celui d’une victoire démocrate à la Présidence et à la Chambre des Représentants mais d’un maintien de la majorité républicaine au Sénat (50% de probabilité), sans toutefois écarter la possibilité d’une victoire démocrate plus nette leur permettant de remporter le Sénat (30% de probabilité) ou d’une réélection sur le fil de Donald Trump (20%). Cette incertitude était notamment liée au rapport de force serré que nous mesurions la veille de l’élection dans la plupart des swing states, mais aussi à l’utilisation d’autres indicateurs comme le niveau relativement élevé d’opinions favorables envers l’action de Donald Trump (41%), le modèle établi grâce à notre base de données historiques de résultats électoraux, ou encore des variables sur la perception des qualités et caractéristiques des candidats. En direction des médias français, Ipsos France avait indiqué avant l’élection que Joe Biden se trouvait dans une situation plus favorable que celle d’Hillary Clinton en 2016, et nous rappelions dans un webinar diffusé juste avant le scrutin que selon tous les indicateurs dont nous disposions, nous ne pouvions considérer que l’élection était jouée mais qu’elle était néanmoins clairement orientée en faveur de Joe Biden.

Plus d’une semaine après l’élection, l’avancée du dépouillement permet de constater que la victoire de Joe Biden, si elle n’est pas écrasante, n’en est pas moins très nette. Ayant obtenu à ce stade 78,7 millions des voix (50,9%) contre 73,1 millions (47,3%) à Donald Trump, le candidat démocrate devance son adversaire de près de 6 millions de suffrages au niveau national. Alors que près de 10 millions de bulletins de vote restent encore à dépouiller, notamment dans des comtés urbains d’Etats démocrates, l’analyste Nate Silver estime qu’au terme du processus Joe Biden devrait avoir 7 à 8 millions de voix de plus que le sortant, soit une marge solide d’environ 4,5 points d’avance. Au Collège électoral, le candidat démocrate devrait obtenir 306 Grands électeurs – soit deux de plus que Donald Trump en 2016 – grâce aux basculements de cinq Etats, parmi lesquels les deux bastions républicains historiques que sont l’Arizona et la Géorgie.

Ces résultats encore partiels nous semblent donc cohérents avec les sondages pré-électoraux réalisés par Ipsos :

• Comme nous l’avions mesurée pendant tout la campagne, l’avance de Biden au niveau national est bel et bien très nette ;
• Comme nous le disions la veille du scrutin, de nombreux Swing States se sont joués à peu de choses, la marge d’avance du vainqueur étant inférieure à deux points dans cinq d’entre eux (Arizona, Géorgie, Wisconsin et Pennsylvanie pour Joe Biden, Caroline du Nord pour Donald Trump) ;
• Comme nous l’affirmions, les démocrates étaient mieux positionnés en 2020 qu’en 2016, en témoignent le basculement de cinq Etats de Donald Trump vers Joe Biden, la marge d’avance nationale plus large encore pour Joe Biden que pour Hillary Clinton ou encore, le maintien de la majorité démocrate à la Chambre des Représentants.

Si on est loin de la "catastrophe industrielle" annoncée le lendemain du scrutin par certains journalistes sur la foi de décomptes des voix encore très partiels, il ne s’agit néanmoins pas de dire que les instituts de sondages n’ont commis aucune erreur. Incontestablement, le vote en faveur de Donald Trump a été légèrement sous-estimé : au niveau national, la dernière enquête Ipsos donnait 52% à Joe Biden contre un score final qui sera sans doute légèrement supérieur à 51%, et 45% à Donald Trump alors qu’il se situera vraisemblablement à 47% à la fin du dépouillement. Même situation dans les Swing States où nous menions des enquêtes, avec une sous-estimation du vote en faveur de Donald Trump faible dans les Etats de la Sun Belt du sud des Etats-Unis (Arizona, Géorgie) et plus conséquente dans les Etats de la Rust Belt du nord-est (Wisconsin et Pennsylvanie notamment).

Cet écart, limité mais réel, entre les sondages pré-électoraux et les résultats du scrutin fera comme à chaque fois l’objet d’analyses approfondies et transparentes non seulement par les instituts et associations professionnelles mais aussi par des équipes universitaires. A ce stade, nous ne pouvons qu’émettre des hypothèses sur les raisons de cette sous-estimation du vote en faveur du Président sortant, avant de tester leur réalité et, au besoin, de trouver des moyens d’y remédier. Parmi les principales hypothèses que nous pouvons faire :

• L’existence d’électeurs qui n’oseraient ou ne souhaiteraient pas admettre leur vote en faveur de Donald Trump aux instituts de sondage. Il s’agit de l’hypothèse la plus fréquemment mise en avant par les journalistes, mais elle a été largement invalidée en 2016. Cette année, le fait que les sondages aient aussi légèrement sous-estimé les candidats républicains au Congrès - souvent moins controversés que le Président - tend une nouvelle fois à inciter à la prudence vis-à-vis de cette piste, voire à l’écarter.
• Une sous-estimation de la mobilisation des électeurs républicains. Même si les sondages identifient bien qui sont les potentiels électeurs démocrates et républicains, il est en revanche plus difficile de quantifier finement la proportion des sondés qui iront bel et bien voter par rapport à ceux qui s’abstiendront. Un travail plus poussé sur les questions permettant de distinguer les électeurs des abstentionnistes serait alors possible. Il a déjà été entamé mais doit être poursuivi.
• Un différentiel de participation aux sondages liés à l’épidémie de Covid-19. Plusieurs experts ont noté une hausse légère mais durable des intentions de vote en faveur de Joe Biden à partir du début de l’épidémie. Un mouvement qui reflétait peut-être en fait surtout une plus grande capacité des électeurs démocrates à répondre aux enquêtes alors que, plus souvent actifs en emploi que les électeurs républicains, ils étaient davantage concernés par les mesures de confinement et de télétravail.
• Des difficultés d’échantillonnage, la part des Américains refusant de répondre aux sondages étant caractérisée par une faible confiance sociale, une caractéristique désormais étroitement liée au vote en faveur de Donald Trump. Il conviendrait alors, pour obtenir des échantillons parfaitement représentatifs de l’ensemble de la population, de prendre cette dimension de la confiance dans le calibrage de nos études.

Ces questions et les méthodes pour les surmonter sont bien connues dans la pratique des sondages. A chaque fois c’est l’art d’exécution qui fait la différence, mais la méthode reste solide et essentielle à la prévision électorale.

2Le travail et les méthodes des sondages restent méconnues

Ce nouvel épisode montre par ailleurs bien combien le statut des enquêtes d’opinion et plus largement, tout le travail fait par un institut comme Ipsos dans une campagne électorale - dont les sondages ne sont qu’une des modalités - n’est toujours pas clairement perçus. Nos recherches et nos instruments sont avant des outils d’aide à la compréhension, certes imparfaits mais absolument indispensables. Divers travaux universitaires comme par exemple ceux financés l’Intelligence Advanced Research Projects Activity (IARPA) dans la revue Science soulignent bien leur caractère essentiel dans les prévisions électorales. Ils permettent d’objectiver un certain nombre d’analyses, d’interprétations et de commentaires, de sortir de l’anecdote, d’invalider le cas échéant de fausses affirmations données par des candidats ou leurs supporters à des fins partisanes – certains diraient d’enfumage - et en ce sens, participent bien d’un espace d’information nécessaire et utile en démocratie.

Que saurions nous d’une campagne électorale et de ce qui se joue dans l’opinion sans ces instruments ? Pas grand-chose. Quant à la dimension prédictive, nous la revendiquons mais à condition que l’on prenne en compte tous les éléments apportés : dans des sociétés de plus en plus complexes et aux comportements électoraux toujours plus volatils, l’importance de raisonner en scénarios probabilisés grâce à la combinaison de données diverses et si nécessaire en ayant recours à des modélisations. Il faut aussi maitriser la prise en compte des marges d’erreur inhérentes à l’instrument. Les dates de terrain. La tendance observée sur les derniers jours ou semaines. La précision dans les enquêtes et les instituts cités par les journalistes plutôt que la généralisation autour "des sondages" quand ce n’est pas "les sondeurs", etc. Tout le monde y gagnerait : la société et les observateurs mais également les instituts eux-mêmes qui ne demandent qu’une chose : être jugés sur ce qu’ils ont fait quitte à être légitimement étrillés s’ils ont mal travaillé, non sur ce qu’on dit qu’ils ont fait quand c’est à tort.

3Même quand ils disent vrai, les sondages sont inaudibles

3) Pourquoi les réactions médiatiques que nous avons vécu à l’occasion des élections américaines sont-elles importantes, même si la polémique s’est assez rapidement éteinte au fur et à mesure que l’ensemble des résultats apparaissait ? Parce que nous avons déjà vécu un tel épisode en 2016, à l’issue du referendum sur le Brexit et de l’élection de Donald Trump et que nous en connaissons les conséquences. La façon dont les médias avaient alors décrété que les sondages, "ça ne marche plus", à coup d’interprétations et de formules toutes aussi hâtives que souvent fausses ou simplificatrices ("les sondés mentent aux sondeurs", "il y a un vote caché"), privilégiant systématiquement l’interprétation psychologisante plutôt que le travail sur les échantillons, fait que la campagne présidentielle française de 2017 s’est déroulée dans un climat d’extrême confusion. On se souvient ainsi des affirmations répétées, tant reprises, que François Fillon serait qualifié au second tour en dépit de ce que les enquêtes d’opinion affirmaient ; ou encore, que le second tour opposerait Jean-Luc Mélenchon à Marine Le Pen ; ou enfin, que Marine Le Pen pouvait vraiment l’emporter. Tout cela était faux et les sondages disaient vrai. Mais ils étaient devenus inaudibles. Cela ne veut pas dire que ces outils ne doivent pas être en permanence améliorés, nous l’avons vu. Nous ne sommes par ailleurs jamais à l’abri d’un biais nouveau venant les affecter et non repéré à temps. Et l’assurance enfin qu’ils ont parfaitement marché en 2017 n’est nullement une garantie pour 2022. Mais cela signifie qu’avant de crier haro sur l’instrument, il faut le faire à bon escient et avec mesure. On peut au moins en formuler le vœu.