Election présidentielle : dix raisons qui expliquent pourquoi les sondages peuvent se planter

Le oui des Britanniques lors du référendum sur le Brexit, l’élection de Donald Trump aux Etats-Unis, les désignations de François Fillon et de Benoît Hamon lors des primaires en France... Les exemples récents de gros plantages ne manquent pas. Et les méthodes utilisées par les instituts de sondage sont de plus en plus critiquées. Y compris au sein de la profession. franceinfo a recensé dix raisons qui expliquent en quoi les sondages sont à lire avec précaution. 

1Les sondages sont presque tous réalisés avec des panels de volontaires

Les techniques ont évolué depuis les premières études des années 1930. A l’origine, les sondeurs employaient des armées d’enquêteurs qui frappaient aux portes et interrogeaient les gens chez eux. On reconstituait ensuite un échantillon représentatif de la population française. Pour Alain Garrigou, créateur de l’observatoire des sondages, cette méthode était "la meilleure, mais aussi la plus chère". Et puis, à un moment, "beaucoup de portes restaient fermées" et les méthodes ont dû évoluer. "Lors des sondages par téléphone, explique Alain Guarrigou, les gens se sont mis à raccrocher. Le taux de non-répondants a considérablement augmenté, les coûts aussi. Il fallait dix appels pour faire une interview ! Alors arrive Internet, en 2000. Les sondages en ligne sont lancés."

La quasi-totalité des sondages politiques sont donc aujourd'hui réalisés par Internet, à partir de base de données que les plus gros instituts créent et administrent eux-mêmes. Les plus petits achètent, voire louent, ces "access panels" qui leur servent à constituer leurs échantillons. Une donnée essentielle a donc changé : les sondés ne sont plus trouvés au hasard des cages d’escaliers ou des annuaires téléphoniques. Ce sont des volontaires qui viennent s’inscrire sur les panels pour répondre à des questionnaires. Pour Jean Chiche, statisticien et chercheur au Cevipof, le Centre de recherches politiques de Sciences Po, le volontariat pose problème : "En statistique, il n'est jamais bon de travailler sur des échantillons de volontaires, car ils peuvent être plus sensibles aux thématiques des enquêtes, plus en adéquation avec le système. Une partie de plus en plus importante va passer au travers parce qu'elle ne souhaite pas être importunée. Tout le travail est de persuader les citoyens d'accepter de répondre aux enquêtes."

2Les sondés sont rémunérés…

Pour inciter les Français à s’inscrire sur leurs panels, les sondeurs ont une méthode : ils leur offrent des cadeaux, voire de l’argent. Ces "gratifications", comme on les appelle dans le métier, restent modestes : de 50 centimes à 1 euro par sondage.

Mais elles font tiquer certains pourfendeurs des instituts qui dénoncent une "professionnalisation des sondés". D’autant que la récompense est essentielle pour de nombreux inscrits, comme Guillaume, un jeune père de famille de l’Est de la France qui répond à des dizaines de sondages tous les mois : "La gratification est un élément primordial. Je ne réponds pas aux sondages qui ne sont pas rémunérés. Je suis inscrit sur un pannel depuis 2012 et j’ai déjà reçu un babyphone, un balai aspirant, un coffret de jardinage, des abonnements, des livres…"

3... et ils peuvent mentir pour obtenir des cadeaux

Les instituts de sondage estiment que ces petites gratifications ne peuvent en aucun cas influencer la qualité des réponses. Pourtant, le même Guillaume admet qu’il lui arrive de ne pas toujours dire la vérité. "Il m'est arrivé de mentir quand les questions sont tranchées dès l'entrée du sondage, par exemple : 'Etes-vous fumeur ?' Si vous répondez 'non', le sondage s'arrête et vous ne gagnez pas de points. Donc je dis que je suis fumeur, ce qui n’est pas le cas. Pour les sondages politiques, quand aucune réponse ne convient tout à fait à mon opinion, je choisis la moins mauvaise."

Ce nouveau type de mensonge auquel peuvent être confrontés les sondeurs n’est pour l’instant – officiellement – pas pris en compte par les instituts. Les sondages par Internet semblaient pourtant leur avoir retiré une épine du pied : la sous-estimation systématique des votes extrémistes et son corollaire, la surestimation du vote centriste. Un sondeur se souvient : "Dans les années 1990, avec les sondages téléphoniques, il fallait multiplier par deux ou trois les nombre de réponses pour obtenir une estimation correcte du vote Le Pen." Ce problème, bien connu des instituts, avait déjà été observé lorsqu’il fallait estimer le vote communiste au temps de la splendeur du PCF. Les sondés n’aiment pas raconter à un enquêteur que leur choix penche vers un bord ou l’autre du prisme politique. En revanche, le fait d’être seul face à un écran semble les désinhiber puisque les "corrections" apportées aujourd’hui sont nettement plus faibles. Reste qu’il y a toujours un traitement des chiffres obtenus à la sortie des questionnaires.

4Les méthodes de redressement des instituts restent opaques

Les chiffres publiés ne sont jamais ceux qui sortent "brut" des questionnaires. Ils sont traités de façon à compenser les mensonges et les biais de l’échantillon notamment. Cette méthode porte un nom : le redressement. Procédé classique en statistique, il consiste à se référer à des scrutins anciens pour voir si les sondés sont sincères en évoquant leur vote passé. Si, sur un échantillon représentatif de Français, on observe qu’il y a deux fois moins de votes déclarés pour un candidat que son score effectivement réalisé, on sait alors qu’il faut multiplier par deux les chiffres bruts en faveur de ce même candidat pour le scrutin à venir. Dans les faits, le redressement peut faire appel à d’autres critères, plus une part de "cuisine maison" propre à chaque institut.

Les redressements restant secrets, ils ont souvent été au centre de débats et de contestations. Deux sénateurs Hugues Portelli (LR) et Jean-Pierre Sueur (PS) se battent pour que les sondeurs publient leurs chiffres brut et leurs méthodes de redressement. Jean-Pierre Sueur prend les sondeurs au mot lorsqu’ils affirment que leurs méthodes sont validées scientifiquement : "Quand on écrit un article scientifique, on publie ses données, sa méthode, de façon à ce que tout le monde voit comment on est arrivé au résultat. Donc, soit les sondeurs disent que ce n'est pas scientifique et ça n'a pas beaucoup d'intérêt, soit ils disent que c'est scientifique et il faut que ce soit totalement transparent."

En avril 2016, après des années de bataille parlementaire et malgré l’opposition de l’Elysée (sous Nicolas Sarkozy, puis François Hollande), ils arrivent à faire voter une loi imposant aux sondeurs de publier leurs marges d’erreur, leurs chiffres bruts et leurs critères de redressement. Du moins le croient-ils.

Les sondeurs trouvent une parade : pour éviter que les marges d’erreur ne soient affichées de manière trop visible dans les journaux qui ont commandé leurs études, ils publient d’abord leurs sondages sur leur propre site internet. Astucieux, la loi précisant que les marges d’erreurs doivent accompagner le sondage "lors de la première publication". La loi n’a pas réussi non plus à imposer la transparence sur les chiffres bruts, les sondeurs ayant là aussi trouvé une faille dans le texte. Les sondeurs s’accrochent à leurs secrets de fabrication, comme Frédéric Dabi, directeur général adjoint de l’Ifop : "Publier nos chiffres bruts c'est montrer toute une série de techniques que nous ne voulons pas montrer à nos concurrents."

5La commission des sondages ne fait peur à personne

La commission des sondages est la seule à avoir accès à l’intégralité des chiffres des sondeurs. Autorité administrative créée en 1977 avec la première loi sur les sondages, elle a pour mission de contrôler la sincérité et la rigueur avec laquelle sont effectuées les études d’opinion. Mais son fonctionnement et sa composition sont régulièrement décriés, notamment par Hugues Portelli, sénateur du Val-d'Oise : "Parmi cette commission, il y a beaucoup de magistrats à la retraite. Ils ont un point commun : ils sont incompétents. Pas dans leur discipline juridique, mais ils ne connaissent pas grand-chose des problèmes de l'opinion publique. Ils ont d'autres activités à côté et pour eux, l'étude des sondages est une activité marginale. Quand on est dans la période des sondages, la commission fait un examen en surface."

Lorsqu’elle détecte (rarement) une irrégularité dans un sondage, la commission publie des "mises au point". Ces petits textes de remontrance finissent dans les oubliettes du web ou relégués en bas de page des journaux. Ces cartons jaunes sans conséquences ne font peur à personne. Et pour cause : 40 ans après sa promulgation, aucune condamnation n’a été prononcée au titre de la loi de 1977, qui prévoit pourtant une peine d’amende pouvant aller jusqu’à 75 000 euros. Etonnant, parce que les cas suspects ne manquent pas dans l’histoire des sondages, jusqu’à très récemment.

6Certains sondages sont tout simplement bidon

En 2014, le magazine Valeurs Actuelles évoque un sondage donnant Nicolas Sarkozy seul à même de battre Marine Le Pen au second tour de la présidentielle. Cette "information" est également reprise par L’Opinion. Problème : ce sondage n’a jamais existé. La commission a enquêté, et a fini par publier six mois plus tard une mise au point où elle appelle "l'attention de l'opinion publique sur l'absence de fiabilité de ces résultats". Mais aucune poursuite n’a été engagée.

Lors des dernières régionales, dans la région Occitanie, le candidat dissident de gauche, Philippe Saurel, publie un sondage qu’il a fait réaliser le créditant de 9,9% des voix. Pour le maire de Montpellier, c’est un score inespéré, au bord des 10% qui permettent de se maintenir au deuxième tour et de peser sur le scrutin. Mais un détail intrigue Laurent Dubois, un journaliste de France 3 à Toulouse : l’institut qui a réalisé cette étude est totalement inconnu. Alertée, la commission conclut après enquête que le sondage est "dépourvu de caractère significatif". En clair : bidon. Pourtant, là encore, aucune poursuite judiciaire n’est engagée, ce qui étonne beaucoup Laurent Dubois : "Un membre de la commission des sondages m'a dit : 'Comme c'est un primo délinquant, on ne va pas lui casser les jambes, on va juste le rappeler à l'ordre'. Ce qui a joué n'était pas la gravité des faits, mais le profil de la personne." Philippe Saurel obtiendra finalement 5% des voix au premier tour.

7Les échantillons ne sont pas toujours représentatifs

Le débat sur le redressement des chiffres et les "recettes de cuisine" des sondeurs s’est déplacé vers un autre champ ces derniers mois : la constitution des échantillons. Les primaires de droite et de gauche pour les élections présidentielles de 2017 en ont été le déclencheur. Ces deux scrutins se sont révélés extrêmement périlleux pour les instituts, et selon Bruno Jeanbart, le directeur général adjoint d’Opinion Way, c’était prévisible : "Cette primaire était un peu un piège pour nous. Environ 10% des électeurs vont voter, donc si vous voulez interroger 1 000 électeurs, il faut interroger 10 000 personnes, ce qui est cher et long. Quand il y a un mouvement tardif, la mesure précise est très compliquée."

Du coup, en partant d’un petit millier de personnes interrogées, on arrivait parfois à moins de 400 sondés sûrs d’aller voter à l’une ou l’autre primaire… Trop faible pour être représentatif, d’après tous les statisticiens. Dans le cas de la primaire de droite, de nombreux retraités sont probablement passés sous les écrans radar des panels internet. C'est l'avis du politologue Vincent Tiberj : "L'électorat des primaires est très mal couvert par les enquêtes faites sur Internet. Ce sont souvent des retraités. Or on a peu de retraités peu diplômés, artisans ou commerçants, des classes moyennes et des classes populaires dans les panels internet."

Les panels sont pourtant bien pratiques pour les sondeurs à l’heure où les portes restent fermées devant les enquêteurs et quand les téléphones ne répondent plus. Aujourd’hui, pour arriver à remplir un questionnaire par téléphone, il faut bien souvent vingt appels !

8Les "vrais" sondages d'intention de vote coûtent très chers

Passer par Internet permet de constituer un échantillon à moindre frais. Mais est-il vraiment représentatif ? Chez certains instituts, on admet à demi-mot que le système a ses limites, surtout pour faire du sondage d’intention de vote. Guenaëlle Gault, responsable numérique pour Kantar Sofres, admet que les moyens économiques ne sont pas à la hauteur des résultats escomptés : "Un des problèmes que nous avons, c'est que les commanditaires de sondages sont souvent les médias, et qu'ils ont de moins en moins d'argent à consacrer à ces études. C'est un moyen commode, pas cher et rapide, mais de moins en moins pertinent."

Leur situation économique fragile conduirait également les médias à acheter des enquêtes trop courtes. La plupart d’entre elles ne comportent que quatre ou cinq questions, ce qui s'avère très insuffisant dans certains cas. Selon Eric Dupin, journaliste spécialiste des sondages, les "petits sondages" ne peuvent pas permettre de répondre à certaines questions : "Nous sommes souvent ambivalents. Sur la question de l'immigration par exemple, il y a une certaine méfiance et en même temps une forme de générosité. Seule une enquête riche permettrait d'appréhender honnêtement les positions des français. Sinon, on a un seul chiffre, ce qui peut être utile pour les médias, mais c'est assez malhonnête d'un point de vue intellectuel."

9Les sondages politiques servent en fait à vendre des études marketing

Les instituts de sondage sont une douzaine aujourd’hui à se partager le marché de l’étude d’opinion en France. Mais la politique n’est qu’une toute petite partie de leur activité. Leur chiffre d’affaires est essentiellement alimenté par les études qu’ils vendent aux entreprises : enquêtes de satisfaction clients, études des tendances en matière de consommation, etc. Alain Garrigou, créateur de l’observatoire des sondages, explique la réelle motivation des sondeurs selon lui : "Le sondage politique est un produit d'appel fantastique. Un des péchés mignons des sondeurs, c'est de montrer leur bobine à la télévision. 'Vu à la télé', ça permet de signer des gros contrats sur plein de domaines."

De fait, les sondages politiques ne rapportent que peu d’argent aux instituts (un sondage d’intention de vote se négocie aux alentours de 7 000 euros, quand les marchés avec les entreprises se chiffrent en dizaines, voire en centaines de milliers d’euros), ce que confirme Bruno Jeanbart, directeur général adjoint d’Opinion Way : "On peut accepter de travailler à prix coûtant voire légèrement à perte, parce que c'est intéressant économiquement. Le sondage politique représente 5% de l'activité des instituts, ce n'est pas décisif."

Sous couvert d’anonymat, un bon connaisseur du milieu affirme même que "certains instituts, les plus petits, offrent parfois gratuitement des sondages politiques à des médias. La contrepartie, c’est l’interview du directeur du département 'opinion' qui accompagne la publication de l’étude. C’est donc de la visibilité pour l’institut." Ces sondages "cadeau" sont-ils réalisés avec le même soin que les études payées à prix d’or par les entreprises ? On peut en douter.

10Des nouvelles méthodes… peu utilisées

De nouvelles méthodes de mesure de l’opinion existent pourtant, testées parfois avec succès. Elles consistent à agréger plusieurs sources de données : sondages "classiques", remontées des réseaux sociaux, études des "requêtes" sur web (ce que cherchent les gens dans les moteurs de recherche), etc. Ces études, nettement plus complexes que les sondages d’intention de vote qualifiés de "course de petits chevaux" par les sondeurs eux-mêmes, permettent de mieux discerner certaines aspirations de l’électorat. Les tendances de fond apparaissent mieux et peuvent permettre d’anticiper l’émergence de tel ou tel candidat. Pendant la campagne de la primaire de la droite et du centre, les équipes de Kantar Sofres se sont livrées à ce genre d’exercice. Guenaëlle Gault, responsable numérique de cette entreprise, explique qu'en combinant ces différents éléments, les résultats sont fiables : "Sur Facebook, Nicolas Sarkozy était beaucoup commenté mais très peu partagé, François Fillon était beaucoup partagé et peu commenté. François Fillon, comme Benoît Hamon, bénéficiait d’un engagement fort. Ce n'était pas difficile de le voir, on peut tout à fait mettre en place cela."

Pour adopter ces méthodes, il faudrait que les médias acceptent de publier moins de sondages d’intention de vote au profit de ces "tableaux de bord" plus complexes, et environ deux fois plus chers. Il faudrait également que les instituts de sondage prennent la mesure des problèmes qu’ils rencontrent et acceptent d’ouvrir le débat. "Le métier a créé une commission d'enquête avec des universitaires auxquels les instituts ont fournis leurs données pour essayer d'améliorer la méthode et éviter les erreurs", explique Bruno Jeanbart, directeur général adjoint d’Opinion Way. Mais ce dernier regrette que ce ne soit pas encore le cas en France, où les instituts restent trop soucieux de conserver leurs secrets de fabrication.