Rien n’est parfait

Une erreur indigeste

Lors des élections présidentielles américaines de novembre 1936, le Literary Digest a rencontré son destin et il ne faudra que quelques années pour que la publication, pourtant si prisée, disparaisse à tout jamais (voir « Histoires de sondages | Partie I – Une guerre à finir » dans le numéro de juillet-août 2025).

Il aura suffi d’une seule erreur de prévision électorale pour discréditer son approche qui, pourtant, semblait infaillible. Rappelons que le Digest donnait 57 % du vote populaire au républicain Landon, alors qu’il n’en recevra que 36,5 %. C’est finalement Franklin Delano Roosevelt (FDR) qui l’emportera avec 60,8 % des votes. Roosevelt a aussi écrasé son opposant avec 98,5 % des grands électeurs contre un rachitique 1,5 % pour Landon, qui ne remporte que deux États : le Maine et le Vermont.

C’est George Gallup qui profitera le plus de la déconfiture du Digest – j’y reviendrai. Examinons tout d’abord la grande cause de cette débâcle : un énorme biais d’échantillonnage dont voici quelques tenants et aboutissants.

Premièrement, le Digest a constitué sa liste d’envoi (10 millions de noms) à partir de ses abonné-es et d’abonné-es à d’autres revues, de registres provenant de concessionnaires automobiles ou d’adresses liées à des numéros de téléphones résidentiels. Considérant le contexte économique de l’époque, une telle liste favorisait forcément les personnes à revenus moyens et élevés. Soulignons qu’en 1936 la téléphonie résidentielle était loin d’être abordable pour tous, et encore moins l’automobile.

Deuxièmement, le taux de non-réponse a été relativement élevé. Malgré qu’il y ait eu 2 300 000 répondant-es, il demeure que cela ne représentait qu’à peine plus du quart de l’échantillon initial. L’échantillon final a souffert d’un biais de non-réponse important.

Troisièmement, le traitement des données. La revue était claire à ce sujet : les données étaient rapportées exactement telles que reçues. Les résultats n’étaient ni pondérés, ni ajustés, ni interprétés (Literary Digest, 31 octobre 1936). Que dire de plus ? Les données auraient dû être pondérées (selon le revenu des répondant-es, par exemple), et ajustées pour tenir compte du taux de non-réponse et de ce qui différenciait, politiquement, les répondant-es des non-répondant-es. Mais cette possibilité n’existait pas pour le Digest, car les informations demandées sur les bulletins de vote d’essai ne permettaient pas ce type d’analyse de données.

Corollaire du non-traitement des données : la non-représentativité des répondant-es sur le plan idéologique. Compte tenu de la surreprésentation des classes sociales moyennes-élevées et élevées chez les répondant-es, les intentions de vote recueillies étaient celles d’électeurs et d’électrices disposant de revenus au-dessus de la moyenne. À cette époque, il s’agissait de personnes réputées soutenir l’idéologie républicaine. Alors même qu’une large partie de l’électorat avait peu de chances de s’exprimer dans le coup de sonde du Literary Digest, leur idéologie politique davantage démocrate ne s’est donc pas reflétée dans les prévisions de la revue, donnant ainsi vainqueur le candidat républicain Landon.

L’année 1936 était marquée par la dépression économique. Les produits non essentiels n’étaient accessibles qu’aux gens les plus fortunés. L’économie était le thème central de la campagne électorale de FDR, qui « semait » le New Deal pour récolter les votes des gens à plus faibles revenus. Une prédiction électorale basée sur un échantillon sous-représentant de façon importante ces électeurs et électrices était donc vouée à l’échec.

L’idéal de George Gallup

Pour Gallup et d’autres firmes de sondage de l’époque, l’opinion publique était un instrument de la démocratie, et il était possible de créer un outil pour mesurer cette opinion publique. Gallup était le plus ardent défenseur de cette thèse : pour lui, les sondages constituaient la démocratie en action. Cette vision idéaliste, un peu naïve même, se traduisait par la croyance en une opinion publique qui est la somme des opinions individuelles. Vision naïve, parce que cette équation ne tient pas compte des politicien-nes corrompu-es, des programmes politiques secrets, des groupes de pression agressifs, de la manipulation de l’opinion publique qui tire profit de la confusion et de l’ignorance, de la désinformation, des fausses nouvelles et des particularités parfois étonnantes du financement politique américain.

Les succès professionnels et médiatiques ont été instantanés pour Gallup. Il faut dire qu’il a bien compris que les médias seraient des alliés précieux. Il a donc tôt fait de publier les résultats de ses sondages dans des journaux à grand tirage et à publier des chroniques hebdomadaires (« America Speaks ») sur divers sondages menés par le tout nouvel AIPO (American Institute of Public Opinion), qu’il a fondé en 1935.

Mais d’autres firmes de sondage de l’époque, comme Elmo Roper, Hadley Cantrill et Archibald Crossley, avaient aussi l’idéalisme gonflé à bloc : « Les sondages scientifiques rendent possible en deux ou trois jours, à des coût modérés pour la nation, de travailler main dans la main avec le législatif sur les lois qui influenceront nos vie quotidiennes [traduction] », écrit par exemple Archibald Crossley

La naïveté est éphémère

Dans les années 1970, le sociologue français Pierre Bourdieu insistait déjà sur le fait que prétendre mesurer l’opinion publique (si tant est, selon lui, qu’une telle chose existe) par sondage (et pas seulement en politique) était abusif pour au moins quatre raisons fondamentales :

1. Une opinion individuelle bien informée sur le sujet d’un sondage n’est pas un attribut universel. Autrement dit, beaucoup de répondant-es aux sondages donnent une opinion mal éclairée.
2. Dans un sondage, tous et toutes les répondant-es ont le même poids. Pourtant, toutes les opinions individuelles ne se valent pas. Par exemple, tous et toutes les répondant-es ne sont pas concerné-es de la même façon, ou avec la même intensité, par des sujets comme l’économie, ou n’ont pas les mêmes connaissances sur le traitement des matières dangereuses ou l’enfouissement de déchets, par exemple.
3. Les répondant-es ne décident pas du sujet d’un sondage. Un sondage est fait pour satisfaire les intérêts de la firme de sondage et de son ou de sa commanditaire ; rien ne dit, en fait, que les questions posées sont d’un intérêt particulier pour les répondant-es ou qu’elles correspondent à leurs préoccupations réelles.
4. Il est très difficile, voire souvent impossible, de faire équivaloir une série d’opinions individuelles à une opinion publique qui se transforme éventuellement en une mobilisation concrète et compatible avec les opinions émises.

Bref, le sondage dit scientifique a connu une « lune de miel » pendant un certain temps et, comme la plupart des lunes de miel, elle était enrobée de grands espoirs, d’une confiance à toute épreuve ainsi que d’une naïveté éphémère.

Douze ans plus tard, les sondages en marge de la 41^e élection présidentielle de 1948 ramèneront sur terre les firmes de sondage et, plutôt qu’une lune de miel, ils feront face à une lune de fiel.

À suivre en ligne : « Histoires de sondages partie 3 – Une déconfiture célèbre »