Aller au contenu principal

« La ‘tyrannie’ de l’obtention d’un résultat statistiquement significatif est susceptible de remettre en cause la neutralité du chercheur »

En quelques points

Date

25 mai 2021

Theme

Objectivité et neutralité scientifiques

Marie-Estelle Binet, Professeur d’économie à Sciences Po Grenoble et au laboratoire GAEL

Comment définiriez-vous l’objectivité en sciences sociales ?

Pour être objectif, un enseignant chercheur doit mener ses recherches et dispenser ses enseignements sans porter un jugement faisant intervenir ses préférences personnelles. Il doit par ailleurs chercher à décrire les faits avec exactitude. La recherche en sciences économiques a considérablement évolué au cours des dernières années. A toutes les étapes de leur carrière, les enseignant.es chercheur.es, pour obtenir un poste, une promotion ou un financement de leur recherche, doivent se conformer à des règles d’évaluation très strictes, préétablies et alignées sur les pratiques de la recherche internationale. Ces règles laissent donc peu de place à leurs opinions personnelles et politiques, et ce processus favorise, du moins en ce sens, la production objective de connaissances.

Dans la plupart des cas, et dans notre discipline, l’obtention d’un poste de maître.sse de conférences ou de professeur.e des universités requiert de publier dans les meilleures revues nationales et internationales du champ, selon la règle du publish or perish. Ces revues académiques sont répertoriées et classées au niveau français par l’HCERES et international par Sismago notamment. Elles pratiquent un processus de sélection des articles fondés sur « l’excellence scientifique ». Ce dogmatisme scientifique présente bien entendu des limites, une première étant le manque de pluralité des approches et des méthodes mobilisées. De plus, en dépit d’une sélection drastique, les articles publiés et reconnus peuvent parfois décrire de façon inexacte les faits et manquer ainsi d’objectivité, quand la science se trompe notamment.

Les travaux d’économistes renommés tels que Reinhart et Rogoff (2010) nous livrent un exemple récent. Ils ont montré, en mobilisant un échantillon de 44 pays au cours des deux derniers siècles, que les pays dont le niveau d’endettement dépasse 90% du PIB sont condamnés à des niveaux de croissance faibles, inférieurs à 1%. Plus tard, en répliquant cette étude en utilisant la même base de données, Herdon et al. (2013) ont mis en évidence une série d’erreurs, remettant en question ces premiers résultats.

Ensuite, par définition, la connaissance se renouvelle selon un processus de destruction créatrice, le propre de la recherche étant de questionner et donc parfois de contester les résultats obtenus par les pairs. Le citoyen désireux de mieux comprendre la réalité risque de se heurter à des difficultés de compréhension de ces travaux de recherche,  mais aura également du mal à se faire une idée précise, tant les résultats sont divergents. Au total, si la production de la recherche académique en économie écarte en grande partie la subjectivité liée aux opinions personnelles, elle peut parfois peiner à décrire la réalité.

La neutralité du chercheur est-elle possible et souhaitable ?

La neutralité du chercheur est souhaitable mais difficile à atteindre pendant le temps de la recherche en raison de l’hyper spécialisation des chercheurs en économie et de la « tyrannie du résultat significatif ». En revanche, dans un second temps, ces différentes productions sous la forme d’articles, d’ouvrages, ou de la thèse de doctorat, doivent être diffusées et valorisées, et pour être utiles, être capables d’influencer les recherches académiques à venir (être lues, citées et parfois contredites), mais également le débat et les politiques publiques. Dans ces cas, la neutralité n’est donc pas souhaitable

Les enseignants chercheurs en économie sont souvent hyper spécialisés dans les méthodes de recherche qu’ils utilisent (voir paragraphe suivant), et exploitent ainsi leurs avantages comparatifs. On peut ainsi leur reprocher un manque de neutralité quant au choix des méthodes. Cette difficulté peut cependant être souvent contournée par un choix approprié des thèmes de recherche et pour lesquels leurs méthodes de prédilection sont pertinentes. D’ailleurs, dans la plupart des supports de publication académiques cités précédemment, mais également dans les appels à projets nationaux ou européens, les auteurs doivent justifier de la pertinence des méthodes de recherche mobilisées, sous peine de voir leur article ou projet refusés.

En revanche, en économie appliquée, la « tyrannie » de l’obtention d’un résultat statistiquement significatif est susceptible de remettre en cause la neutralité du chercheur. Supposons que vous obteniez un financement pour un projet de recherche ayant pour objectif d’étudier la persistance des nudges pour réduire la consommation d’énergie ainsi que les mécanismes psychologiques sous-jacents. Les nudges (voir Thaler and Sunstein, 2010) prennent, dans leur version simple, la forme de petits messages visuels (smiley ou couleur verte signalant un comportement « basse consommation » et couleur rouge pour signaler la surconsommation). Pour réaliser ce type de recherche, vous allez construire un protocole expérimental et observer les comportements de consommation d’énergie de consommateurs soumis à ces différents traitements.

Si vos résultats montrent finalement que les consommateurs soumis au nudge vert consomment autant que ceux qui ne le sont pas, vous conclurez que ces nudges n’influencent pas la consommation d’énergie et que leur influence est donc statistiquement non significative. Dans ce cas, vous ne pourrez bien évidemment pas analyser si leurs effets sont persistants, ni étudier les biais comportementaux à l’œuvre, et que le nudge permettrait de corriger. Vous ne pourrez également pas publier vos « non résultats ». Dès lors, vous allez probablement revoir votre protocole expérimental en espérant, cette fois, obtenir des effets statistiquement significatifs. Peut-on alors parler de neutralité ? Pourtant, ce problème pourrait être aisément résolu si les résultats non significatifs et la recherche de ses causes, pouvaient être publiés dans les meilleures revues. En plus de favoriser la neutralité du chercheur, ce type d’analyse serait également très utile (voir dernier paragraphe).

Comme dans la plupart des autres disciplines, les résultats des travaux des chercheurs en économie n’ont pas vocation à être neutres, que ce soit intentionnel ou non. Un des critères d’évaluation et de promotion d’un enseignant chercheur en économie est sa capacité à influencer les autres recherches, mesurée notamment par son facteur d’impact, ainsi que les débats publics. Même si ce n’est pas toujours leur intention initiale, ni parfois même pas de leur fait, les travaux des économistes sont également susceptibles d’influencer les politiques publiques. L’étude déjà mentionnée de Reinhart et Rogoff (2010) soulignant l’impact négatif d’un endettement public élevé (supérieur à 90% du PIB) sur le taux de croissance d’une économie, a eu un impact considérable quand elle a été publiée, après la crise de 2008 et dans un contexte d’emballement des niveaux d’endettement public. Cette étude a, sans aucun doute, fortement contribué à la mise en place des politiques de rigueur budgétaire en Europe notamment.

Quelle place les méthodes occupent-elles dans votre démarche de chercheur ?

Les méthodes quantitatives et en particulier l’économétrie ou l’estimation de modèles de régression multiples linéaires ou non linéaires occupent une place prépondérante dans mes travaux de recherche. Un grand nombre de celles-ci, réalisées seule ou en collaboration, m’ont ainsi conduit à analyser des bases de données existantes. J’ai réalisé plusieurs études sur des données de la direction générale des collectivités territoriales ou de l’INSEE, concernant la mise en évidence de concurrence fiscale entre les communes, les déterminants de la création d’entreprises au sein des régions françaises ou encore les effets économiques de l’intercommunalité, et plus généralement de la superposition des collectivités territoriales en France. Nous avons également analysé des données macroéconomiques incluant 104 pays sur la période 1973-2007, afin de décrire les profils de reprise après une crise économique et leurs déterminants, à travers 276 épisodes de crises analysés. Dans un projet de recherche en cours d’évaluation, nous proposons de travailler sur les données médicales et administratives des équipes de soignants du CHU de Grenoble afin de modéliser les équipes sous la forme d’un réseau social.

Mais, dans d’autres études, nous avons été amenés à produire nos données avant de les analyser. Nous avons ainsi planifié et réalisé une enquête à l’échelle de l’île de La Réunion afin d’identifier les déterminants de la consommation d’eau potable et de proposer des politiques innovantes d’économie de la ressource en eau. Dans la lignée de ce travail, je réalise actuellement des expériences de laboratoire avec des spécialistes d’économie expérimentale, au cours desquelles les participants sont soumis à différentes tarifications complexes et à des nudges informationnels sur le prix. Dans ces études en cours, des participants (étudiants en laboratoire ou vrais ménages sur le terrain) sont confrontés à différents traitements et la comparaison de leurs choix de consommation, que nous collectons, permet d’identifier les nudges les plus efficaces pour réduire la surconsommation d’eau, puis d’analyser la persistance de leurs effets, et d’étudier les modifications psychologiques et comportementales sous-jacentes.

Pourriez-vous présenter un exemple de recherche, idéalement issue de vos propres travaux, pour illustrer les enjeux et les tensions autour de l’objectivité et de la neutralité en sciences sociales ?

En tant qu’enseignante chercheur spécialisée dans les études quantitatives, j’ai bien entendu été confrontée au problème de la non significativité mentionné ci-dessus. On peut distinguer deux cas de figure. Premièrement, si le résultat est vraiment non significatif, auquel cas, si je reprends l’exemple du nudge, celui-ci n’influence pas les choix de consommation dans la « vraie vie », quels que soient le contexte et les caractéristiques sociodémographiques des consommateurs. Dans ce cas, il est inutile de mener de nouvelles recherches sur cette politique, inefficace d’un point de vue environnemental. Le problème, c’est qu’il y a peu de chance que ce résultat soit connu car il ne pourra probablement pas être publié. Pour cette raison ou d’autres, j’ai en effet renoncé à tenter de publier les « non résultats » de certaines de mes recherches. 

Deuxièmement, la non significativité peut résulter du manque de précision ou de qualité des données utilisées (leur incapacité à décrire la réalité) ou de l’utilisation de méthodes de traitement statistique des données biaisées (c’est-à-dire conduisant à des résultats faux, et donc conduisant à conclure à tort que l’effet est non significatif). Dans ce cas, le chercheur doit plutôt tenter d’identifier la cause du problème et y apporter une solution. C’est le quotidien de la plupart des chercheurs travaillant sur des données quantitatives. Cette intervention permet en général d’approfondir la connaissance des méthodes, et finalement améliore la qualité de la recherche menée. Mais ce processus itératif est extrêmement coûteux et retarde en général la diffusion des résultats de la recherche.