Si l'on considère les progrès fulgurants de certaines sciences naturelles, ceux de l'économie et d'autres sciences sociales semblent bien moindres en comparaison. La recherche appliquée dans les sciences naturelles nous fournit par exemple des ordinateurs, des robots, des logiciels de plus en plus performants et même des innovations considérées comme impossibles, comme les voitures à conduite automatique. Les sciences naturelles ont aussi par exemple réussi à développer en un temps record un vaccin contre le COVID-​19. En revanche, en économie, les progrès tangibles sont plus difficiles à identifier. En sciences économiques, presque toutes les questions techniques - du salaire minimum à l'économie du développement en passant par la politique monétaire - font l'objet d'au moins deux positions de recherche différentes et contradictoires. Les méthodes changent au fil du temps, mais il n'est pas évident de savoir si l'économie parvient de mieux en mieux à refléter la réalité économique au travers de sa recherche.

Le feedback en sciences naturelles est plus clair et plus direct qu'en sciences sociales

Dans son livre « False Feedback in Economics : The Case for Replication », Andrin Spescha, économiste au KOF, attribue cette différence entre les sciences naturelles et l'économie au fait que les sciences naturelles travaillent le plus souvent avec des objets physiques et des technologies. Le travail avec des objets physiques se distingue fondamentalement du travail avec des données. Les objets physiques permettent un véritable retour d'information (feedback), c'est-​à-dire que l'on sait toujours si et comment, par exemple, une nouvelle technologie élaborée est effectivement meilleure que les précédentes. Lorsqu'un chercheur travaille sur un objet concret comme un robot, il sait si son approche pour améliorer l'objet fonctionne ou non. L'interaction physique directe avec le robot produit en permanence un véritable retour d'information, sur son travail. Le chercheur peut ainsi progresser pas à pas, ce qui se traduit ensuite dans l'agrégat par de meilleures technologies.

En revanche, le monde des données en économie est très exposé à un mauvais retour d'information. Dans ce cas, il ne s'agit pas du retour d'information de collègues spécialisés, mais du retour d'information que l'analyse des données et l'évaluation donnent au chercheur. En économie, les études empiriques donnent trop souvent des réponses erronées aux questions posées. Ce n'est bien sûr pas le cas de toutes les études, loin de là. Il est toutefois difficile, même pour les scientifiques expérimentés, de reconnaître les études qui fournissent un véritable retour d'information, c'est-​à-dire des études qui reflètent fidèlement la réalité. Les chercheurs ne savent donc pas exactement où ils en sont dans leurs efforts et il devient difficile de progresser. « Le savoir ne peut se développer que si les chercheurs peuvent se fier à un vrai retour d'information; ils ont besoin de vraies réponses sur la manière dont leurs hypothèses proposées se rapportent à la réalité empirique », écrit Spescha. Ce n'est qu'ainsi que l'on peut voir dans quelle direction la science doit se diriger pour progresser. Dans son livre paru dans la série « Studies in Economic Theory, Method and Philosophy » de Routledge, Spescha explique pourquoi il y a souvent de faux retours d'information en économie et comment on peut améliorer cette situation.

En économie, il est souvent difficile, voire impossible, de comparer différentes études

Ce qui rend la recherche sociale empirique - que ce soit en économie, en sciences politiques ou en sociologie - si complexe, c'est que chaque étude repose sur un nombre énorme d'hypothèses secondaires, la plupart du temps implicites. De plus, différentes études utilisent des approches empiriques différentes et travaillent dans des environnements de recherche différents, de sorte qu'il est souvent difficile, voire impossible, de comparer les études en termes de véracité (le philosophe scientifique américain Thomas Kuhn a inventé le terme « incommensurabilité » pour décrire ce phénomène). Ainsi, lorsque des études empiriques se contredisent, l'une des parties n'est souvent pas visiblement plus proche de la réalité que l'autre. C'est pourquoi, contrairement aux sciences naturelles, il est difficile de réfuter et d'éliminer les théories erronées selon le principe « essai et erreur » qui, pour le philosophe des sciences Karl Popper, caractérise idéalement la science et constitue également l'élément central du progrès.

Selon l'analyse de Spescha, le principal problème à l'origine du retour d'information erroné en économie (et dans d'autres sciences sociales empiriques) est le grand nombre de possibilités dont disposent les scientifiques dans le choix de leur méthode de recherche et d'analyse des données. Comme le montre le graphique G 7 à titre d'exemple, une approche de recherche peut varier dans les dimensions les plus diverses, ne serait-​ce que dans l'analyse des données. Comme dans la nouvelle « Le jardin des sentiers qui bifurquent » de l'écrivain argentin Jorge Luis Borges, un projet de recherche comporte de nombreuses bifurcations où les chercheurs peuvent décider de la direction à prendre sur le plan méthodologique, souvent sans devoir expliciter les raisons de leur choix. Ainsi, les chercheurs disposent d'une grande marge de manœuvre à chacun des carrefours présentés dans le graphique G 7. Cependant, chacune des décisions prises peut avoir un impact potentiellement important sur les résultats, de sorte que les résultats peuvent varier considérablement selon le chercheur et son approche.

Les chercheurs devraient mettre davantage l'accent sur la réplication des études

En se basant sur ces réflexions de philosophie des sciences, Spescha plaide dans son ouvrage pour une plus grande transparence dans la recherche économique empirique. Au lieu de se contenter d'un article scientifique sophistiqué, les économistes devraient en outre publier leurs données et leurs codes de programmation, afin que d'autres chercheurs puissent tenter de reproduire cette étude. Ceci est la seule façon de comprendre et de remettre en question les décisions méthodologiques implicites. Cet aspect-​là est bien plus important que la rédaction à la chaine de nouvelles études, comme le veut la pratique scientifique aujourd'hui, écrit Spescha dans le dernier chapitre de son livre. « Au lieu de produire un flux constant d'articles scientifiques qui la plupart du temps ne sont pas vraiment nouveaux, nous ferions mieux de concentrer nos efforts sur la réalisation correcte des études les meilleures. Nous devrions varier systématiquement et judicieusement la structure de ces études les plus importantes, afin de pouvoir acquérir de meilleures connaissances sur leurs forces et leurs faiblesses. » Si l'on parvenait à générer de cette manière un retour d'information robuste et vrai sur les véritables questions, les progrès seraient à nouveau au rendez-​vous.