Ein Würfel ist oft billiger und liefert ebenso verlässliche Ergebnisse wie profunde, wissenschaftlicher Auswertung, das jedenfalls legen die Ergebnisse einer aktuellen Studie zur Verlässlichkeit der Interpretation wissenschaftlicher Daten in den Sozialwissenschaften nahe.
Der „Tagesspiegel“ titelte am 6.12.2022 „Verblüffendes Experiment Gleiche Daten – unterschiedliche Schlüsse„. Diverse Forschungsergebnisse der letzten Jahre zum Thema Migration waren zusammengetragen und 73 Arbeitsgruppen zur Auswertung vorgelegt worden. Sie sollten die folgende Hypothese auf Basis der vorgelegten Daten testen: „greater immigration reduces support for social policies among the public“. Die 161 Forscher der Arbeitsgruppen kamen zu teilweise absolut konträren Ergebnissen. Zugrundeliegende Daten und die in der PNAS erschienene Studie sind hier: https://www.pnas.org/doi/10.1073/pnas.2203150119 nachzulesen.
Es erscheint wenig angebracht, mit dem Finger auf die Sozialwissenschaften zu zeigen und generell die Verlässlichkeit der Ergebnisse und in diesem Fall der Ergebnisauswertung in Zweifel zu ziehen. Die Replikationskrise hat dies schon 2011 für viele, auch naturwissenschaftliche Fachgebiete beschrieben. Ärgerlich ist der Mangel an Initiative, diesen eindeutigen Missstand einzudämmen, ihm strukturell zu begegnen. Spekulation über mögliche Gründe und ein Verschiebebahnhof für Verantwortung und Kompetenz in dieser Frage gleichen vermutlich dem Spucken gegen den Wind.
Die zitierte Studie legt einen tiefgreifenderen Mangel dar, als ihn biologische Streuung und Messunsicherheit bewirken könnten. Die Studie gleicht einer Laborvergleichsuntersuchung, wie sie für medizinische und umweltanalytische Prüfeinrichtungen vorgeschrieben sind. Eine Studie bei der es um Interpretation und Simulation zur Gewinnung von Messdaten aus gemeinsamen Basisdaten geht sollte bei korrekter Handhabung und ausreichender Kompetenz minimale Unterschiede der Ergebnisinterpretationen zeitigen. Dies gilt umso mehr, da die Ergebnisse im Zuge der Publikation wissenschaftlicher Arbeiten durch spezielle Überprüfungsverfahren, dem „Peer review„, gehen.
Unter Makern gilt der Nachbau / die erfolgreiche Replikation als adelnde Anerkennung der eigenen, publizierten Leistung. Dies erhöht die Bereitschaft zur Hilfe / Unterstützung derjenigen, die sich an eine Replikation machen und induziert zugleich die Motivation zur Ehrlichkeit bei der Darstellung der Ergebnisse, denn fehlschlagende Reproduzierbarkeit kann zu Gesichtsverlust führen. „Wissenschaft“ kostet Geld, das im Zeichen der tausend Krisen dringend an vielen Stellen gebraucht wird. Die Forschung und Entwicklung neuer Technik zur Energiegewinnung und Speicherung, der Produktion von Nahrungsmitteln, der Minderung des Klimawandels, medizinische Forschung brauchen finanzielle Mittel, aber diese nutzen wenig, wenn Ergebnisse nicht reproduzierbar sind.
Wissenschaft braucht den Makeransatz!