Statistiken und damit die entsprechenden wissenschaftlichen Arbeiten können fehlerhaft sein, das ist bekannt. Nur hofft man als Nutzer dieser Daten stets, dass die Fehler ein Versehen und daher eher selten sein mögen.
Möglicherweise sind sie jedoch weder das eine noch das andere. Denn laut einer Umfrage vom Herbst 2018 bitten Forscher ihre Statistiker offenbar recht häufig darum, Statistiken den gewünschten Studienergebnissen anzupassen.
Die Untersuchung ergab, dass jeder vierte Statistiker schon einmal um eine entsprechende Verfälschung der Daten gebeten wurde.
Forscher bitten um gefälschte Statistiken
Es gibt drei Arten von Lügen: Notlügen, Lügen und Statistiken, so ein Sprichwort aus dem englischsprachigen Raum. Und auch bei uns heisst es häufig, man solle nur jener Statistik glauben, die man selbst gefälscht habe. Ein Zitat, das offenbar besonders unter Statistikern die Runde macht.
Wie zutreffend all das ist, bestätigt eine Untersuchung, die am 16. Oktober 2018 im Fachjournal Annals of Internal Medicine veröffentlicht wurde. Darin zeigte sich, dass Forscher ihre Statistiker recht oft um einen „kleinen Gefallen“ bitten.
Statistische Fehler scheinen sich also nicht auf versehentliche Missgeschicke zu beschränken, sondern können durchaus die Folge absichtlicher und skrupelloser Datenmanipulationen sei.
Wie Statistiken manipuliert werden können
Die drei Autoren der Studie (Dr. Min Qi Wang, Dr. med. Alice F. Yan und Dr. med. dent. Ralph V. Katz) befragten 522 Statistiker zu dieser Thematik. 390 der Befragten äusserten sich dazu.
Die „Fälschungsbitten“ der Wissenschaftler an ihre Statistiker wurden sodann in einer Tabelle präsentiert und nach ihrem „Schweregrad“ sortiert. Es tauchten beispielsweise die folgenden Bitten auf:
- Fälschung der statistischen Signifikanz, um ein erwünschtes Ergebnis zu belegen
- Änderung von Daten, um ein erwünschtes Ergebnis zu erzielen
- Entfernung oder Änderung von Daten, um die Hypothese der Forscher zu unterstützen
- Keine vollständige Beschreibung der tatsächlichen Therapie in der Studie, weil das Studienprotokoll sowieso nicht exakt eingehalten wurde
- Unterschlage Daten, die eine Verzerrung der Daten belegen
- Verwende die Daten vor Datenbereinigung und -validierung
- Verwende nur die signifikanten Ergebnisse, die nicht-signifikanten lasse unter den Tisch fallen
- Ignoriere Daten, wenn dadurch das Ergebnis negativ ausfallen könnte
- Erstelle keine Grafik, weil damit die Wirkung nicht so eindrucksvoll erscheint, wie man sie darstellen möchte
Jeder vierte Statistiker wurde um Fälschungen gebeten
Die Zahlen rechts in der genannten Tabelle geben an, wie oft die Statistiker in den letzten fünf Jahren die entsprechenden Anfragen erhalten hatten. Die Ergebnisse sind teilweise erschütternd.
Die Bitte um Fälschung der statistischen Signifikanz erhielten immerhin 3 Prozent der befragten Statistiker. Weitere 7 Prozent wurden gebeten, Daten zu verändern, 24 Prozent – also einer von vier Statistikern – sollten Daten entfernen oder austauschen.
44 Prozent sollten die Daten vor Bereinigung auswerten und 30-mal kam die Bitte, die statistischen Ergebnisse doch bitte gemäss den Erwartungen und nicht gemäss den tatsächlichen Ergebnissen zu interpretieren .
Wissenschaftler haben oft keine Ahnung von Statistik
Es handelt sich dabei eindeutig um Aufforderungen zu mehr oder weniger schwerem wissenschaftlichem Betrug. Gerade für die Bitten um Fälschung der statistischen Signifikanz gibt es keine Entschuldigung.
Die weniger schwerwiegenden Bitten sind dagegen möglicherweise nicht die Folge vorsätzlichen Betruges, sondern die Folge von Ignoranz.
Wissenschaftler kennen sich in Statistik oft nicht sehr gut aus, so dass manche Bitten an die Statistiker auch einfach daher kommen könnten, dass die Auftraggeber es nicht besser wussten.
Was genau die Wissenschaftler dazu bewegte, die Statistiker um Betrug und Fälschungen zu bitten, wurde in vorliegender Untersuchung nicht näher erkundet.
Gefälschte Statistiken: Möglicher Grund für widersprüchliche Studienergebnisse
Allerdings könnte die Studie – wenigstens teilweise – eine traurige Erklärung für die anhaltende Reproduzierbarkeitskrise in der Wissenschaft liefern.
Denn erst wenn ein Studienergebnis wiederholbar ist (reproduzierbar), also in weiteren Studien (unter gleichen Bedingungen) zu vergleichbaren Resultaten führte, gilt die Erst-Studie als glaubwürdig und das Ergebnis als verlässlich. Genau das aber ist oft nicht der Fall.
Es werden zig Studien mit ähnlichem Studiendesign durchgeführt – und die Ergebnisse fallen stets unterschiedlich aus, eben ganz so, wie es die beteiligten Wissenschaftler und Statistiker geplant haben und wie es der Sponsor der Studie wünschte.
Allein auf wissenschaftliche Studien zu setzen, wenn es z. B. um die richtige Ernährung oder eine gesunde Lebensweise geht, ist somit nicht immer sinnvoll .
Quellen: PublicDomain/zentrum-der-gesundheit.de am 26.11.2018
Gruß an die Erkennenden
TA KI
Das Erwachen der Valkyrjar 