dnf at 20%
"Ich will den Forschenden der Psychologie um Gotteswillen nicht grundsätzlich unterstellen, dass sie bei jeder Gelegenheit p-hacken [...], dass sich die Balken biegen. Es ist nur doof, wenn man im Zweifelsfall nicht überprüfen kann, ob sie es vielleicht getan haben.''
Ich will der Autorin dieses Buches nicht grundsätzlich unterstellen, dass sie absichtlich bestimmte Aspekte unter den Tisch hätte fallen lassen oder gar einfach schlecht recherchiert hätte, um möglichst aufsehenserregende Aussagen zu treffen. Es ist nur doof, wenn man Dinge so sehr aus dem Zusammenhang reißt und unvollständig wiedergibt, dass man durch die Balken schon hindurchschauen kann, bevor man sie überhaupt biegen müsste.
Ich bin es ja gewohnt, dass gerade Wissenschaftler*innen sogenannter ''exakter Wissenschaften'', wozu die Chemie auch gehört, gerne Mal Kritik an der Methodik der Psychologie üben, diese ist auch gerechtfertigt und verdient ihren Platz im Diskurs, aber als selbsternannte Wissenschaftsjournalistin so unvollständige und aus dem Kontext gerissene Aussagen an die Massen zu tragen, halte ich fast schon für fahrlässige Irreführung.
Das Schlimme ist, dass Mai oberflächlich betrachtet recht hat. Alles was sie sagt stimmt auch irgendwie, aber es beschreibt eben auch nicht das Gesamtbild. Und jemand dem entsprechendes Hintergrundwissen in den erklärten Bereichen fehlt, wird wohl kaum auf die Idee kommen, dass hier Dinge nicht vollständig wiedergegeben sein könnten oder gar komplett aus dem Logikgerüst enthebelt wurden. Und jemand der tatsächlich etwas mit den Begriffen anfangen kann wird dieses Buch nicht lesen, denn dafür ist es zu plakativ und auf Grundwissensvorraussetzung 0 geschraubt.
Ich bezweifle stark, dass diese unvollständige Darstellung einiger Sachverhältnisse im Sinne einer wissenschaftlichen Aufklärung der Allgemeinheit ist, aber was weiß ich schon, schließlich bin ich nur sauer weil ich Psychologie studiere und einige Semester damit verbracht habe, diese Zusammenhänge zu durchschauen, zu lernen und mir einzuprägen. Da vermittelt so ein 30 Seiten Kapitel sicherlich eine viel bessere Beschreibung der komplexen Problematiken der Datenerhebung einer psychologisch-wissenschaftlichen Studie.
Ein Beispiel dafür, dass nicht alles so gradeheraus 100% hinzunehmen ist, was Mai da erzählt, ist der Abschnitt über den Korrelationskoeffizienten und den p-Wert.
Die Richtwerte für schwache, mittlere und starke korrelative Zusammenhänge sind in vielen wissenschaftlichen Bereichen standardisiert und deckungsgleich, nicht aber in der Psychologie. Hier liegen die Werte für die Zusammenhänge unter denen, die allgemeinhin bekannt sind. Dies hängt einfach mit der Natur des Menschen zusammen und damit, dass ein Mensch in seinem Alltag vielen Variablen begegnet, so kann ein Korrelationskoeffizient von 0,3 schon einen mittleren positiven Zusammenhang bedeuten und einer von 0,5 schon als stark klassifiziert werden. Werte von + oder - 1 wird es in diesem Feld der Wissenschaft einfach niemals geben, man muss also versuchen die Interpretationen so vorsichtig und gewissenhaft wie möglich zu formulieren.
Auch p-Hacking wird hier mal eben so als ein, zwar unprofessionelles, aber doch häufig benutztes Mittel der Wahl erklärt, wenn das Studienergebnis mal wieder nicht so ausfällt, wie man das gern gewollt hätte. Sie spricht es zwar dann doch an, aber leider erst einige Seiten nachdem sie sich ausgiebig darüber echauffiert hat, aber eigentlich ist p-Hacking strengstens verboten und der Grund warum man seine Hypothesen vor einer Studie bekannt geben muss/sollte. Eine Reform die gegen diese Form des Datenmissbrauchs vorgehen soll ist die sogenannte ''open Science''. Wie alle Paradigmen in der Wissenschaft geht dieser Umbruch jetzt zwar zunächst mal langsam, aber dennoch auch sehr stetig voran und es gibt viele Vertreter dieser Art der Hypothesenprüfung, vor Allem die jüngeren Generationen.
Zudem erzählt Mai, man könne ja, wenn ein Ergebnis nicht signifikant wäre, die Studie so lange wiederholen, bis sie zufällig signifikant werden würde, um dann sein Ergebnis stolz zu publizieren. Sie benutzt für dieses Beispiel eine Studie (''noise blast''), die schon signifikante Ergebnisse erzielt hat und bezeichnet die Folgeexperimente, wie ich vermute hypothetischer Weise, als p-Hacking. Das ist aber schlichtweg irreführend, weil 1. ist das Ergebnis der vorausgegangen Studie schon signifikant und die Abwandlungen im Studiendesign eine Methode um kausale Zusammenhänge ermitteln zu können, 2. ist es gut, wenn solche Studien repliziert werden, um zu prüfen ob es sich nicht vielleicht doch nur um Zufall bei der Stichprobenauswahl gehandelt hat (-> Replikationskrise), 3. bei variierenden Studiendesigns kann auf eine höhere externe Validität geschlossen werden, also möglicherweise Effekte entdeckt werden, die tatsächlich auch außerhalb des Labors und nicht nur in dieser einen spezifischen Situation relevant sein könnten und 4. erklär mir mal bitte, wer dir deine Studien in der Psychologie bezahlt und wieso man überhaupt immer wieder die exakt gleichen Dinge wiederholen sollte, wenn diese zu einem unsignifikanten Ergebnis geführt haben. Ich weiß Pharmaunternehmen machen das manchmal, weil sie auf große Geldgewinne hoffen, aber hier versteh ich halt den Sinn nicht ganz.
Von dem Beispiel mit dem zwanzigseitigen Würfel will ich gar nicht erst anfangen, bei dem sie behauptet man müsse ja nur in einem Verhältnis von 1:20 Glück haben um eine 20 zu würfeln und das Ergebnis zu bekommen, das man möchte. Das lässt sich einfach nicht auf Signifikanzniveaus übertragen. Ein Studienergebnis setzt sich nämlich äußerst selten bis niemals aus nur einer einzigen Person und einem einzigen Testablauf zusammen. Hier liegen die Wahrscheinlichkeiten, zwar so wie beim Würfel, für ein zufälliges signifikantes Ergebnis bei maximal 5%, oft aber auch darunter und genau für solche Zufallsfehler Vermeidung sind dann eben Replikationsstudien gedacht, die gottseidank auch immer mehr gefordert und gemacht werden. Btw Signifikanz ist nicht gleich Relevanz, etwas was auch gern mal vergessen wird.
Was auch generell immer wieder missverstanden wird und nicht zwingend was mit dem Buch zu tun hat, aber wo wir schon mal hier sind: Die Ergebnisse psychologischer Studien sind niemals als allgemeine und jeden betreffende Fakten zu verstehen. Es werden Tendenzen und Mittelwerte festgehalten. Das individuelle Verhalten jeder Person wird immer ein wenig und manchmal sogar stark von dem abweichen, was ein Durchschnittswert angibt, abhängig von Umwelt, Persönlichkeit, Genen, Kultur und Erfahrungen der jeweiligen Person.
Das Buch kam mir einfach so vor, als hätte die Autorin bestimmte Sachverhalte hergenommen und auseinandergezerrt, um dann die Fragmente Stückchenweise und mit völlig sinnverwandelter Aussage zwischen schlecht gewählten Beispielen zu verstreuen.
Eine ziemlich vereinfachte Darstellung von Wissenschaftsdiskursen mit vielen verdrehten, möglichst provokant klingenden Aussagen, aber wenig Informationen zum Detail bieten hier die perfekte Ausstattung zum Halbwissen. Weil wir definitiv noch mehr Menschen brauchen, die undifferenzierte Meinungen am Stammtisch rausposaunen können.