Ein kurzer methodischer Kommentar anlässlich einer „Retraction“ unserer Homöopathie-ADHS-Meta-Analyse
Wir hatten uns zu früh gefreut. Ich hatte ja letzten Sommer berichtet, dass wir eine Meta-Analyse zu Homöopathie bei ADHS publizieren konnten, die eine signifikante Effektstärke von g = 0.6 zeigte [1]. Vor Kurzem wurde sie zurückgezogen („retracted“), und zwar vom Journal, nicht von uns.
Der Hintergrund dazu: Wir hatten einen Extraktionsfehler gemacht, und zwar eine Effektgröße positiv kodiert, die eigentlich negativ kodiert gehört. Das ist einer der Fallstricke in einer Meta-Analyse, über den ich jetzt selber gestolpert bin. Denn man muss sich immer fragen: Deuten nun die Effekte einer Studie in die Richtung der vermuteten Hypothese, unterstützen also die Vermutung, dass der Unterschied für die Wirksamkeit einer Behandlung spricht, oder dagegen? In diesem Falle [2] war das Ergebnis nicht nur nicht signifikant für die Homöopathie, sondern wies auch in die andere Richtung. Das hätte in der Analyse mit einem Minus-Zeichen versehen werden müssen, was ich schlicht und ergreifend übersehen hatte. Und meinen Kollegen ist es auch nicht aufgefallen und so hat sich dieser sehr dumme Fehler eingeschlichen.
