Datenanalyse: Das Null-Ritual und der Umgang mit Effekten in der Zeitschrift für Sportpsychologie

Von Vertrauenskrisen und Handlungsnormen zu Selbstreflexion und persönlichem Handeln

Zusammenfassung. Die Autoren und die Autorin dieses Kommentars nehmen das Schwerpunktheft zur Vertrauenskrise in den empirischen Sozialwissenschaften und deren Bedeutung für die Sportpsychologie als Anlass, die Diskussion um Vertrauenskrisen und Handlungsmaxime hin zu Transparenz und eigener Selbstverpflichtung zu verschieben. Basierend auf einer kritischen Analyse des eigenen Handels diskutieren wir in diesem Beitrag, inwiefern Handlungsnormen und statistische Kennwerte von Studien das sportpsychologische Handeln und Forschen abbilden können. Wir votieren für eine kritische Selbstreflexion, die das gesamte Handeln im Berufsfeld einbezieht.

Hände weg von der Maus

Zur Bestimmung der Leistungshändigkeit müssen Personen mit der dominanten und nicht-dominanten Hand verschiedene repräsentative motorische Aufgaben realisieren. In zwei quasi-experimentellen Studien mit links- und rechtshändigen Probanden wurde geprüft, ob die manuelle Erfahrung einen Einfluss auf die Leistung in zwei kleinmotorischen Auge-Hand-Koordinationsaufgaben, einer Stift- (S-PA) und einer Cursor-Positionierungsaufgabe (C-PA), hat. Es zeigte sich, dass a) bei der ungeübten S-PA die Probanden generell bessere Leistungen mit ihrer dominanten Hand erzielen und b) bei der C-PA die Leistungen der Linkshänder durch die manuellen Erfahrungen mit der Maus-Konfiguration moderiert werden: Linkshändige „Linksmäuser“ erzielen mit der linken Hand bessere Leistungen als linkshändige „Rechtsmäuser“, wohingegen sich die Leistungen mit der rechten Hand nicht unterscheiden. Motorische Leistungen in Lateralitätsstudien sollten daher nicht mit einer Computermaus erfasst und konsequenterweise auch keine Computermaus-Items in Lateralitätsfragebögen berücksichtigt werden.

A comprehensive review of reporting practices in psychological journals: Are effect sizes really enough?

Over-reliance on significance testing has been heavily criticized in psychology. Therefore the American Psychological Association recommended supplementing the p value with additional elements such as effect sizes, confidence intervals, and considering statistical power seriously. This article elaborates the conclusions that can be drawn when these measures accompany the p value. An analysis of over 30 summary papers (including over 6,000 articles) reveals that, if at all, only effect sizes are reported in addition to p’s (38%). Only every 10th article provides a confidence interval and statistical power is reported in only 3% of articles. An increase in reporting frequency of the supplements to p’s over time owing to stricter guidelines was found for effect sizes only. Given these practices, research faces a serious problem in the context of dichotomous statistical decision making: since significant results have a higher probability of being published (publication bias), effect sizes reported in articles may be seriously overestimated.