Absolute and Relative Judgment Accuracy: Early Childhood Teachers' Competence to Evaluate Children's Mathematical Skills

This study examined absolute and relative judgment accuracies of German early childhood (EC) teachers with respect to the mathematical skills of the children under their supervision. The two types of judgment accuracies are crucial prerequisites for pacing activities in EC education and offering differentiated educational activities adapted to individual skill levels of children. Data from 39 EC teachers and 268 children were analyzed using multilevel modeling. Teachers rated the skills of children on a structured observation instrument (“Kinder Diagnose Tool,” KiDiT). Children were assessed on their mathematical skills with a standardized test (“Mathematische Basiskompetenzen im Kindesalter,” MBK-0). On average, 65% of the variation in judgments of teachers on the KiDiT could be explained by MBK-0 scores of children, which suggest that teachers are—on average—able to rank children within their groups. Teachers were also able to judge the mathematical level of skills of children as assessed by the MBK-0. Neither mathematical content knowledge (MCK) of teachers nor their mathematics pedagogical content knowledge (MPCK) or general pedagogical knowledge (GPK) moderated the relationship between judgments of teachers and test scores of children or the relationship between the level of the judgments and the level of test scores. Conclusions for future research and practice are drawn.

Lehrkrafteinschätzungen sozialer Akzeptanz und sozialer Kompetenz: Akkuratheit und systematische Verzerrung in inklusiv geführten Schulklassen

Zusammenfassung. Die Förderung der sozialen Akzeptanz und der sozialen Kompetenz von Schülerinnen und Schülern durch Lehrkräfte ist im Kontext schulischer Inklusion von besonderer Relevanz. Voraussetzung dafür ist, dass sie diese Merkmale der Schülerinnen und Schüler angemessen diagnostizieren können. In dieser Studie wurde untersucht, wie akkurat Lehrkräfte die soziale Akzeptanz und die soziale Kompetenz von Schülerinnen und Schülern in inklusiv geführten Klassen einschätzen und ob die Lehrkrafteinschätzungen systematisch zum Nachteil von Schülerinnen und Schülern mit sonderpädagogischem Förderbedarf (SFB) verzerrt sind. Es ergaben sich geringe bis mittlere Zusammenhänge zwischen den Lehrkrafteinschätzungen der sozialen Akzeptanz und sozialen Kompetenz und den Beurteilungen der Peers. Die soziale Akzeptanz der Schülerinnen und Schüler mit SFB wurde über tatsächliche Gruppenunterschiede hinaus negativer eingeschätzt als die der Schülerinnen und Schüler ohne SFB. Im Rahmen ihrer Aus-, Fort- und Weiterbildung sollten Lehrkräften für mögliche systematische Verzerrungen in der Einschätzung von Schülerinnen und Schülern mit SFB sensibilisiert werden.

Stabilität, Bezugsnormorientierung und Auswirkungen derUrteilsgenauigkeit

Zusammenfassung. Über die Stabilität, genauigkeitsbeeinflussende Faktoren und differenzielle Wirkungen des Lehrkrafturteils zur Schülerleistung ist noch relativ wenig bekannt. In einer Längsschnittstudie mit zwei Messzeitpunkten wurden diese Aspekte näher analysiert. An der Studie nahmen 294 Schülerinnen und Schüler der Realschule und deren 17 Mathematiklehrkräfte teil. Die Fünftklässler bearbeiteten standardisierte Mathematikleistungstests und Skalen zum wahrgenommenen Lehrkraftverhalten, während die Lehrkräfte die Testleistungen einschätzten und Fragen zur Bezugsnormorientierung beantworteten. Die Rangkomponente, die Übereinstimmung des Lehrkrafturteils mit den Schülerleistungen, verbesserte sich im Zeitraum eines halben Jahres signifikant. Sie korrelierte zudem positiv mit der kriterialen Bezugsnormorientierung. Die Genauigkeit des Lehrkrafturteils war prädiktiv für die Schülerleistung. In der Leistung überschätzte Schülerinnen und Schüler wiesen im Vergleich zu unterschätzten Schülerinnen und Schülern den größeren Leistungszuwachs auf und nahmen das Lehrkraftverhalten anders wahr. Lehrkräfte sollten sich ihrer Leistungsurteile und ihres Verhaltens stärker bewusst werden, um sich selbsterfüllende Prophezeiungen zu vermeiden.

Mit Wissen zu akkurateren Urteilen?

Zusammenfassung. Die vorliegende Studie untersucht, ob und inwieweit das Wissen im Bereich Textverstehen von Deutschlehrkräften der Sekundarstufe mit der Urteilsgüte bei der Einschätzung von Schülerleistungen in diesem Bereich zusammenhängt. Dazu wurde das Text-, Aufgaben- und Strategiewissen von 77 Lehrkräften erhoben und mit Indikatoren der globalen und aufgabenspezifischen Urteilsgüte bei der Einschätzung der Textverstehensleistung von Schülerinnen und Schülern der achten und neunten Klassenstufe korrelativ in Bezug gesetzt. Die Lehrkräfte schätzen ihre Schülerinnen und Schüler relativ akkurat ein und verfügen auch über umfassendes Wissen in den getesteten Bereichen. Es zeigen sich jedoch weder für die Güte von globalen Urteilen noch für die Güte von aufgabenspezifischen Urteilen substanzielle und signifikante Zusammenhänge mit dem Lehrerwissen.

Heterogenität von Schülerleistungen in der Grundschule

Das Thema Heterogenität hat in den letzten Jahren eine zunehmende Präsenz sowohl in empirischer Schul- und Unterrichtsforschung als auch in Schulpraxis und bildungspolitischen Diskussionen erfahren. In diesem Aufsatz wird untersucht, welche Zusammenhänge zwischen verschiedenen objektiven Indikatoren der Heterogenität auf Klassenebene und einer globalen Lehrereinschätzung von Leistungsheterogenität bestehen. Die Ergebnisse zeigen zunächst, dass im Grundschulbereich das Ausmaß von Heterogenität (gemessen an der klasseninternen Streuung) bei verschiedenen Leistungsindikatoren (kognitive Grundfähigkeiten, Leseverständnis, naturwissenschaftliche Kompetenz) unkorreliert ist, so dass sich nicht einheitlich von „der” Leistungsheterogenität sprechen lässt. Die Einschätzung von 49 Lehrkräften zur Leistungsheterogenität ihrer Klasse stimmte mit objektiven Leistungsstreuungen im Leseverständnis, in naturwissenschaftlicher Kompetenz sowie in einem kombinierten Leistungsindex gut überein. Bei Nicht-Passung tendierten die Lehrkräfte dazu, die Leistungsheterogenität eher zu überschätzen; hierfür erwies sich der Anteil an Kindern mit Migrationshintergrund als bedeutsam. Zusammengenommen bietet dieser Beitrag eine weitere empirische Grundlage für den gegenwärtigen Heterogenitätsdiskurs.

Diagnostische Kompetenz von Englischlehrkräften

Der vorliegende Beitrag thematisiert die diagnostische Kompetenz von Englischlehrkräften am Ende der Sekundarstufe I. Die 56 untersuchten Lehrkräfte wurden gebeten, für jeden der von ihnen unterrichteten 1 363 Schülerinnen und Schüler ein Niveau der Fremdsprachverwendung anzugeben, wie sie der Gemeinsame Europäische Referenzrahmen für Sprachen (GER) beschreibt. Den Lehrkrafturteilen wurden per Leistungstest ermittelte GER-Niveaus für das Leseverstehen in der ersten Fremdsprache Englisch gegenübergestellt, ihre Übereinstimmung anhand der Niveau-, Differenzierungs- und Rangkomponente quantifiziert. Jenseits einer Deskription diagnostischer Kompetenz adressiert der vorliegende Beitrag die Überlagerung der GER-Urteile durch die klasseninterne Norm der Notengebung, die über einen Abgleich von Lehrkrafturteilen und Zeugnisnoten im Fach Englisch empirisch geprüft wird. Zudem wird eine mehrebenenanalytische Modellierung diagnostischer Kompetenz vorgestellt. Sie prüft, inwieweit die Höhe der klassischen Rangkomponente sowie einer mehrebenenanalytischen Entsprechung der Niveaukomponente durch die Vertrautheit von Lehrkräften mit dem GER und seiner früheren Nutzung bei der Beurteilung der unterrichteten Schülerinnen und Schüler beeinflusst werden.

Leistungsbeurteilungen von Schulkindern

Zusammenfassung. Es wurde untersucht, inwieweit unterschiedliche Ziele bei der Verarbeitung von Informationen über einen Schüler (z.B. Ergebnis in Mathematikvergleichsarbeit) sowohl die Leistungsbeurteilung als auch Schlussfolgerungen über Verhalten und Leistungsvermögen des Schülers beeinflussen. Lehrkräfte als Expertinnen und Experten sowie Studierende der Naturwissenschaften als Laien erhielten eine Falldarstellung eines Schülers unter der Zielvorgabe, sich entweder einen Eindruck über seine Persönlichkeit und sein Leistungsvermögen zu bilden (Eindrucksbildungsziel) oder seine weitere Entwicklung vorherzusagen (Vorhersageziel). Anschließend waren die Falldarstellung mit eigenen Worten zusammenzufassen und das Leistungsvermögen des beschriebenen Schülers zu beurteilen. Expertinnen und Experten orientierten sich unter dem Vorhersageziel an den individuellen Schülermerkmalen, unter dem Ziel der Eindrucksbildung verwendeten sie eine vorgegebene soziale Kategorie. Bei Laien hingegen hatte das Ziel keinen Einfluss auf die Verarbeitung der Schülermerkmale.

Prozessbezogene Diagnostik von Lesefähigkeiten bei Grundschulkindern

Aus kognitionspsychologischer Perspektive beruhen Lesefähigkeiten auf der effizienten Bewältigung von Teilprozessen des Leseverstehens auf Wort-, Satz- und Textebene. In diesem Beitrag stellen wir mit ProDi-L ein neuartiges computergestütztes Diagnostikum vor, das durch die kombinierte Erfassung von Antwortrichtigkeit und Reaktionszeit als Indikatoren für die Zuverlässigkeit und Effizienz einzelner Teilprozesse eine differenzierte prozessbezogene Diagnostik des Leseverstehens bei Grundschulkindern ermöglichen soll. Mittels sechs Subtests sollen zusammenhängende, aber psychometrisch klar trennbare Teilfähigkeiten des Leseverstehens erfasst werden. In einer Querschnittsuntersuchung an 536 Kindern der Klassenstufen 1–4 konnten dieser Annahme entsprechend Belege für die faktorielle Validität von ProDi-L erbracht werden. Die Zusammenhänge der Testwerte von ProDi-L mit kriterialen Lesefähigkeitsmaßen (gemessen mit ELFE 1–6), Lehrerurteilen und sprachfreien Intelligenzmaßen (diskriminante Validität) sprechen außerdem für die Konstrukt- und Kriteriumsvalidität des Instruments.

Zum Zusammenhang von Intelligenz und Urteilsgenauigkeit bei der Beurteilung von Schülerleistungen im Simulierten Klassenraum **Dieser Beitrag wurde von dem geschäftsführenden Herausgeber Oliver Dickhäuser angenommen

In Studien zur diagnostischen Kompetenz zeigen sich häufig große Unterschiede in der Fähigkeit von Lehrkräften, Schülerleistungen akkurat einzuschätzen. Als ursächlich für diese Unterschiede werden unter anderem Merkmale der Lehrkräfte angenommen, wie z. B. ihre Berufserfahrung oder ihre Intelligenz. In zwei Studien wurde der Zusammenhang von Intelligenz und Urteilsgenauigkeit untersucht. Es wird angenommen, dass hohe kognitive Grundfähigkeiten mit hoher Urteilsgenauigkeit einhergehen. Die Urteilsgenauigkeit wurde mithilfe des Simulierten Klassenraums erhoben. Der Simulierte Klassenraum ist die Computersimulation einer Unterrichtssituation, in der experimentell manipulierte Leistungen von Schülern durch Probanden beurteilt werden. In Studie 1 mit N = 44 Lehramtsstudierenden zeigte sich ein positiver Zusammenhang zwischen deren Intelligenz und Urteilsgenauigkeit. Studie 2 mit N = 133 Lehramtsstudierenden bestätigte diesen Befund.

Academic self-concept, learning motivation, and test anxiety of the underestimated student

BACKGROUND. Teachers' judgments of student performance on a standardized achievement test often result in an overestimation of students' abilities. In the majority of cases, a larger group of overestimated students and a smaller group of underestimated students are formed by these judgments. AIMS. In this research study, the consequences of the underestimation of students' mathematical performance potential were examined. SAMPLE. Two hundred and thirty-five fourth grade students and their fourteen mathematics teachers took part in the investigation. METHOD. Students worked on a standardized mathematics achievement test and completed a self-description questionnaire about motivation and affect. Teachers estimated each individual student's potential with regard to mathematics test performance as well as students' expectancy for success, level of aspiration, academic self-concept, learning motivation, and test anxiety. The differences between teachers' judgments on students' test performance and students' actual performance were used to build groups of underestimated and overestimated students. RESULTS. Underestimated students displayed equal levels of test performance, learning motivation, and level of aspiration in comparison with overestimated students, but had lower expectancy for success, lower academic self-concept, and experienced more test anxiety. Teachers expected that underestimated students would receive lower grades on the next mathematics test, believed that students were satisfied with lower grades, and assumed that the students have weaker learning motivation than their overestimated classmates. CONCLUSION. Teachers' judgment error was not confined to test performance but generalized to motivational and affective traits of the students.

Genauigkeit von Lehrerurteilen über die Lesekompetenz ihrer Schülerinnen und Schüler in der Sekundarstufe I – Eine Frage der Spezifität? 1Dieser Beitrag wurde unter der geschäftsführenden Herausgeberschaft von Jens Möller angenommen

Zusammenfassung. In der vorliegenden Studie wurde die Akkuratheit von globalen (Konstruktebene) und aufgabenspezifischen (Aufgabenebene) Lehrereinschätzungen von Schülerleistungen im Bereich des Lesens untersucht und verglichen. Darüber hinaus wurde der Einfluss des Geschlechts und des sozioökonomischen Status auf die Lehrerurteile überprüft. Die Ergebnisse beziehen sich auf 64 Deutschlehrkräfte und deren Klassen der fünften Jahrgangsstufe, die an der BiKS-Studie teilnahmen. Die Lehrerurteile wiesen sowohl auf der Konstrukt- als auch auf der Aufgabenebene nur geringe Zusammenhänge mit den Schülerleistungen auf. Dabei fielen die globalen Lehrerurteile akkurater aus als die aufgabenspezifischen Einschätzungen. In ihren Urteilen auf Aufgabenebene überschätzten die Deutschlehrkräfte im Mittel das Niveau der Lesekompetenz, schätzten aber die Streuung akkurat ein und wiesen eine mittelhohe Trefferquote auf. Zudem zeigte sich, dass diese Komponenten nur gering miteinander korrelierten. Weiterhin konnten wir in dieser Studie feststellen, dass weder der sozioökonomische Status noch das Geschlecht der Schülerinnen und Schüler über die Schülerleistung hinaus einen signifikanten Einfluss auf die globalen und aufgabenspezifischen Lehrereinschätzungen hatten.

Im Spiegel der Zeitschrift: Themen und Trends der Pädagogischen Psychologie in den Jahren 2008 bis 2010

Zu Beginn des Jahres 2010 wechselt die geschäftsführende Herausgeberschaft der Zeitschrift für Pädagogische Psychologie von Jens Möller zu Oliver Dickhäuser. Aus diesem Anlass werden Zahlen, Fakten und Trends der sich in den Artikeln der Zeitschrift spiegelnden pädagogisch-psychologischen Forschung der letzten drei Jahre zusammenfassend beleuchtet. An der Zahl eingereichter Manuskripte zeigt sich, dass sich die Zeitschrift unter den Autorinnen und Autoren konstant hoher Beliebtheit erfreut. Eine Analyse des Journal-Impact-Faktors der Zeitschrift ergibt, dass die Variabilität des Impact-Faktors weitgehend auf die Variabilität der Selbstzitationen (d. h. Zitation von Artikeln der Zeitschrift durch die eigene Zeitschrift) zurückzuführen ist. Bemerkenswert ist aber der Anstieg des Impact-Faktors im Jahr 2009 auf 0.72. Hinsichtlich thematischer Trends zeigt sich in Abhängigkeit von den Themenschwerpunkten im Heft eine deutliche Zunahme an Artikeln im Bereich «Lernen und Lehren», der nicht zuletzt einer erhöhten Aufmerksamkeit für Lehrpersonen und -prozesse geschuldet ist. Insgesamt scheint die Zeitschrift für Pädagogische Psychologie für die kommenden Jahre gut aufgestellt zu sein.

Motivationale und affektive Merkmale unterschätzter Schüler

In diesem Beitrag werden zwei Untersuchungen zur diagnostischen Kompetenz von Lehrkräften und den motivational-affektiven Merkmalen unterschätzter und überschätzter Schüler präsentiert. An den Untersuchungen in Deutschland und China nahmen jeweils acht Grundschulklassen sowie deren Mathematiklehrer teil. Die Viertklässler bearbeiteten einen Mathematikleistungstest und einen Selbstbeschreibungsfragebogen. Die Lehrkräfte schätzten die Schüler in Bezug auf die Testleistung und motivational-affektive Merkmale ein. Auf Grundlage der geschätzten und der tatsächlichen Testleistung erfolgte eine Einteilung in unterschätzte und überschätzte Schüler. Beide Untersuchungen kommen zu übereinstimmenden Ergebnissen. Die Lehrkräfte konnten Testleistungen mit guter Genauigkeit prognostizieren, aber hatten Schwierigkeiten damit motivational-affektive Schülermerkmale richtig einzuschätzen. Unterschätzte Schüler zeigten die gleiche Testleistung und Lernmotivation wie überschätzte Schüler, aber hatten eine niedrigere Erfolgserwartung, ein niedrigeres Fähigkeitsselbstkonzept und eine höhere Leistungsangst. Die Lehrer erwarteten, dass unterschätzte Schüler in der nächsten Mathematikarbeit schlechter abschneiden werden und mit schlechteren Noten zufrieden sind als überschätzte Schüler. Der Beurteilungsfehler der Lehrer beschränkte sich nicht allein auf die Testleistung, sondern generalisierte auf motivational-affektive Schülermerkmale.

Anmerkungen zum Themenschwerpunkt Diagnostische Kompetenz von Lehrkräften

Nach einem kurzen Überblick über die Artikel des Themenhefts wird ein Bezug zu allgemeinen Forschungsfragen zur Diagnosekompetenz von Lehrkräften hergestellt. Thematisiert werden methodische Aspekte der Erfassung diagnostischer Urteile, Probleme der Urteilsgenauigkeit sowie Kennzeichen und Korrelate diagnostischer Kompetenz. Schließlich werden einige Perspektive für die weitere Forschung angesprochen, insbesondere zur Erweiterung des Konstrukts und seinem Bezug zu anderen Lehrerkompetenzen.

Diagnostische Kompetenz von Grundschul- und Gymnasiallehr- kräften im Leistungsbereich und im Bereich Interessen

Gegenstand der vorliegenden Arbeit ist die diagnostische Kompetenz von Grundschul- und Gymnasiallehrkräften im Leistungsbereich und im Bereich Fachinteresse. Ausgehend von Überlegungen zum Erwerb der diagnostischen Kompetenz geht die Studie folgenden Fragestellungen nach: Schätzen Grundschullehrkräfte die Schülerleistungen (Arithmetik, Wortschatz und Textverstehen) und das Fachinteresse der Schülerinnen und Schüler (Deutsch und Mathematik) akkurater ein als Gymnasiallehrkräfte? Besteht ein Zusammenhang zwischen der Kooperation der Lehrkräfte, der Zusammenarbeit zwischen Lehrkräften und Eltern, der Leistungsstreuung und der Streuung des Fachinteresses in den untersuchten Bereichen mit der Diagnosegenauigkeit der Lehrkräfte? Datenbasis ist eine Stichprobe der BiKS-Studie von 1984 Grundschülerinnen und Grundschülern der 4. Jahrgangsstufe und deren 142 Lehrkräfte sowie 914 Gymnasiastinnen und Gymnasiasten der 5. Jahrgangsstufe und deren 111 Lehrkräfte. In der 4. und 5. Jahrgangsstufe wurden mittels Kompetenztests der Wortschatz, das Textverstehen und die Rechenfähigkeit der Schülerinnen und Schüler erfasst. Zudem wurde das Fachinteresse in Mathematik und Deutsch von den Schülerinnen und Schülern erhoben. Grundschul- und Gymnasiallehrkräfte wurden gebeten, diese Merkmale für jeden ihrer Schülerinnen und Schüler einzuschätzen. Wie erwartet, schätzen die Grundschullehrkräfte im Vergleich zu den Gymnasiallehrkräften die Schülerleistungen in Arithmetik, Wortschatz und Textverstehen sowie das Fachinteresse in Deutsch akkurater ein. Allerdings schätzen Grundschullehrkräfte das Fachinteresse in Mathematik nicht signifikant akkurater ein als Gymnasiallehrkräfte. Darüber hinaus zeigte sich, dass die Leistungsstreuung und die Streuung des Fachinteresses bedeutsam mit der diagnostischen Kompetenz der Lehrkräfte zusammenhängen.

Diagnostische Kompetenz von Lehrkräften

«Diagnostische Kompetenz» wird als eine zentrale berufsbezogene Fähigkeit von Lehrkräften gesehen, der in der Lehrerbildung und in den Bemühungen um die Qualitätsverbesserung an Schulen ein großer Stellenwert zugeschrieben wird. Der Beitrag gibt u. a. einen Überblick über die Forschungsarbeiten dieses Themenheftes zur diagnostischen Kompetenz, wobei primär herausgearbeitet wird, worin der Erkenntnisfortschritt der Beiträge liegt. Abschließend werden zentrale weitere Forschungsdesiderata im Bereich der diagnostischen Kompetenz von Lehrkräften benannt.