Erkennen von Lernbarrieren in Textvignetten - ErLe - Entwicklung und Validierung eines quantitativen Verfahrens zur Beurteilung situationsspezifischer Fähigkeiten

Abstract

Theoretischer Hintergrund: Die professionelle Wahrnehmung unterrichtsrelevanter Situationen gilt als Schlüsselkompetenz von Lehrkräften. Aus sonderpädagogischer Perspektive sind insbesondere solche Situationen relevant, in denen es zu Störungen des Lehr-Lern-Prozesses kommt, in denen also Lernbarrieren entstehen könnten. Potenzielle Lernbarrieren zu erkennen, wird damit zu einer wesentlichen Aufgabe von Lehrkräften. Die Analyse von Lehr-Lern-Situationen muss über die Beobachtung individueller Bedingungen, die zu Lernbarrieren beitragen können, hinausgehen und auch alle anderen Bedingungen in den Blick nehmen (Langner & Jugel, 2019; Ricken, 2017; Vock & Gronastaj, 2017). Merkmale der Klassenführung und Lernunterstützung gelten dabei als besonders relevant (Holodynski et al., 2017). Die Beschreibung und Erfassung der Kompetenz Lernbarrieren zu erkennen, die in der fehlenden oder mangelhaften Umsetzung von Klassenführungs- und Lernunterstützungsmerkmalen liegen, fehlen aber bisher als Ansatz. Vorgehen: In der vorliegenden Arbeit werden ausgehend von der Unterrichtsqualitätsforschung Merkmale der Klassenführung und Lernunterstützung herausgearbeitet. Deren fehlende oder fehlerhafte Umsetzungen werden als potenzielle Lernbarrieren verstanden und operationalisiert. Die Kompetenz, diese zu erkennen, wird auf der Basis des Kompetenzmodells von Blömeke et al. (2015a) als situationsspezifische Fähigkeit beschrieben und betont u. a. die bewusste Fokussierung und Wahrnehmung von Unterrichtsbedingungen und die Beurteilung hinsichtlich der förderlichen oder hinderlichen Auswirkung auf die Lehr-Lernsituation. In vier Entwicklungsschritten wird ein Verfahren entwickelt, bei dem anhand der Beurteilung von Textvignetten die Kompetenz zum Erkennen von Lernbarrieren erfassbar werden soll. Textvignetten und Items werden theoriegeleitet konstruiert, erprobt und auf der Basis der gewonnenen Daten sowie mehrerer Expertendiskussionen variiert und weiterentwickelt. Die Stichproben der vier Entwicklungsschritte umfassen insgesamt 935 Lehrkräfte und Studierende verschiedener Lehramtsstudiengänge aus verschiedenen Fachsemestern. Daten zu den Beurteilungen der Vignetten werden deskriptiv und anhand non-parametrischer Verfahren ausgewertet. Ergebnisse: Im ersten Entwicklungsschritt wird erprobt, wie spezifisch Impulse durch die Vignette und das Beurteilungsformat sein müssen, damit Beurteilungsprozesse hin-sichtlich der Klassenführung und Lernunterstützung in angemessenem Schwierigkeitsgrad in Gang gesetzt werden. Dazu werden zwei unterschiedliche Vignettenentwürfe mit offenen und geschlossenen Beurteilungsimpulsen eingesetzt. In den Ergebnissen zeigt sich, dass weniger spezifische offene Impulse nicht dazu führen, dass Studierende Unterrichtsbedingungen fokussieren, sondern vor allem Bedingungen des Kindes als Ursache für problematische Lehr-Lern-Situationen in Betracht ziehen. In der weiteren Entwicklung werden deshalb Vignetten eingesetzt, in denen konkrete Unterrichtssituationen beschrieben werden, die Lernbarrieren in der Klassenführung und Lernunterstützung enthalten, und die anhand von Items zur Klassenführung und Lernunterstützung zu beurteilen sind. Für diese Variante zeigt sich im ersten Entwicklungsschritt eine akzeptable Reliabilität und es deuten sich Gruppenunterschiede zugunsten der Sonderpädagogikstudierenden an, wobei Schwierigkeitsgrade noch nicht angemessen sind. Im zweiten Entwicklungsschritt werden Vignette und Items inhaltlich, sprachlich und methodisch überarbeitet und erprobt. Die Ergebnisse liefern Hinweise darauf, dass vor allem Kontextinformationen zur Vignette einen starken Einfluss auf die Beurteilung haben und die beschriebene Unterrichtssituation eher holistisch als differenziert beurteilt wird. Gruppenunterschiede zugunsten höherer Fachsemester zeigen sich zwischen Studieren-den des 2. und 6. Bachelorsemesters. Der dritte Entwicklungsschritt hat zum Ziel, Schwierigkeitsgrade über die Darstellung der Merkmale in den Vignetten zu beeinflussen und differenziertere Beurteilungen anzuregen. Dies wird umgesetzt, indem auf der Basis realer Unterrichtsbeispiele vier neue Vignetten bei gleichbleibenden Konstruktionskriterien entwickelt und validiert werden. Neben Lernbarrieren werden auch gelingende Situationen in den Vignetten dargestellt. In den Ergebnissen zeigen sich zufriedenstellende mittlere Schwierigkeitsgrade und zufriedenstellende Reliabilitäten für drei der vier Vignetten. Die Vignetten selbst haben einen starken Einfluss auf die Beurteilungen und werden eher nach Gesamteindruck als differenziert beurteilt. Gruppenunterschiede zeigen sich nur im Vergleich der Lehrkräfte mit Studierenden, Lehrkräfte beurteilen Lernbarrieren zutreffender, gelingende Situationen aber weniger zutreffend als Studierende. Der vierte Entwicklungsschritt hat zum Ziel, noch stärker eine Differenzierung zu betonen und Einflüsse auf die Vignettenbeurteilung zu überprüfen. Dazu werden die Vignetten nochmals überarbeitet und validiert, gelingende Situationen und Lernbarrieren werden in insgesamt ausgewogener Anzahl dargestellt, innerhalb der Vignetten aber in der Anzahl variiert. Die Gesamtwahrnehmung der Klassenatmosphäre wird zusätzlich erhoben. Außerdem wird in einer Teilstichprobe eine Variation der Instruktion erprobt. Die Ergebnisse zeigen, dass mittlere Schwierigkeitsgrade und Varianzen zufriedenstellend sind, Items zu Barrieren und gelingenden Situationen aber nicht differenziert beurteilt werden und getrennte Skalen bilden. Die Vignetten werden in allen Gruppen eher holistisch beurteilt – Lehrkräfte urteilen insgesamt eher negativ und erzielen so höhere Werte für Barrieren. Studierende der Allgemeinpädagogik urteilen eher positiv und erzielen deshalb höhere Werte für Gelingendes. Während die Urteile der Lehrkräfte weitgehend unabhängig von der Einschätzung der Klassenatmosphäre und der Vignettenkonstruktion sind, zeigen sich vor allem bei Bachelorstudierenden starke Zusammenhänge der Beurteilungen mit der Einschätzung der Klassenatmosphäre. Ein relevanter Zusammenhang mit der Variation der Instruktion zeigt sich nicht. Fazit: Das entwickelte textvignettenbasierte Verfahren eignet sich, um unterschiedliche Beurteilungen von Lernbarrieren und von gelingenden Situationen reliabel zu erfassen und Gruppenunterschiede abzubilden. Die Expertise, Gelingendes und Misslingendes differenziert zu beurteilen und das gleichbleibend gut in allen vier Vignetten, zeigt sich in keiner der Teilstichproben. Eine solche Expertise scheint sich ohne spezifische Lerngelegenheit nicht zu entwickeln. Beurteilungen sind in allen Gruppen eher holistisch und ab-hängig von Gesamteindrücken und unterschiedlichen schwerpunktmäßigen Fokussierungen auf misslingende oder gelingende Prozesse. Die Vignetten selbst haben unabhängig von den gezielten Konstruktionskriterien und -variationen einen starken Einfluss auf die Beurteilungen.

Theoretical background: The professional perception of teaching-relevant situations is considered a key competence of teachers. From a special education perspective, situations are particularly relevant in which disruptions to the teaching-learning process occur and in which learning barriers could arise. Recognizing potential barriers to learning therefore becomes an essential task for teachers. The analysis of teaching-learning situations must go beyond the observation of individual conditions that can contribute to learning barriers and also take all other conditions into account (Langner & Jugel, 2019; Ricken, 2017; Vock & Gronastaj, 2017). Features of classroom management and learning support are considered particularly relevant (Holodynski et al., 2017). However, the description and recording of the competence to recognize learning barriers that lie in the absence or inadequate implementation of classroom management and learning support features is still missing as an approach. Approach: In this work, characteristics of classroom management and learning support are identified based on teaching quality research. Their missing or incorrect implementations are understood and operationalized as potential learning barriers. The competence to recognize this is based on the competence model by Blömeke et al. (2015a) described as a situation-specific ability and emphasizes, among other things, the conscious focus and perception of teaching conditions and the assessment of the beneficial or hindering impact on the teaching-learning situation. In four development steps, a process is being developed in which the competence to recognize learning barriers can be determined by assessing text vignettes. Text vignettes and items are constructed based on theory, tested and varied and further developed on the basis of the data obtained and several expert discussions. The samples from the four development steps were taken from a total of 935 teachers and students during various teacher training courses from different semesters. Data on the assessments of the vignettes are evaluated descriptively and using non-parametric methods. Results: In the first development step, it is tested how specific impulses must be provided by the vignette and the assessment format so that assessment processes with regard to class management and learning support are initiated with an appropriate level of difficulty. For this purpose, two different vignette designs with open and closed assessment impulses are used. The results show that less specific open impulses do not lead to students focusing on teaching conditions, but rather considering the child's conditions as the cause of the problematic teaching-learning situation. In further development, vignettes will therefore be used in which concrete teaching situations are described, which contain learning barriers in class management and learning support, and which can be assessed using items on class management and learning support. In the first development step, this variant shows acceptable reliability and there are group differences in favor of special education students, although levels of difficulty are not yet appropriate. In the second development step, the vignette and items are revised and tested in terms of content, language and methodology. The results provide evidence that contextual information about the vignette has a strong influence on the assessment and that the teaching situation described is assessed more holistically than differentiated. Group differences in favor of higher semesters can be seen between students in the 2nd and 6th Bachelor semesters. The third development step aims to influence levels of difficulty through the representation of the characteristics in the vignettes and to encourage more differentiated assessments. This is implemented by developing and validating four new vignettes based on real teaching examples while maintaining the same design criteria. In addition to learning barriers, successful situations are also presented in the vignettes. The results show satisfactory average levels of difficulty and satisfactory reliabilities for three of the four vignettes. The vignettes themselves have a strong influence on the assessments and are judged more on the basis of an overall impression than on a differentiated basis. Group differences only become apparent when comparing teachers with students; teachers judge learning barriers more accurately, but successful situations less accurately than students. The fourth development step aims to emphasize differentiation even more and to examine influences on the vignette assessment. For this purpose, the vignettes are revised and validated again, successful situations and learning barriers are presented in a balanced number overall, but the number varies within the vignettes, and the overall perception of the class atmosphere is recorded. In addition, a variation of the instructions is tested in a subsample. The results show that medium levels of difficulty and variance are satisfactory, but items about barriers and successful situations are not assessed differentiated and form separate scales. The vignettes are assessed more holistically in all groups - teachers judge them more negatively overall and thus achieve higher scores for barriers. General education students are more likely to judge things positively and therefore achieve higher scores for success. While the teachers' judgments are largely independent of the assessment of the class atmosphere and the vignette construction, there are strong connections between the assessments and the assessment of the class atmosphere, especially among bachelor's students. There is no relevant connection with the variation of the instruction. Conclusion: The text vignette-based method developed is suitable for reliably recording different assessments of learning barriers and successful situations and for depicting group differences. The expertise in assessing successful situations and learning barriers in a differentiated manner and doing so consistently well in all four vignettes is not evident in any of the sub-samples. Such expertise does not appear to develop without specific learning opportunities. Assessments in all groups are more holistic and dependent on overall impressions and different focuses on failing or successful processes. The vignettes themselves have a strong influence on the assessments, regardless of the targeted design criteria.