DGFF-Kongress 2009 > Programm

Mit der Gesamtstrategie der Kultusministerkonferenz zum Bildungsmonitoring, veröffentlicht im Jahr 2006, wird ein „Paradigmenwechsel in der Bildungspolitik in Deutschland im Sinne von Ergebnisorientierung, Rechenschaftslegung und Systemmonitoring eingeleitet“. Um Qualitätsentwicklung im Bildungswesen zu steuern, sollen Bildungsprozesse und Bildungserträge evaluiert werden im Sinne einer externen Evaluation, die begleitend neben die schulinternen Evaluationsprozesse tritt. Die zu erreichenden fachspezifischen Ergebnisse wurden in den Bildungsstandards festgeschrieben. Nun gilt es, das Erreichen dieser Ziele u.a. durch standardisierte Kompetenztests zu überprüfen. Dazu werden in der Gesamtstrategie der KMK vier zentrale Verfahren festgeschrieben:

• Zentrale Überprüfung des Erreichens der Bildungsstandrads in einem Ländervergleich

• Vergleichsarbeiten in Anbindung oder Ankoppelung an die Bildungsstandards zu landes-weiten oder länderübergreifenden Überprüfung der Leistungsfähigkeit aller Schulen

Die Sektion wird sich insbesondere mit der Kompetenzmessung in den Fremdsprachen, der Modellierung von Kompetenzen und den Instrumenten des externen Evaluierens auseinander setzen. Des Weiteren sollen externe Evaluationsverfahren wie die Vergleichsarbeiten in ihrer Implikation, ihrem Potential, aber auch ihren Grenzen diskutiert werden.

In diesem Zusammenhang sollen Fragen etwa nach Verwendbarkeit solcher externen Testinstrumente im Unterricht, nach Nutzung der Ergebnisse und Rückmeldungen zur individuellen Unterrichtsgestaltung und Optimierung, nach Lehrerfortbildungsbedarf u.v.m. diskutiert werden.

Die Sektion richtet sich an Praktiker und Forschende in den betroffenen Bereichen aus dem In- und Ausland und lädt sie ein, ihre Erfahrungen, Konzeptionen oder Forschungen vorzustellen und zu diskutieren.

Vergleichsarbeiten sind ein zentrales Instrument der externen Evaluation und können für die Unterrichtsentwicklung wichtige Impulse geben. Am Beispiel von Vera-6, Vera-8 und des Ländervergleichs in den Fremdsprachen möchten wir die folgenden Fragen diskutieren:

Wie unterscheiden sich Test- und Lernaufgaben? Vergleicharbeiten sind eine Lernstandsdiagnose und dienen der Überprüfung von Kompetenzen. Klassenarbeiten messen den Lernzuwachs am Ende einer Unterrichtssequenz. Lernaufgaben dienen dagegen der Entwicklung von Kompetenzen. Sie sind lebensnah und verknüpfen Kompetenzen miteinander, im Mittelpunkt steht dabei die interkulturelle fremdsprachige Handlungskompetenz.

Wie werden sie entwickelt? Am IQB z.B. sind Lehrkräfte aller Bundesländer und Schulformen an der Aufgabenentwicklung beteiligt. Sie wurden durch international anerkannte Experten geschult. Als Textgrundlagen werden überwiegend authentische Texte unterschiedlichster Quellen verwendet. Die Aufgaben werden mit geschlossenen und halboffenen Formaten konstruiert. In Pilotierungs- und Normierungsstudien mit Schülerinnen und Schülern aller Bildungsgänge wird der Schwierigkeitsgrad der Aufgaben ermittelt.

Wie können die Ergebnisse genutzt werden? Lehrkräfte an allen Schulen können mit Hilfe der Vergleicharbeiten die Leistungsfähigkeit ihrer Schülerinnen und Schüler über den Bezugsrahmen ihrer Klasse und Schule sowie des konkreten Lehrplans hinaus beurteilen. Dabei können sie erkennen, in welchen Kompetenzbereichen noch Förderungsbedarf besteht und ihren Unterricht entsprechend gestalten.

Wie können die Testaufgaben im Unterricht genutzt werden? Testaufgaben sind grundsätzlich keine Lernaufgaben. Lernaufgaben ermöglichen autonomes Lernen, den Einsatz verschiedener Sozialformen und unterschiedlicher Methoden/ Herangehensweisen. Werden diese Aspekte berücksichtigt, lassen sich Testaufgaben als Lernaufgaben adaptieren.

Vergleichsarbeiten in der 8. Jahrgangsstufe - Rückmeldeformen auf Grundlage des Gemeinsamen europäischen Referenzrahmens für Sprachen

Im März 2009 wurden in Berlin und Brandenburg, ähnlich wie in den meisten anderen Ländern, erstmals Vergleichsarbeiten in der Jahrgangsstufe 8 (VERA 8) im Fach Englisch durchgeführt. Die freiwillig angebotene Teilnahme wurde von mehr als 200 Schulen in Berlin und Brandenburg wahrgenommen; insgesamt wurden über 15.000 Schülerinnen und Schüler mit den am Institut für Qualitätsentwicklung im Bildungswesen (IQB) entwickelten Aufgaben getestet. Die Aufgaben wurden auf der Basis des Kompetenzmodells des GERS entwickelt und ermöglichen somit prinzipiell auch eine Rückmeldung auf den entsprechenden Kompetenzstufen des GERS (A1 bis C1). Anders als beim Einsatz der Kompetenztests als Instrument des Systemmonitorings (Ländervergleiche) erfolgen Rückmeldungen der Testergebnisse in Vergleichsarbeiten aber nicht nur auf Länderebene, sondern auch auf Schul-, Lerngruppen- und Individualebene. Der Beitrag untersucht, welche Besonderheiten zu beachten sind, um die Aussagen zum Kompetenzstand auf der jeweiligen Aggregatebene statistisch adäquat und für Lehrkräfte bzw. Eltern und Schülerinnen und Schüler verständlich rückzumelden. Es werden alternative Modelle vorgestellt, wie insbesondere der Verlust an Präzision der Schätzung auf niedrigeren Aggregatebenen visuell als auch textlich dargeboten werden kann. Die Funktion der VERA-8-Rückmeldungen auf den Kompetenzstufen des GERS wird vor dem Hintergrund der Erwartungen und Widerstände von Lehrkräften gegen diese Form der Rechenschaftslegung diskutiert.

Explorative Untersuchung der Konstruktvalidität von Testaufgaben zum fremdsprachlichen Hörverstehen

Die Konstruktvalidität eines Hörverstehenstests und Determinanten der Aufgabenschwierigkeit sind die Gegenstände einer Studie, die als Dissertationsvorhaben im Rahmen des DESI-Projekts durchgeführt wurde. Dieses Forschungsprojekt knüpft an Arbeiten zum Hörverstehenskonstrukt an (Buck 1990; 1992; Buck/Tatsuoka/Kostin et al. 1997; Ross 1997; Rost 2002), orientiert sich an Untersuchungen zur Perspektive der Testteilnehmer und ihrer Strategien beim Bearbeiten von Tests (Cohen 2000; Shohamy 2001; Vandergrift 2003) und stützt sich auf Arbeiten zur Untersuchung kognitiver Prozesse (Ericsson/Simon 1993; Ericsson 2003; Haastrup 1987; van Someren/Barnard/Sandberg 1994).

Samuel Messick, auf dessen konzeptionelle Arbeit die gegenwärtige Theoriebildung zur Validität in der Sprachtestforschung aufbaut, mag die Scheu vor dem notwendigen forschungspraktischen Aufwand im Blick haben, wenn er die mangelnde Zahl genuiner Validierungsstudien beklagt: „Many test makers acknowledge a responsibility for providing general validity evidence of the instrumental value of a test but very few actually do it” (Messick 1992: 89). In einer neueren Publikation bestätigt Weir diesen deprimierenden Status (Weir 2005: 11). Es erscheint daher weiterhin angebracht, die methodische Umsetzung empirischer Validierungsbemühungen dem kritischen Diskurs der scientific community anzubieten, um die methodologische Basis für verschiedene Arten von Validierungsstudien zu konkretisieren und zu erweitern.

Die Studie ergänzt die quantitativen Analysen der Testergebnisse und der Skalierung der Aufgaben sowie ihrer schwierigkeitsbestimmenden Aufgabenmerkmale durch qualitative Daten (Protokolle lauten Denkens und Stimulated Recall Interviews ), die in der Verbindung mehrerer introspektiver Fallstudien kontrastierend analysiert werden.

Lesekompetenzmessung und Lesekompetenzentwicklung im Chinesischunterricht an deutschen Schulen

In meinem Beitrag werde ich über ein Forschungsprojekt berichten, in dem es um die Messung der Lesekompetenz im Chinesischunterricht an deutschen Schulen geht. Chinesisch wird in ganz Deutschland an ca. 140 Sekundarschulen, z. T. auch als Abiturfach angeboten. Angesichts der Heterogenität der Lehrwerke und der Schülerschaft im Chinesischunterricht in Deutschland ist es im heutigen Bildungskontext von besonderer Bedeutung, die Entwicklungsstufen der Kompetenzen festzustellen und die Lernprozesse zu steuern.

In meinem Forschungsprojekt versuche ich, eine wichtige Kompetenz beim Erlernen einer Fremdsprache – die Lesekompetenz – im Chinesischunterricht an deutschen Schulen zu erforschen, die verschiedenen Niveaustufen beim Lesenlernen in der chinesischen Sprache zu beschreiben und die Entwicklung der Lesekompetenz der Schüler zu modellieren.

Der empirische Teil dieser Forschung gliedert sich in zwei Phasen. Die erste Phase, eine explorative Studie, findet an einer Bremer Schule statt, an der Chinesisch als Wahlpflichtfach unterrichtet wird. Es handelt sich hier um die Triangulation folgender Methoden: Befragungen, Unterrichtsbeobachtungen, Tests und Introspektion. Um die Entwicklung der Lesekompetenz festhalten zu können, werden die Lesetests so konstruiert, dass ein Vergleich der Testergebnisse in verschiedenen Lernstadien möglich ist. Diese Lesetests mit unterschiedlichen Aufgabenformen wie Zeichenerkennungsübung, Multiple-Choice und Cloze-Test werden in der zweiten empirischen Phase an weiteren Schulen mit ähnlichem Lehrpensum und ähnlichen Lerninhalten durchgeführt. Anhand der Ergebnisse dieser Längsschnittstudie wird das Lesenlernen im Chinesischunterricht modelliert und die Entwicklungsstufen werden festgestellt. In meinem Vortrag werde ich insbesondere auf die erste explorative Phase eingehen und die ersten Forschungsergebnisse präsentieren.

Structure of communicative language competence of English and German learners in the Croatian context

Learners' communicative competence in certain contexts of language learning has been a focus of interest of numerous researchers in the fields of language testing and second language acquisition. However, a relatively small number of studies focused on the structure of learners' communicative competence (cf. Sang et al ., 1986; Harley et al. , 1990; Fouly et al ., 1990; Hoffman-Hicks, 1992; Ginther and Stevens, 1998 etc.) . The present study was conducted with the aim to describe and compare the structure of communicative language competence in two foreign languages – English and German – and at two proficiency levels in the Croatian educational context.

A total of 220 students were involved in the study, including 107 grade 8 students from 15 primary schools and 113 grade 4 students from 10 secondary (high and vocational) schools in Croatia. The data were collected by means of a battery of standardized tests aimed at measuring the communicative language competence of learners of English and German at levels A2 and B1. The data were analysed qualitatively and quantitatively. The following statistical procedures were used: independent samples t-test, correlational and factor analysis.

The results revealed certain differences in the structure of communicative language competence of English and German learners in the Croatian context. At level A2, not many significant differences between the two languages were found with regard to the level of proficiency in individual components of communicative language competence and the degree of their correlation. However, the mode of their correlation was significantly different. At level B1, significant differences were found both in the proficiency in the majority of components of communicative language competence in English and German, and in the degree and the mode of their correlation. The structure of communicative competence in the English language is integrative (unifactorial) at both proficiency levels, whereas in the German language it is less integrative (two-factorial), and is different at two proficiency levels. The differences in the structure of communicative language competence may have been caused by the direct or indirect influence of the wider context of learning English and German in Croatia.

Zur Erfassung der Sprachkompetenzen von Lehramtsstudierenden auf der Basis von C-Tests

Aufgrund von Klagen von Vertretern verschiedener Fächer über mangelnde Sprachfähigkeiten von Studierenden der Lehramtstudiengänge beschloss das Rektorat der Universität Duisburg-Essen, Instrumente zu entwickeln, auf Grundlage derer die Sprachkenntnisse aller Lehramtsstudierenden in Form eines Screenings erfasst werden können. Ziel ist es, sprachliche Defizite festzustellen, damit anschließend geeignete Fördermaßnahmen konzipiert werden können. Als ein Instrument wurde der C-Test ausgewählt, als ein zweites Instrument eine Schreibaufgabe. In dem Beitrag werden die Entwicklung der entsprechenden C-Tests und Ergebnisse der Pretests vorgestellt und diskutiert.

Assessment literacy bei Fremdsprachenlehrkräften - Bedarf und Bedürfnisse in Aus- und Weiterbildung

Ein wichtiger Bestandteil von Qualitätssicherung im Bereich fremdsprachlicher Leistungsmessung und -bewertung ist die Aus- und Weiterbildung von Lehrkräften. Lehrkräfte sind zu verschiedenen Zeitpunkten konfrontiert mit standardisierten Tests, die sie evaluieren können sollten, und müssen ihre eigenen, unterrichtsbasierten Instrumente zur Leistungsbewertung erstellen. Hierfür brauchen sie Expertise, die durch Aus- und Fortbildungsmaßnahmen aufgebaut werden kann.

Um die aktuelle Qualifikation von Fremdsprachenlehrkräften in diesem Bereich sowie ihre Fortbildungsbedürfnisse realistisch einschätzen zu können, wurde der Onlinefragebogen European Survey of Language Testing and Assessment Needs der EALTA auf Lehrkräfte als Zielgruppe zugeschnitten und in sieben europäischen Ländern als Befragung durchgeführt (Polen, Deutschland, Griechenland, Zypern, Türkei, Italien und Mazedonien, n=781). Der Vortrag soll die Ergebnisse in Form von aktuellen Trends wie die Implikationen für die Planung von Aus- und Fortbildungsmodulen darstellen sowie die Rolle von Trainingsmaßnahmen im Bereich Leistungsmessung und -beurteilung für die Professionalisierung von fremdsprachlichen Lehrkräften zur Diskussion stellen.

zurück