Die Evaluation der Lehre ist ein wichtiges Instrument zur Qualitätssicherung an Hochschulen. Nach Rindermann (1996) kann sie in verschiedenen Bereichen Veränderungen initiieren: So kann sie die Lehrqualifikation der Lehrenden verbessern, Stärken und Schwächen auf Veranstaltungs-, Fach-, oder Universitätsebene aufdecken, Diskussionen zwischen Lehrenden und Studierenden unterstützen, die Mittelvergabe steuern und Weiterbildungsmaßnahmen evaluieren.

Seit dem Wintersemester 2000/1 werden im Fach Psychologie an der Universität Münster strukturierte Evaluationsfragebogen eingesetzt. Seit dem Wintersemester 2003/4 wird die Lehrevaluation über eine webbasierte Darbietungsplattform online durchgeführt (Haaser, Thielsch & Moeck, 2007). Vorteile dieser Erhebungsform sind enorme Zeitersparnisse bei Erhebung, Auswertung und Präsentation der Daten (vgl. z.B. Gritz, Soucek & Bacher, 2005; Haaser, Thielsch & Moeck, 2007). Außerdem kann durch sie die Anzahl fehlender Werte durch entsprechend programmierte Rückmeldungen deutlich reduziert und das Feedback für Dozenten durch frei wählbare Vergleichsveranstaltungen wesentlich verbessert werden.

Für den deutschsprachigen Raum liegt bereits eine Reihe von Instrumenten zur Lehrevaluation vor. Sie sind jedoch meist vergleichsweise lang und somit nur bedingt für eine internetgestützte Darbietung und gleichzeitige Evaluation unterschiedlicher Veranstaltungen geeignet: Speziell für Online-Erhebungen und Rückmeldungen werden eher kurze und ökonomische Skalen benötigt. Hohe Ökonomie, d.h. eine möglichst geringe Belastung von Studierenden durch die Befragung, war deshalb ein vorrangiges Ziel bei der Konstruktion der hier beschriebenen Itembatterien. Ferner wurden für die meisten existierenden Lehrevaluationsinstrumente Daten für eine Prüfung ihrer psychometrischen Eigenschaften nur beim ersten Einsatz erhoben und sie wurden nicht anhand neuer Daten weiterführend geprüft. Im Unterschied dazu wird hier die nach früheren Hauptkomponentenanalysen angenommene dimensionale Strukturierung der Antworten mit neuen Daten aus nachfolgenden Erhebungen konfirmatorisch untersucht.

Itemkonstruktion und Itemselektion

Die drei Münsteraner Itembatterien zur Evaluation von Seminaren (MFE-S) entsprechen einer gekürzten Version eines umfangreicheren Fragenmoduls, das am Fachbereich Psychologie der Universität Münster entwickelt und zwischen dem Wintersemester 2002/3 und dem Sommersemester 2005 jedes Semester eingesetzt wurde. Die Originalversion sollte mit 17 Items drei Dimensionen der Lehrqualität möglichst detailliert erfassen (Grabbe, 2003). Erste Item- und Hauptkomponentenanalysen der im Sommersemester 2005 erhobenen Daten veranlassten eine Reduktion auf 14 Items, von denen sich neun drei Hauptkomponenten zuordneten (Haaser, 2006). Für das abschließend beibehaltene Instrument wählte Haaser für diese drei Subskalen bewusst Items aus, die unterschiedliche Aspekte des hier behandelten Konstrukts erfassen sollen. Dies spiegelt sich in teilweise niedrigen Werten für die interne Konsistenz dieser Items nach Cronbachs Alpha wieder.

Stichproben

Zwischen dem Wintersemester 2002/3 und dem Sommersemester 2008 wurden im Rahmen der Lehrevaluation 9757 einzelne Lehrbewertungen erhoben. 1538 der Bewertungen wurden von Studenten und 7340 von Studentinnen abgegeben. In 870 Fragebogen fehlten die demografischen Angaben. Die Befragten waren zwischen 18 und 67 Jahre (M = 23.1, SD = 3.6) alt. Die Mehrzahl (71.9%) studierte Psychologie im Hauptfach, die übrigen im Magisterstudiengang oder im Nebenfach. Die Studierenden befanden sich zwischen dem ersten und 40. Semester (M = 4.6, SD = 2.4).

Um die zentrale Voraussetzung unabhängiger Itembeantwortungen zu erfüllen, die allen konventionellen und neueren dimensionsanalytischen Verfahren gemeinsam ist, wurden in die hier berichteten Analysen nur jeweils eine Bewertung von insgesamt 103 verschiedenen Studierenden einbezogen. Sie wurden in der Befragung eines Semesters erhoben, für welches der größte Rücklauf (WS 07/08) erzielt wurde. Aus dem Gesamtdatensatz, der aus Datenschutzgründen keine Befragtenkennungen enthält, wurden dafür alle Daten gelöscht, die von Studierenden mit identischen demografischen Daten (Alter, Geschlecht, Studiengang, Semester) stammen. Die demografischen Merkmale der so ausgewählten, und dadurch garantiert unterschiedlichen 103 Befragten, unterscheiden sich nicht von den für die Gesamtstichprobe ermittelten.

Die Lehrevaluation wird seit dem Wintersemester 2002/3 jeweils am Ende eines Semesters durchgeführt. Für diese Erhebungen wurde eine Online-Plattform basierend auf PHP und kombiniert mit MySQL-Datenbanken entwickelt (Haaser et al., 2007).

Variablen und Auswertungsmethode

Nach bereits früher durchgeführten Hauptkomponentenanalysen der bis dahin erhobenen Evaluationsdaten (vgl. Haaser, 2006) sollten die Antworten zu den neun hier geprüften Items den Einfluss von drei Dimensionen - Didaktik, Schwierigkeit und Selbststudium - indizieren. Das Zutreffen dieser aus früheren Ergebnissen abzuleitenden Annahme wird hier mit linearen konfirmatorischen Faktorenanalysen und unter Rückgriff auf den konventionellen Maximum Likelihood Schätzer geprüft. Alle entsprechenden Analysen wurden mit AMOS durchgeführt.

Itemanalysen

Ein lineares konfirmatorisches Messmodell (Tabelle 1) mit drei korrelierten Faktoren (Tabelle 2) erzielt eine gute Passung (Chi-Quadrat = 31, df = 24; TLI = .97, CFI = .98, RMSEA = .05). Dies bestätigt die auf der Basis früherer Analysen erwartete Strukturierung der Antworten zu den drei Subskalen.

Tabelle 1

Mittelwerte (M), Standardabweichungen (SD), Trennschärfen (T) und Faktorladungen (FL) nach einem dreidimensionalen konfirmatorischen Messmodell mit Einfachstruktur sowie Cronbachs Alpha if item deleted (CA) für die Items der Subskalen Didaktik (D1 - D3), Schwierigkeit (SC1 - SC3) und Selbststudium (SE1 - SE3; N = 103)

Anm. Die Berechnungen erfolgten mit SPSS bzw. AMOS

Tabelle 2

Korrelationen der Summenwerte für die Subskalen Didaktik (DI), Schwierigkeit (SC) und Selbststudium (SE; N = 103)

Itemkennwerte

Itemkennwerte (Tabelle 1) und Interitemkorrelationen (Tabelle 3) zur Beurteilung der psychometrischen Eigenschaften der Items der drei Subskalen liegen vor.

Tabelle 3

Korrelationen der Items der Subskalen Didaktik (D1 - D3), Schwierigkeit (SC1 - SC3) und Selbststudium (SE1 - SE3; N = 103)

Anm. Die Berechnungen erfolgten mit SPSS

Reliabilität

Cronbachs Alpha beträgt .86 für die Subskala Didaktik, .62 für die Subskala Schwierigkeit und .57 für die Subskala Selbststudium. Die interne Konsistenz der Subskalen ist danach als akzeptabel zu beurteilen, insbesondere auch deshalb, weil sie jeweils aus nur drei Items bestehen, mit denen zudem möglichst verschiedene Aspekte der jeweiligen Dimension erfasst werden sollen.

Weitere Reliabilitätsanalysen finden sich bei Haaser (2006). Ihre Ergebnisse entsprechen weitgehend den für umfangreichere Lehrevaluationsinstrumente ermittelten (z.B. FEVOR: Staufenbiel, 2000; HILVE: Rindermann, 2001; KIEL: Gediga et al., 2000 oder TRIL: Gollwitzer & Schlotz, 2003).

Validität

Bereits Marsh (1984) weist auf die grundsätzliche Schwierigkeit hin, Lehrevaluationsinstrumente angemessen zu validieren, da sehr viele verschiedene Faktoren den Lehrerfolg beeinflussen (Lehrkompetenz, Vorwissen der Studierenden, Thema, Veranstaltungstyp). Die meisten Instrumente, sowie die Itemsammlung von Grabbe (2003), auf der die hier vorgestellten Itembatterien aufbauen, können als Versuch angesehen werden, möglichst viele der für die Lehrqualität relevanten Aspekte zu erfassen. Im Gegensatz zu diesen Ansätzen wurde hier versucht, die wichtigsten Bereiche für den Lehrerfolg von Lehrenden zu erheben. Diese sind nach verschiedenen Modellen des Lehrerfolgs, wie dem multimodalen Bedingungsmodell von Rinderman (2001), das Auftreten und die Didaktik des Lehrenden. Diese werden mit den hier vorgeschlagenen Itembatterien erfasst. Dies spricht für deren Inhaltsvalidität in wichtigen Bereichen studentischer Lehrveranstaltungsbeurteilungen.

Ein zentrales Ziel der Konstruktion der hier dokumentierten Subskalen war zudem ihre Ökonomie, die mit nur drei Items pro Subskala sicherlich als zufriedenstellend erreicht beurteilt werden kann. Eine breite Erfassung aller Aspekte des Lehrerfolgs würde sehr lange Fragebogen erfordern, deren Einsatz meist die Rücklaufquote und damit die Aussagekraft der Evaluation einschränkt. Die Konzentration auf zentrale Bereiche in einem kurzen Instrument soll hier eine hohe freiwillige Beteiligung an der Lehrevaluation sichern. Vergleichsweise sehr hohe Rücklaufquoten bei einer freiwilligen Lehrevaluation (Hauptfachseminare im Mittel > 60 %, Thielsch et al., 2008) und jährlich stattfindende Metaevaluationen (Haaser et al, 2007, Thielsch et al., 2008) zeigen, dass sowohl Lehrende als auch Studierende das Instrument gut annehmen und positiv beurteilen.

Deskriptive Statistiken

Deskriptive Statistiken für Subskalen (Tabelle 4) und Items (Tabelle 1) liegen vor.

Tabelle 4

Mediane (Me), Mittelwerte (M), Standardabweichungen (SD), Schiefe und Kurtosis für die Subskalen Didaktik, Schwierigkeit und Selbststudium (N = 103)