Open Access Repositorium für Messinstrumente

AkkordeonDetailedScaleViews

Münsteraner Fragebogen zur Evaluation - Zusatzmodul computergestützte Lehre (MFE-ZcL)

  • Autor/in: Thielsch, M. T. & Stegemöller, I.
  • In ZIS seit: 2010
  • DOI: https://doi.org/10.6102/zis102
  • Zusammenfassung: Die hier dokumentierte Itembatterie zur Bewertung computergest&uuml;tzter Lehre ist ein Zusatzmodul des "<a href="http://zis.gesis.org/appendix/M&uuml;nsteraner%20Evaluation-&Uuml;bersicht.htm">M&uuml;nsteraner Fragebogen zur Evaluation</a>". Das Zusatzmodul tr&auml;gt das K&uuml;rzel "MFE- ZcL ".
    Abstract: The item battery documented here for the evaluation of computer-aided teaching is an additional module of the "Münster Questionnaire for Evaluation". The additional module has the abbreviation ... mehr "MFE- ZcL ". weniger
  • Sprache Dokumentation: deutsch
  • Sprache Items: deutsch
  • Anzahl der Items: 6
  • Reliabilität: Cronbachs Alpha = .84
  • Validität: Hinweis auf die konvergente und divergente Validität
  • Konstrukt: Lehrevaluation
  • Schlagwörter: Lehre, computergestützt | teaching, computer-assisted
  • Item(s) in Bevölkerungsumfrage eingesetzt: nein
  • URL Webseite: http://www.uni-muenster.de/PsyEval
  • Entwicklungsstand: validiert
    • Instruktion

      Die hier dokumentierte Itembatterie zur Bewertung computergestützter Lehre ist ein Zusatzmodul des "Münsteraner Fragebogen zur Evaluation"  (MFE) und wird ohne eigene Instruktion präsentiert. Allgemeine Informationen zur Befragung erfolgen beim erstmaligen Zugriff auf das System (Verwendung der Daten, technische Voraussetzungen, u. ä.). Dabei werden auch demografische Merkmale der Teilnehmer erfragt. Üblicherweise wird die Itembatterie als Zusatzmodul direkt nach der Darbietung der Basismodule zur Evaluation von Seminaren (MFE-Sr) und Vorlesungen (MFE-Vr) vorgegeben.

       

      Items

      Nr.

      Items zu computergestützte Lehre

      2

      Meine Computer(vor-)kenntnisse waren ausreichend für dieses Seminar.

      3

      Der/Die Lehrende erläuterte die einzelnen Arbeitsschritte am Computer verständlich.

      4

      Der/Die Lehrende gab ausreichend Gelegenheiten, die Arbeitsschritte am Computer eigenständig zu üben.

      5

      Ich fühle mich in der Lage, das im Seminar Gelernte auch eigenständig am Computer umzusetzen.

      6

      Ich habe meine Kompetenzen im Umgang mit Computern verbessert.

       

      Nr.

      Ergänzend vorgegebenes Item:

      Antwortvorgaben

      1

      Das Tempo der einzelnen Arbeitsschritte am Computer war?

      "viel zu langsam", "zu langsam", "angemessen", "zu schnell" und "viel zu schnell"

       

      Antwortvorgaben

      7-stufiges Antwortformat mit den Optionen 1 = "stimme gar nicht zu", 2 = "stimme nicht zu", 3 = "stimme eher nicht zu", 4 = "neutral", 5 = "stimme eher zu", 6 = "stimme zu" und 7 = "stimme vollkommen zu". Zusätzlich steht die Antwortoption "nicht sinnvoll beantwortbar" zur Verfügung.

       

      Auswertungshinweise

      Die Eindimensionalität der Items 2-6 erlaubt eine Aufsummierung und Mittelung der Antwortwerte.

       

    Die Evaluation der Lehre ist ein wichtiges Instrument zur Qualitätssicherung an Hochschulen. Nach Rindermann (1996) kann sie in verschiedenen Bereichen Verbesserungen initiieren: So kann sie die Lehrqualifikation der Lehrenden verbessern, Stärken und Schwächen auf Veranstaltungs-, Fach-, oder Universitätsebene aufdecken, Diskussionen zwischen Lehrenden und Studierenden unterstützen, die Mittelvergabe steuern und Weiterbildungsmaßnahmen veranlassen. Seit dem Wintersemester 2000/1 werden im Fach Psychologie an der Universität Münster strukturierte Evaluationsfragebögen eingesetzt. Seit dem Wintersemester 2003/4 wird die Lehrevaluation über eine webbasierte Darbietungsplattform online durchgeführt (Haaser, Thielsch und Moeck, 2007). Vorteile dieser Online-Erhebungsform sind große Zeitersparnisse bei Erhebung, Auswertung und Präsentation der Daten (vgl. z. B. Göritz, Soucek & Bacher, 2005, ; Haaser, Thielsch & Moeck, 2007; Thielsch & Weltzin, 2012). Außerdem konnte durch sie die Anzahl fehlender Werte durch entsprechend programmierte Rückmeldungen deutlich reduziert und das Feedback für Dozenten durch frei wählbare Vergleichsveranstaltungen wesentlich verbessert werden. Seit 2003 können zudem Zusatzmodule wie das hier beschriebene für eine individuell angepasste Lehrevaluation eingesetzt werden.

    Für den deutschsprachigen Raum liegt bereits eine Reihe von Instrumenten zur Lehrevaluation vor. Eine Übersicht geben Schmidt und Loßnitzer (2010). Sie sind jedoch meist vergleichsweise lang und somit nur bedingt für eine internetgestützte Darbietung und gleichzeitige Evaluation unterschiedlicher Veranstaltungen geeignet. Speziell für Online-Erhebungen und Rückmeldungen werden eher kurze und ökonomische Skalen benötigt. Hohe Ökonomie, das heißt insbesondere eine möglichst geringe zeitliche Belastung von Studierenden durch die Befragung, war deshalb ein vorrangiges Ziel bei der Konstruktion der Münsteraner Itembatterien zur Lehrevaluation. Deshalb wurden ab 2003 nur noch die wichtigsten Fragen in allgemeine Basismodule zur Lehrevaluation aufgenommen. Spezifischere Themenbereiche können durch Zusatzmodule erfasst werden. Dadurch konnten die ursprünglichen Münsteraner Fragebögen zur Evaluation von Seminaren (MFE-S) und zur Evaluation von Vorlesungen (MFE-V), die bereits für ZIS 13 dokumentiert wurden, kurz gehalten werden. Lehrende können deshalb jetzt in einer Vorphase die Befragung zu ihrer Veranstaltung individuell um gewünschte Zusatzmodule ergänzen und somit deren Evaluation spezifischer auf ihre jeweilige didaktische Konzeption zuschneiden. Von besonderem Vorteil ist zudem, dass den Studierenden so nur Fragen vorgelegt werden können, die für die zu bewertende Veranstaltung auch sinnvoll zu beantworten sind. Da Lehrevaluationen typischerweise gegen Semesterende stattfinden, kollidieren diese zeitlich in den neuen Studiengängen mit der Prüfungsvorbereitung der Studierenden. Aufgrund der zeitlich angespannten Situation der Evaluierenden in dieser Phase (vgl. Bechler & Thielsch, 2012) ist daher eine zeitökonomische Befragungsweise besonders wünschenswert.

     

    Itemkonstruktion und Itemselektion

    Die Itembatterien der zehn Zusatzmodule des "Münsteraner Fragebogen zur Lehrevaluation" (MFE) wurden auf der Basis einer Analyse von Merkmalen guter Lehre (Grabbe, 2003) und durch die Aufteilung eines umfangreicheren Fragebogenentwurfs zur Evaluation von Seminaren entwickelt, der am Fachbereich Psychologie der Universität Münster konstruiert wurde. Die abschließende Version des von Grabbe (2003) erstellten Seminarfragebogens sollte mit 29 Items acht Dimensionen der Lehrqualität möglichst detailliert erfassen. Es zeigte sich aber im Gespräch mit den Dozenten, dass der Fragebogen für die an der Universität angebotenen Seminare nicht immer alle als relevant erachteten Bereiche abdeckte, da unterschiedlichste Seminarformen angeboten werden, deren Besonderheiten kaum mit einem allgemeinen Fragebogen zu erfassen sind. Daher wurden alle Fragen, die sich auf eine bestimmte Veranstaltungsform beziehen, aus den allgemeinen Evaluationsinstrumentarien herausgenommen und in Zusatzmodule integriert. So entstanden die Zusatzmodule "Referate" sowie "Gruppenarbeit". Sie können seit 2003 zusätzlich zum Seminarevaluationsfragebogen (MFE-Sr) eingesetzt werden. Außerdem wurden diese beiden Itembatterien auf Wunsch der Dozenten im gleichen Jahr um die Module "Basistexte", "Diskussion", "Exkursion", "Hausaufgaben" und "Moderation" ergänzt, die gleichermaßen für die Evaluation von Seminaren als auch von Vorlesungen herangezogen werden können, sowie um die nur für eine Beurteilung von Seminaren vorgesehenen Zusatzmodule "computergestützte Lehre", "Rollenspiele" und "Untersuchungen von Studierenden" (Moeck & Thielsch, 2004). In den folgenden Jahren wurden nur die Formulierungen einzelner Items geringfügig modifiziert.

    Im Sommersemester 2010 wurden alle Zusatzmodule einer grundlegenden Itemanalyse und -revision unterzogen. Hierbei ergab sich für das Zusatzmodul "computergestützte Lehre" keine eindeutige Faktorlösung, da die Antworten zu zwei Items durch mehrere Faktoren bedeutsam beeinflusst wurden. Um dieses Problem zu beheben, wurden diese Items revidiert (Items 1 und 2). Im Folgenden können nun empirische Ergebnisse zur überarbeiteten Version des Zusatzmoduls berichtet werden.

     

    Stichproben

    Zwischen dem Wintersemester 2010/11 und dem Wintersemester 2011/12 wurden im Rahmen der Lehrevaluation 77 Bewertungen mit dem Zusatzmodul "computergestützte Lehre" zur Seminarevaluation erhoben. 16 (20.8%) erfolgten durch Studenten und 61 (79.2%) durch Studentinnen. Die Befragten waren zwischen 19 und 44 Jahren alt (M = 22.4, SD = 3.7), die Mehrheit (96.1%) studierte Psychologie im Bachelorstudiengang.

    Seit dem Wintersemester 2002/3 wird die Münsteraner Lehrevaluation am Fach Psychologie jeweils am Ende des Semesters durchgeführt. Für diese Erhebungen wurde eine Online-Plattform basierend auf PHP, kombiniert mit MySQL-Datenbanken, entwickelt (vgl. Haaser, Thielsch & Moeck 2007). Die Items des Zusatzmoduls "computergestützte Lehre" können über diese optional von den Dozenten im Anschluss an die Itembatterien zur Basisseminarevaluation dargeboten werden.

     

    Itemanalysen

    Der KMO-Test zeigt mit einem MSA-Wert von .80 eine gute Eignung des vorhandenen Datensatzes zur Durchführung einer Faktorenanalyse an. Eine explorative Faktorenanalyse (Hauptachsenanalyse mit obliquer Promax-Rotation) legt nach dem Kriterium Eigenwerte > 1 sowie der Inspektion des Screeplots eindeutig eine 1-Faktor Lösung nahe: Der Faktor klärt mit einem Eigenwert von 2.64 52.7% der Varianz auf. Alle fünf Items sind deutlich (.57 < FL < .80) mit ihrem gemeinsamen Faktor assoziiert.

     

    Tabelle 1

    Mittelwerte (M), Standardabweichungen (SD), Trennschärfen (T), Faktorladungen (FL) und Cronbachs Alpha (CA) bei Ausschluss des Items für die Skala Computergestützte Lehre (N = 77)

     

    M

    SD

    T

    FL

    CA

    Item 2

    4.74

    1.83

    .62

    .68

    .82

    Item 3

    5.28

    1.73

    .71

    .80

    .80

    Item 4

    5.25

    1.81

    .71

    .80

    .79

    Item 5

    4.61

    1.86

    .70

    .77

    .80

    Item 6

    5.20

    1.52

    .51

    .57

    .85

    Anm. Die Berechnungen erfolgten mit SPSS

     

    Itemkennwerte

    Zur Beurteilung der psychometrischen Eigenschaften der einzelnen Items liegen Itemkennwerte (Tabelle 1) vor.

     

    Reliabilität

    Für das Modul „computergestützte Lehre“ beträgt Cronbachs Alpha .84. Die interne Konsistenz des Moduls ist demnach als gut geeignet für die in der Lehrevaluation übliche Auswertung auf Veranstaltungsebene anzusehen.

     

    Validität

    Bereits Marsh (1984) weist auf die grundsätzliche Schwierigkeit hin, Lehrevaluationsinstrumente angemessen zu validieren, da sehr viele verschiedene Faktoren den Lehrerfolg beeinflussen (bspw. Lehrkompetenz, Vorwissen der Studierenden, Thema oder Veranstaltungstyp). Die meisten Instrumente, sowie die Itemsammlung von Grabbe (2003), auf der die hier vorgestellten Itembatterien aufbauen, können als Versuch angesehen werden, möglichst viele der für die Lehrqualität relevanten Aspekte zu erfassen. Das explizite Ziel der Zusatzmodule bestand nun aber darin, einzelne thematisch zusammenhängende Itemblöcke als Modul herauszulösen. Eine Validierung an einem Gesamtkonstrukt Lehrqualität ist damit erschwert, da nur Teilaspekte betrachtet werden. Um dieses Problem zu umgehen, sollen konvergente und divergente Zusammenhänge zu folgenden anderen Indikatoren aus der Lehrevaluation aufgezeigt werden: Zu den Skalen aus dem Lehrevaluationsbasismodul MFE-Sr (Dozent & Didaktik, Überforderung, Teilnehmer und Materialien) sowie den Antworten zu den Fragen nach dem selbst eingeschätzten Lernerfolg, nach der Weiterempfehlung der Veranstaltung an andere Studierende und der Gesamtbeurteilung der jeweils zugehörigen Lehrveranstaltung (Einzelitems aus dem Lehrevaluationsbasismodul MFE-Sr).

    Wie erwartet zeigt sich folgendes Korrelationsmuster: Die mittleren Antworten zu dem Zusatzmodul MFE-ZcL sind hoch positiv mit denen zu den Skalen Dozent & Didaktik (.79), Teilnehmer (.69) und Materialien (.74) korreliert. Weitere hohe bis sehr hohe positive Zusammenhänge  zeigten sich mit dem selbst eingeschätzten Lernerfolg (.81), der Weiterempfehlungsbereitschaft (.47) und der Gesamtbeurteilung der jeweils zugehörigen Lehrveranstaltung (.76. Eine hohe negative bzw. positive Korrelation zeigt sich mit den Antworten zu der MFE-Sr-Skala Überforderung (-.57) bzw. insgesamt mit der Qualität der computergestützten Lehrmethoden und den allgemeinen Einschätzungen zur Qualität des Seminars. In dieses Bild passt auch die hohe negative Korrelation zur selbsteingeschätzten Überforderung: Gute computergestützte Lehre fordert, aber überfordert die Teilnehmer nicht.

    Ein weiteres wichtiges Validitätskriterium ist, ob das eingesetzte Zusatzmodul signifikant zwischen verschiedenen Veranstaltungen unterscheiden kann, d.h. diskriminative Validität hat. Zur Untersuchung dieser Eigenschaft wurde eine ANOVA mit den bewerteten Veranstaltungen als unabhängiger Variable und dem Modulwert als abhängiger Variable berechnet. Sie zeigt mit sehr deutlicher Effektstärke signifikante Unterschiede zwischen den Veranstaltungen auf (F = 12.75; df = 6; p < .01; Eta-Quadrat = .52). Das Zusatzmodul ist somit als sensitiv für Unterschiede zwischen den bewerteten Veranstaltungen zu beurteilen.

     

    Deskriptive Statistiken

    Deskriptive Statistiken für die Items (Tabelle 1) und ihre skala (Tabelle 2) liegen vor.

     

    Tabelle 2

    Mediane (Me), Mittelwerte (M), Standardabweichungen (SD) sowie Schiefe und Kurtosis für die Skala Computergestützte Lehre (N = 77)

     

    ME

    M

    SD

    Schiefe

    Kurtosis

    Computergestützte Lehre

    4.98

    5.20

    1.40

    -0.40(.27)

    -1.05(.54)

    Anm. Die Berechnungen erfolgten mit SPSS

     

     

    • Dr. Dipl.-Psych.  Meinald Thielsch, Westfälische Wilhelms-Universität Münster, Psychologisches Institut 1, Fliednerstr. 21, 48149 Münster, E-Mail: thielsch@uni-muenster.de, Tel. 0251 83 34154, Webseite: www.uni-muenster.de/PsyEval.
    • B. Sc. Ina Stegemöller, Westfälische Wilhelms-Universität Münster, Institut für Psychologie, Fliednerstr. 21, 48149 Münster, Webseite: www.uni-muenster.de/PsyEval