Open Access Repositorium für Messinstrumente

AkkordeonDetailedScaleViews

Münsteraner Fragebogen zur Evaluation - Zusatzmodul Referate (MFE-ZRe)

  • Autor/in: Grötemeier, I. & Thielsch, M. T.
  • In ZIS seit: 2010
  • DOI: https://doi.org/10.6102/zis104
  • Zusammenfassung: Die hier dokumentierte Itembatterie zur Bewertung von Referaten ist ein Zusatzmodul des "Münsteraner Fragebogen zur Evaluation".Das Zusatzmodul trägt das Kürzel "MFE- ZRe".
    Abstract: The item battery documented here for the evaluation of papers is an additional module of the "Münster Questionnaire for Evaluation".The additional module has the abbreviation "MFE- ZRe".
  • Sprache Dokumentation: deutsch
  • Sprache Items: deutsch
  • Anzahl der Items: 13
  • Reliabilität: Cronbachs Alpha = .68 bis .76
  • Validität: Hinweis auf die Inhaltsvalidität
  • Konstrukt: Lehrevaluation
  • Schlagwörter: Lehre | teaching
  • Item(s) in Bevölkerungsumfrage eingesetzt: nein
  • URL Webseite: http://www.uni-muenster.de/PsyEva
  • Entwicklungsstand: validiert
    • Instruktion

      Die hier dokumentierte Itembatterie zur Bewertung von Referaten ist ein Zusatzmodul des "Münsteraner Fragebogen zur Evaluation" (MFE) und wird ohne eigene Instruktion präsentiert. Allgemeine Informationen zur Befragung erfolgen beim erstmaligen Zugriff auf das System (Verwendung der Daten, technische Voraussetzungen, u. ä.). Dabei werden auch demografische Merkmale der Teilnehmer erfragt. Üblicherweise wird die Itembatterie als Zusatzmodul direkt nach der Darbietung der Basismodule zur Evaluation von Seminaren (MFE-Sr) und Vorlesungen (MFE-Vr) vorgegeben.

       

      Items

      Anmerkung: Die Nummerierung der Items entspricht ihre Position im Fragebogen.

       

      Nr.

      Items zu Unterstützung durch den Dozenten

      4

      Der/Die Lehrende nahm sich genügend Zeit, um mich bei der Vorbereitung meines Referats zu unterstützen.

      5

      Der/Die Lehrende gab hilfreiche Anregungen zur inhaltlichen Vorbereitung meines Referats.

      8

      Der/Die Lehrende ergänzte die Referate sinnvoll mit seinem/ihrem Fachwissen.

       

      Nr.

      Items zu Kompetenzerwerb

      6

      Mir war das Gelingen meines Referats wichtig.

      7

      Der/Die Lehrende gab mir nützliches Feedback zu meinem Referat.

      9

      Ich habe meine Kompetenz, mich mit wissenschaftlichen Texten auseinanderzusetzen, durch die Referatsvorbereitung verbessert.

      10

      Ich habe meine rhetorischen Fähigkeiten durch das Halten des Referats verbessert.

      11

      Der/Die Lehrende gab hilfreiche Anregungen zu Präsentationstechniken (PowerPoint etc.).

       

      Nr.

      Ergänzend vorgegebene, hier nicht weiter dokumentierte Items

      Antwortvorgaben

      1

      Wie viele Referate wurden in den Sitzungen gehalten?

      Offenes Antwortfeld.

      2

      Wie lang waren die Referate durchschnittlich?

      Offenes Antwortfeld.

      3

      Wie beurteilst du die Länge der Referate?

      "viel zu lang", "zu lang", "angemessen", "zu kurz" und "viel zu kurz".

      12

      Bei der Planung meines Referats gab der/die Lehrende Raum für eigene Ideen/Vorschläge.

      Wie Items 4 bis 11.

      13

      Im Punktesystem der gymnasialen Oberstufe (0 [ungenügend] bis 15 [sehr gut +]) bewerte ich die Veranstaltung insgesamt mit folgender Punktzahl: ___

      Offenes Antwortfeld.

       

      Antwortvorgaben

      Für Items 4-11 wird ein 7-stufiges Antwortformat mit den Optionen 1 = "stimme gar nicht zu", 2 = "stimme nicht zu", 3 = "stimme eher nicht zu", 4 = "neutral", 5 = "stimme eher zu", 6 = "stimme zu" und 7 = "stimme vollkommen zu" verwendet. Zusätzlich steht die Antwortoption "nicht sinnvoll beantwortbar" zur Verfügung.

       

      Auswertungshinweise

      Angesichts der offensichtlichen Eindimensionalität der Items der zwei Subskalen können ihre Antwortwerte aufsummiert oder gemittelt werden. Das Online-Evaluationssystem im Fach Psychologie an der Universität Münster erlaubt einen Vergleich der Ergebnisse für verschiedene Veranstaltungen über eine Online-Rückmeldemaske.

       

    Die Evaluation der Lehre ist ein wichtiges Instrument zur Qualitätssicherung an Hochschulen. Nach Rindermann (1996) kann sie in verschiedenen Bereichen Verbesserungen initiieren: So kann sie die Lehrqualifikation der Lehrenden verbessern, Stärken und Schwächen auf Veranstaltungs-, Fach-, oder Universitätsebene aufdecken, Diskussionen zwischen Lehrenden und Studierenden unterstützen, die Mittelvergabe steuern und Weiterbildungsmaßnahmen veranlassen. Seit dem Wintersemester 2000/1 werden im Fach Psychologie an der Universität Münster strukturierte Evaluationsfragebögen eingesetzt. Seit dem Wintersemester 2003/4 wird die Lehrevaluation über eine webbasierte Darbietungsplattform online durchgeführt (Haaser, Thielsch und Moeck, 2007). Vorteile dieser Online-Erhebungsform sind große Zeitersparnisse bei Erhebung, Auswertung und Präsentation der Daten (vgl. z. B. Göritz, Soucek & Bacher, 2005; Haaser, Thielsch & Moeck, 2007; Thielsch & Weltzin, 2012). Außerdem konnte durch sie die Anzahl fehlender Werte durch entsprechend programmierte Rückmeldungen deutlich reduziert und das Feedback für Dozenten durch frei wählbare Vergleichsveranstaltungen wesentlich verbessert werden. Seit 2003 können zudem Zusatzmodule wie das hier beschriebene für eine individuell angepasste Lehrevaluation eingesetzt werden.

    Für den deutschsprachigen Raum liegt bereits eine Reihe von Instrumenten zur Lehrevaluation vor. Eine Übersicht geben Schmidt und Loßnitzer (2010). Sie sind jedoch meist vergleichsweise lang und somit nur bedingt für eine internetgestützte Darbietung und gleichzeitige Evaluation unterschiedlicher Veranstaltungen geeignet. Speziell für Online-Erhebungen und Rückmeldungen werden eher kurze und ökonomische Skalen benötigt. Hohe Ökonomie, das heißt insbesondere eine möglichst geringe zeitliche Belastung von Studierenden durch die Befragung, war deshalb ein vorrangiges Ziel bei der Konstruktion der Münsteraner Itembatterien zur Lehrevaluation. Deshalb wurden ab 2003 nur noch die wichtigsten Fragen in allgemeine Basismodule zur Lehrevaluation aufgenommen. Spezifischere Themenbereiche können durch Zusatzmodule erfasst werden. Dadurch konnten die ursprünglichen Münsteraner Fragebögen zur Evaluation von Seminaren (MFE-S) und zur Evaluation von Vorlesungen (MFE-V), die bereits für ZIS 13 dokumentiert wurden, kurz gehalten werden. Lehrende können deshalb jetzt in einer Vorphase die Befragung zu ihrer Veranstaltung individuell um gewünschte Zusatzmodule ergänzen und somit deren Evaluation spezifischer auf ihre jeweilige didaktische Konzeption zuschneiden. Von besonderem Vorteil ist zudem, dass den Studierenden so nur Fragen vorgelegt werden können, die für die zu bewertende Veranstaltung auch sinnvoll zu beantworten sind.

     

    Itemkonstruktion und Itemselektion

    Die Itembatterien der zehn Zusatzmodule des "Münsteraner Fragebogen zur Lehrevaluation" (MFE) wurden auf der Basis einer Analyse von Merkmalen guter Lehre (Grabbe, 2003) und durch die Aufteilung eines umfangreicheren Fragebogenentwurfs zur Evaluation von Seminaren entwickelt, der am Fachbereich Psychologie der Universität Münster konstruiert wurde. Die abschließende Version des von Grabbe (2003) erstellten Seminarfragebogens sollte mit 29 Items acht Dimensionen der Lehrqualität möglichst detailliert erfassen. Es zeigte sich aber im Gespräch mit den Dozenten, dass der Fragebogen für die an der Universität angebotenen Seminare nicht immer alle als relevant erachteten Bereiche abdeckte, da unterschiedlichste Seminarformen angeboten werden, deren Besonderheiten kaum mit einem allgemeinen Fragebogen zu erfassen sind. Daher wurden alle Fragen, die sich auf eine bestimmte Veranstaltungsform beziehen, aus den allgemeinen Evaluationsinstrumentarien herausgenommen und in Zusatzmodule integriert. So entstanden die Zusatzmodule "Referate" sowie "Gruppenarbeit". Sie können seit 2003 zusätzlich zum Seminarevaluationsfragebogen (MFE-Sr) eingesetzt werden. Außerdem wurden diese beiden Itembatterien auf Wunsch der Dozenten im gleichen Jahr um die Module "Basistexte", "Diskussion", "Exkursion", "Hausaufgaben" und "Moderation" ergänzt, die gleichermaßen für die Evaluation von Seminaren als auch von Vorlesungen herangezogen werden können, sowie um die nur für eine Beurteilung von Seminaren vorgesehenen Zusatzmodule "computergestützte Lehre", "Rollenspiele" und "Untersuchungen von Studierenden" (Moeck & Thielsch, 2004). In den folgenden Jahren wurden nur die Formulierungen einzelner Items geringfügig modifiziert. Im Sommersemester 2010 wurden alle Zusatzmodule einer grundlegenden Itemanalyse und -revision unterzogen.

     

    Stichproben

    Zwischen dem Wintersemester 2008/9 und dem Wintersemester 2009/10 wurden im Rahmen der Lehrevaluation 348 Bewertungen mit dem Zusatzmodul "Referate" zur Seminarevaluation erhoben. 45 erfolgten durch Studenten und 301 durch Studentinnen. Die Befragten waren zwischen 18 und 40 Jahren (M = 22.4; SD = 3.0) alt. Die Mehrzahl (54.3%) studierte Psychologie im Hauptfach, die übrigen im Magisterstudiengang oder im Nebenfach. Die Studierenden befanden sich zwischen dem ersten und 22. Semester (M = 3.0; SD = 2.2).

    Die Lehrevaluation wird seit dem Wintersemester 2002/3 jeweils am Ende eines Semesters durchgeführt. Für diese Erhebungen wurde eine Online-Plattform basierend auf PHP und kombiniert mit MySQL-Datenbanken entwickelt (Haaser et al., 2007).

     

    Itemanalysen

    Eine explorative Faktorenanalyse (Hauptachsenanalyse mit obliquer Promax-Rotation; Tabelle 1) legt nach dem Kriterium Eigenwerte > 1 eine 2-Faktor Lösung nahe: Ein erster Faktor klärt mit einem Eigenwert von 3.27 40.6 % der Varianz auf, der zweite Faktor mit einen Eigenwert von 1.15 14.3 % der Varianz. Ihre Korrelation beträgt .58 (p < .01).

    Der erste Faktor ist primär mit den Items 6, 7, 9, 10 und 11 assoziiert (Tabelle 1), der zweite mit den Items 4, 5 und 8. Die Nebenladungen beider Faktoren jeweils auf den Items des anderen Faktors sind alle > .30. Die Items der ersten Skala sollen dabei insbesondere die Unterstützung des Dozenten im Vorfeld des Referates sowie bei dessen Durchführung abbilden. Hier ist es eine wichtige Aufgabe eines Lehrenden die Referenten entsprechend organisatorisch und inhaltlich zu begleiten und sowohl im Vorfeld als auch im Referat selber aktiv zu werden. Getrennt soll jedoch mit der zweiten Subskala der Kompetenzerwerb der Referenten erfragt werden. Dieser ist nicht nur abhängig von Feedback und spezifischen Hinweisen des Dozenten, sondern auch vom Engagement der Referenten und deren Fähigkeiten, sich neues Wissen anzueignen und dieses zu präsentieren.

    Bei der Interpretation dieser Faktoren sind aber die vergleichsweise geringen Ladungen zu beachten - es ist nicht auszuschließen, dass eine spätere Reanalyse dieses Moduls auf Basis eines größeren Datensatzes zu einer geänderten Faktorstruktur führt.

     

    Tabelle 1

    Mittelwerte (M), Standardabweichungen (SD), Trennschärfen (T), Faktorladungen (FL) und Cronbachs Alpha (CA) bei Ausschluss des Items für die Subskalen Dozent und Kompetenzerwerb (N = 331)

    Dozent

    M

    SD

    T

    FL

    CA

    Item 4

    6.17

    .89

    .44

    .54

    .68

    Item 5

    5.39

    1.48

    .58

    .78

    .48

    Item 8

    5.53

    1.50

    .54

    .55

    .55

    Kompetenzerwerb

    Item 6

    5.89

    1.28

    .44

    .46

    .75

    Item 7

    5.20

    1.66

    .49

    .48

    .73

    Item 9

    4.25

    1.71

    .58

    .73

    .70

    Item 10

    4.40

    1.55

    .63

    .77

    .68

    Item 11

    3.87

    1.87

    .52

    .60

    .73

    Anm. Faktorladungen wurden mit AMOS ermittelt, die übrigen Berechnungen erfolgten mit SPSS

     

    Itemkennwerte

    Itemkennwerte (Tabelle 1) zur Beurteilung der psychometrischen Eigenschaften der sechs Items der beiden Subskalen liegen vor.

     

    Reliabilität

    Für die drei Items der Subskala Unterstützung durch den Dozenten beträgt Cronbachs Alpha .68 und für die fünf Items der Subskala Kompetenzerwerb .76. Die interne Konsistenz der Subskalen ist demnach als ausreichend für die in der Lehrevaluation übliche Auswertung auf Veranstaltungsebene anzusehen.

     

    Validität

    Bereits Marsh (1984) weist auf die grundsätzliche Schwierigkeit hin, Lehrevaluationsinstrumente angemessen zu validieren, da sehr viele verschiedene Faktoren den Lehrerfolg beeinflussen (bspw. Lehrkompetenz, Vorwissen der Studierenden, Thema oder Veranstaltungstyp). Die meisten Instrumente, sowie die Itemsammlung von Grabbe (2003) auf der die hier vorgestellten Itembatterien aufbauen, können als Versuch angesehen werden, möglichst viele der für die Lehrqualität relevanten Aspekte zu erfassen. Das explizite Ziel der Zusatzmodule bestand nun aber darin einzelne thematisch zusammenhängende Itemblöcke als Modul herauszulösen. Eine Validierung an einem Gesamtkonstrukt Lehrqualität ist damit erschwert, da nur Teilaspekte betrachtet werden. Um dieses Problem zu umgehen, sollen konvergente und divergente Zusammenhänge zu anderen Indikatoren aus der Lehrevaluation aufgezeigt werden. Zur Beurteilung der Validität der Items des Zusatzmoduls "Referate" wurden die Korrelationen der Summenwerte der Items der beiden Subskalen "Kompetenzerwerb" und "Dozent" ermittelt

    1.     mit der Gesamtbeurteilung der jeweils zugehörigen Lehrveranstaltung (ein Item aus dem Lehrevaluationsbasismodul MFE-Sr), dem selbst eingeschätzten Lernerfolg (ein Item aus Lehrevaluationsbasismodul dem MFE-Sr) und

    2.     mit der Gesamtbewertung der Qualität aller Referate (das Item 13 aus dem vorliegenden Referatemodul).

    Die Skala Unterstützung durch den Dozenten des MFE-ZRe korreliert schwächer mit der Gesamtbeurteilung der jeweils zugehörigen Lehrveranstaltung (.32) und dem selbst eingeschätzten Lernerfolg (.35) als die Skala Kompetenzerwerb (.55, .54; alle p < .01). Ähnliches gilt für die Korrelation der beiden Skalen des Zusatzmoduls jeweils mit der Gesamtbewertung der Qualität der Referate: Die Skala Unterstützung durch den Dozenten korreliert (.28; p < .01) schwächer mit dieser Gesamtnote als der Kompetenzerwerb (.50; p < .01). Es zeigt sich, dass die Skala zur Dozentenunterstützung einen mittleren, die Skala Kompetenzerwerb einen großen Zusammenhang mit dem selbst eingeschätzten Lernerfolg, der Gesamtbewertung eines Seminars und der Gesamtbewertung der Referate hat. Dies ist inhaltlich plausibel.

    Weitere Validierungsdaten werden derzeit erhoben. Die Ergebnisse sollen in der nächsten Version von ZIS berichtet werden.

     

    Deskriptive Statistiken

    Deskriptive Statistiken für die Items (Tabelle 1) und zwei von ihnen gebildete Subskalen (Tabelle 2) liegen vor.

     

    Tabelle 2

    Mediane (Me), Mittelwerte (M), Standardabweichungen (SD) sowie Schiefe und Kurtosis für die Subskalen Dozent und Kompetenzerwerb (N = 331)

     

    ME

    M

    SD

    Schiefe

    Kurtosis

    Dozen

    4.45

    4.67

    .88

    -.48(.13)

    1.86(.27)

    Kompetenzerwerb

    4.73

    4.80

    1.17

    -.50(.13)

    -.13(.27)

    Anm. Die Berechnungen erfolgten mit SPSS


     

     

    • Ina Grötemeier, Westfälische Wilhelms-Universität Münster, Institut für Psychologie, Fliednerstr. 21, 48149 Münster, Webseite: www.uni-muenster.de/PsyEval.
    • Dr. Dipl.-Psych. Meinald Thielsch, Westfälische Wilhelms-Universität Münster, Psychologisches Institut 1, Fliednerstr. 21, 48149 Münster, E-Mail: thielsch@uni-muenster.de, Tel. 0251 83 34154.