Open Access Repositorium für Messinstrumente

AkkordeonDetailedScaleViews

Münsteraner Fragebogen zur Evaluation von Seminaren (MFE-S)

  • Autor/in: Hirschfeld, G. & Thielsch, M. T.
  • In ZIS seit: 2009
  • DOI: https://doi.org/10.6102/zis77
  • Zusammenfassung: Die drei hier dokumentierten Itembatterien zur Evaluation von Seminaren wurden als Bestandteil eines umfasse ... mehrnderen Systems zur Lehrevaluation vorgegeben, einschließlich auch von zwei ebenfalls in ZIS dokumentierten Itembatterien zur Evaluation von Vorlesungen. weniger
    Abstract: The three item batteries for the evaluation of seminars documented here were given as part of a more comprehensive system for teaching evaluation, including two item batteries for the evaluation of ... mehr lectures also documented in ZIS. weniger
  • Sprache Dokumentation: deutsch
  • Sprache Items: deutsch
  • Anzahl der Items: 14
  • Reliabilität: Cronbachs Alpha = .57 bis .86
  • Validität: Hinweis auf die Inhaltsvalidität
  • Konstrukt: Lehrevaluation
  • Schlagwörter: Lehre | teaching
  • Item(s) in Bevölkerungsumfrage eingesetzt: nein
  • Entwicklungsstand: validiert
    • Instruktion

      Die drei hier dokumentierten Itembatterien zur Evaluation von Seminaren wurden als Bestandteil eines umfassenderen Systems zur Lehrevaluation vorgegeben, einschließlich auch von zwei ebenfalls in ZIS dokumentierten Itembatterien zur Evaluation von Vorlesungen. Sie werden deshalb ohne eigene Instruktion dargeboten. Instruktionen erfolgen beim erstmaligen Zugriff auf das System. Auch die Demografie der Teilnehmer wird beim Zugang ins System abgefragt (Alter, Geschlecht, Semester, Studiengang).

       

      Items

      Nr.

      Items zu Didaktik

      3

      Der/Die Lehrende erläuterte schwierige Sachverhalte verständlich.

      4

      Man hat gemerkt, dass der Dozent/die Dozentin die Lehre für wichtig hält.

      5

      Die Lehrmethoden waren zur Vermittlung des Stoffes gut geeignet.

       

      Nr.

      Items zu Schwierigkeit

      6

      Der/Die Lehrende passte das Niveau des Seminars an den Wissensstand der Studierenden an.

      7

      Die Inhalte des Seminars waren zu schwierig für mich.

      8

      Die Lehrmethoden des Seminars waren wenig abwechslungsreich.

       

      Nr.

      Items zu Selbststudium

      9

      Es wurden ausreichend Materialien (z.B. Literaturangaben, Skript) zur Vertiefung des Stoffes angeboten.

      10

      Es wurden hilfreiche Materialien (z.B. Literaturangaben, Skript) zur Vertiefung des Stoffes angeboten.

      11

      Ich habe die Seminarsitzungen regelmäßig vorbereitet (z.B. durch das Lesen von Literatur oder die Bearbeitung von Hausaufgaben).


       

      Nr.

      Zusätzlich vorgegebene, hier aber nicht weiter behandelte Items

      Antwortvorgaben

      1

      Was war Ihr HAUPTGRUND für den Besuch der Veranstaltung?

      Pflicht, Interesse und Sonstiges.

      2

      Die Thematik hat mich schon vor der Veranstaltung sehr interessiert.

      Wie Items 3 bis 11.

      12

      Ich habe in der Veranstaltung inhaltlich viel gelernt.

      Wie Items 3 bis 11.

      13

      Im Punktesystem der gymnasialen Oberstufe (0 [ungenügend] bis 15 [sehr gut +]) bewerte ich die Veranstaltung insgesamt mit folgender Punktzahl: ___.

      Offenes Antwortfeld.

      14

      Anmerkungen für den/die Lehrende/n: Was hat Ihnen besonders gut an dieser Veranstaltung gefallen? Haben Sie Vorschläge für Veränderungen? Sonstige Anmerkungen:

      Offenes Antwortfeld.

       

      Antwortvorgaben

      Für Items 3-11 wird ein 7-stufiges Antwortformat mit den Benennungen der Extremwerte als 1 = völlig unzutreffend und 7 = völlig zutreffend verwendet.

       

      Auswertungshinweise

      Angesichts der offensichtlichen Eindimensionalität der Items der drei Subskalen können ihre Antwortwerte aufsummiert oder gemittelt werden. Das Online-Evaluationssystem im Fach Psychologie an der Universität Münster erlaubt einen Vergleich der Ergebnisse für verschiedene Veranstaltungen über eine Online-Rückmeldemaske.

       

    Die Evaluation der Lehre ist ein wichtiges Instrument zur Qualitätssicherung an Hochschulen. Nach Rindermann (1996) kann sie in verschiedenen Bereichen Veränderungen initiieren: So kann sie die Lehrqualifikation der Lehrenden verbessern, Stärken und Schwächen auf Veranstaltungs-, Fach-, oder Universitätsebene aufdecken, Diskussionen zwischen Lehrenden und Studierenden unterstützen, die Mittelvergabe steuern und Weiterbildungsmaßnahmen evaluieren.

    Seit dem Wintersemester 2000/1 werden im Fach Psychologie an der Universität Münster strukturierte Evaluationsfragebogen eingesetzt. Seit dem Wintersemester 2003/4 wird die Lehrevaluation über eine webbasierte Darbietungsplattform online durchgeführt (Haaser, Thielsch & Moeck, 2007). Vorteile dieser Erhebungsform sind enorme Zeitersparnisse bei Erhebung, Auswertung und Präsentation der Daten (vgl. z.B. Gritz, Soucek & Bacher, 2005; Haaser, Thielsch & Moeck, 2007). Außerdem kann durch sie die Anzahl fehlender Werte durch entsprechend programmierte Rückmeldungen deutlich reduziert und das Feedback für Dozenten durch frei wählbare Vergleichsveranstaltungen wesentlich verbessert werden.

    Für den deutschsprachigen Raum liegt bereits eine Reihe von Instrumenten zur Lehrevaluation vor. Sie sind jedoch meist vergleichsweise lang und somit nur bedingt für eine internetgestützte Darbietung und gleichzeitige Evaluation unterschiedlicher Veranstaltungen geeignet: Speziell für Online-Erhebungen und Rückmeldungen werden eher kurze und ökonomische Skalen benötigt. Hohe Ökonomie, d.h. eine möglichst geringe Belastung von Studierenden durch die Befragung, war deshalb ein vorrangiges Ziel bei der Konstruktion der hier beschriebenen Itembatterien. Ferner wurden für die meisten existierenden Lehrevaluationsinstrumente Daten für eine Prüfung ihrer psychometrischen Eigenschaften nur beim ersten Einsatz erhoben und sie wurden nicht anhand neuer Daten weiterführend geprüft. Im Unterschied dazu wird hier die nach früheren Hauptkomponentenanalysen angenommene dimensionale Strukturierung der Antworten mit neuen Daten aus nachfolgenden Erhebungen konfirmatorisch untersucht.

     

    Itemkonstruktion und Itemselektion

    Die drei Münsteraner Itembatterien zur Evaluation von Seminaren (MFE-S) entsprechen einer gekürzten Version eines umfangreicheren Fragenmoduls, das am Fachbereich Psychologie der Universität Münster entwickelt und zwischen dem Wintersemester 2002/3 und dem Sommersemester 2005 jedes Semester eingesetzt wurde. Die Originalversion sollte mit 17 Items drei Dimensionen der Lehrqualität möglichst detailliert erfassen (Grabbe, 2003). Erste Item- und Hauptkomponentenanalysen der im Sommersemester 2005 erhobenen Daten veranlassten eine Reduktion auf 14 Items, von denen sich neun drei Hauptkomponenten zuordneten (Haaser, 2006). Für das abschließend beibehaltene Instrument wählte Haaser für diese drei Subskalen bewusst Items aus, die unterschiedliche Aspekte des hier behandelten Konstrukts erfassen sollen. Dies spiegelt sich in teilweise niedrigen Werten für die interne Konsistenz dieser Items nach Cronbachs Alpha wieder.

     

    Stichproben

    Zwischen dem Wintersemester 2002/3 und dem Sommersemester 2008 wurden im Rahmen der Lehrevaluation 9757 einzelne Lehrbewertungen erhoben. 1538 der Bewertungen wurden von Studenten und 7340 von Studentinnen abgegeben. In 870 Fragebogen fehlten die demografischen Angaben. Die Befragten waren zwischen 18 und 67 Jahre (M = 23.1, SD = 3.6) alt. Die Mehrzahl (71.9%) studierte Psychologie im Hauptfach, die übrigen im Magisterstudiengang oder im Nebenfach. Die Studierenden befanden sich zwischen dem ersten und 40. Semester (M = 4.6, SD = 2.4).

    Um die zentrale Voraussetzung unabhängiger Itembeantwortungen zu erfüllen, die allen konventionellen und neueren dimensionsanalytischen Verfahren gemeinsam ist, wurden in die hier berichteten Analysen nur jeweils eine Bewertung von insgesamt 103 verschiedenen Studierenden einbezogen. Sie wurden in der Befragung eines Semesters erhoben, für welches der größte Rücklauf (WS 07/08) erzielt wurde. Aus dem Gesamtdatensatz, der aus Datenschutzgründen keine Befragtenkennungen enthält, wurden dafür alle Daten gelöscht, die von Studierenden mit identischen demografischen Daten (Alter, Geschlecht, Studiengang, Semester) stammen. Die demografischen Merkmale der so ausgewählten, und dadurch garantiert unterschiedlichen 103 Befragten, unterscheiden sich nicht von den für die Gesamtstichprobe ermittelten.

    Die Lehrevaluation wird seit dem Wintersemester 2002/3 jeweils am Ende eines Semesters durchgeführt. Für diese Erhebungen wurde eine Online-Plattform basierend auf PHP und kombiniert mit MySQL-Datenbanken entwickelt (Haaser et al., 2007).

     

    Variablen und Auswertungsmethode

    Nach bereits früher durchgeführten Hauptkomponentenanalysen der bis dahin erhobenen Evaluationsdaten (vgl. Haaser, 2006) sollten die Antworten zu den neun hier geprüften Items den Einfluss von drei Dimensionen - Didaktik, Schwierigkeit und Selbststudium - indizieren. Das Zutreffen dieser aus früheren Ergebnissen abzuleitenden Annahme wird hier mit linearen konfirmatorischen Faktorenanalysen und unter Rückgriff auf den konventionellen Maximum Likelihood Schätzer geprüft. Alle entsprechenden Analysen wurden mit AMOS durchgeführt.

     

    Itemanalysen

    Ein lineares konfirmatorisches Messmodell (Tabelle 1) mit drei korrelierten Faktoren (Tabelle 2) erzielt eine gute Passung (Chi-Quadrat = 31, df = 24; TLI = .97, CFI = .98, RMSEA = .05). Dies bestätigt die auf der Basis früherer Analysen erwartete Strukturierung der Antworten zu den drei Subskalen.

     

    Tabelle 1

    Mittelwerte (M), Standardabweichungen (SD), Trennschärfen (T) und Faktorladungen (FL) nach einem dreidimensionalen konfirmatorischen Messmodell mit Einfachstruktur sowie Cronbachs Alpha if item deleted (CA) für die Items der Subskalen Didaktik (D1 - D3), Schwierigkeit (SC1 - SC3) und Selbststudium (SE1 - SE3; N = 103)

     

    M

    SD

    T

    FA

    CA

    D1

    5.2

    1.9

    .70

    .87

    .82

    D2

    5.6

    1.8

    .66

    .72

    .85

    D3

    5.0

    1.7

    .68

    .87

    .74

    SC1

    4.8

    2.0

    .56

    .84

    .34

    SC2

    4.4

    2.1

    .52

    .71

    .38

    SC3

    4.7

    2.0

    .24

    .33

    .76

    SE1

    5.1

    1.7

    .50

    .74

    .30

    SE2

    4.7

    1.9

    .57

    .96

    .16

    SE3

    3.8

    2.1

    .15

    .18

    .83

    Anm. Die Berechnungen erfolgten mit SPSS bzw. AMOS


     

    Tabelle 2

    Korrelationen der Summenwerte für die Subskalen Didaktik (DI), Schwierigkeit (SC) und Selbststudium (SE; N = 103)

     

    Selbststudium

    Schwierigkeit

    Didaktik

    .34

    .66

    Schwierigkeit

    .24

     

     

    Itemkennwerte

    Itemkennwerte (Tabelle 1) und Interitemkorrelationen (Tabelle 3) zur Beurteilung der psychometrischen Eigenschaften der Items der drei Subskalen liegen vor.

     

    Tabelle 3

    Korrelationen der Items der Subskalen Didaktik (D1 - D3), Schwierigkeit (SC1 - SC3) und Selbststudium (SE1 - SE3; N = 103)

     

    D2

    D3

    SC1

    SC2

    SC3

    SE1

    SE2

    SE3

    Didaktik 1

    .58

    .74

    .67

    .57

    .30

    .34

    .35

    .00

    Didaktik 2

     

    .69

    .48

    .36

    .19

    .28

    .33

    .02

    Didaktik 3

     

     

    .55

    .46

    .38

    .33

    .42

    .03

    SC1

     

     

     

    .61

    .23

    .26

    .20

    .04

    SC2

     

     

     

     

    .20

    .33

    .23

    -.03

    SC3

     

     

     

     

     

    .08

    .16

    -.02

    SE1

     

     

     

     

     

     

    .71

    .09

    SE2

     

     

     

     

     

     

     

    .18

    Anm. Die Berechnungen erfolgten mit SPSS

     

    Reliabilität

    Cronbachs Alpha beträgt .86 für die Subskala Didaktik, .62 für die Subskala Schwierigkeit und .57 für die Subskala Selbststudium. Die interne Konsistenz der Subskalen ist danach als akzeptabel zu beurteilen, insbesondere auch deshalb, weil sie jeweils aus nur drei Items bestehen, mit denen zudem möglichst verschiedene Aspekte der jeweiligen Dimension erfasst werden sollen.

    Weitere Reliabilitätsanalysen finden sich bei Haaser (2006). Ihre Ergebnisse entsprechen weitgehend den für umfangreichere Lehrevaluationsinstrumente ermittelten (z.B. FEVOR: Staufenbiel, 2000; HILVE: Rindermann, 2001; KIEL: Gediga et al., 2000 oder TRIL: Gollwitzer & Schlotz, 2003).

     

    Validität

    Bereits Marsh (1984) weist auf die grundsätzliche Schwierigkeit hin, Lehrevaluationsinstrumente angemessen zu validieren, da sehr viele verschiedene Faktoren den Lehrerfolg beeinflussen (Lehrkompetenz, Vorwissen der Studierenden, Thema, Veranstaltungstyp). Die meisten Instrumente, sowie die Itemsammlung von Grabbe (2003), auf der die hier vorgestellten Itembatterien aufbauen, können als Versuch angesehen werden, möglichst viele der für die Lehrqualität relevanten Aspekte zu erfassen. Im Gegensatz zu diesen Ansätzen wurde hier versucht, die wichtigsten Bereiche für den Lehrerfolg von Lehrenden zu erheben. Diese sind nach verschiedenen Modellen des Lehrerfolgs, wie dem multimodalen Bedingungsmodell von Rinderman (2001), das Auftreten und die Didaktik des Lehrenden. Diese werden mit den hier vorgeschlagenen Itembatterien erfasst. Dies spricht für deren Inhaltsvalidität in wichtigen Bereichen studentischer Lehrveranstaltungsbeurteilungen.

    Ein zentrales Ziel der Konstruktion der hier dokumentierten Subskalen war zudem ihre Ökonomie, die mit nur drei Items pro Subskala sicherlich als zufriedenstellend erreicht beurteilt werden kann. Eine breite Erfassung aller Aspekte des Lehrerfolgs würde sehr lange Fragebogen erfordern, deren Einsatz meist die Rücklaufquote und damit die Aussagekraft der Evaluation einschränkt. Die Konzentration auf zentrale Bereiche in einem kurzen Instrument soll hier eine hohe freiwillige Beteiligung an der Lehrevaluation sichern. Vergleichsweise sehr hohe Rücklaufquoten bei einer freiwilligen Lehrevaluation (Hauptfachseminare im Mittel > 60 %, Thielsch et al., 2008) und jährlich stattfindende Metaevaluationen (Haaser et al, 2007, Thielsch et al., 2008) zeigen, dass sowohl Lehrende als auch Studierende das Instrument gut annehmen und positiv beurteilen.

     

    Deskriptive Statistiken

    Deskriptive Statistiken für Subskalen (Tabelle 4) und Items (Tabelle 1) liegen vor.

     

    Tabelle 4

    Mediane (Me), Mittelwerte (M), Standardabweichungen (SD), Schiefe und Kurtosis für die Subskalen Didaktik, Schwierigkeit und Selbststudium (N = 103)

     

    ME

    M

    SD

    Schiefe

    Kurtosis

    Didaktik

    5.7

    5.3

    1.6

    -1.11(0.24)

    0.41(0.47)

    Schwierigkeit

    4.7

    4.6

    1.5

    -0.40(0.24)

    -0.58(0.47)

    Selbststudium

    4.7

    4.6

    1.4

    -0.48(0.24)

    0.10(0.47)

     

    •     Dr. Dipl.-Psych.  Meinald Thielsch, Westfälische Wilhelms-Universität Münster, Psychologisches Institut 1, Fliednerstr. 21, 48149 Münster, E-Mail: thielsch@uni-muenster.de, Tel. 0251 83 34154.
    •     Dr. Dipl.-Psych. Gerrit Hirschfeld, Vodafone Stiftungsinstitut und Lehrstuhl für Kinderschmerztherapie und Pädiatrische Palliativmedizin Vestische Kinder- und Jugendklinik Datteln, Private Universität Witten/Herdecke, Dr.-Friedrich-Steiner-Str. 5, 45711 Datteln, E-Mail: g.hirschfeld@kinderklinik-datteln.de, Tel. 02363 975 183.