Open Access Repositorium für Messinstrumente

AkkordeonDetailedScaleViews

Münsteraner Fragebogen zur Evaluation von Tutorien (MFE-T)

  • Autor/in: Thielsch, M. T., Dusend, T., & Grötemeier, I.
  • In ZIS seit: 2010
  • DOI: https://doi.org/10.6102/zis107
  • Zusammenfassung: Die hier dokumentierte Itembatterie zur Bewertung von Tutorien ist ein Zusatzmodul des "<a href="http://zis.gesis.org/appendix/M&uuml;nsteraner%20Evaluation-&Uuml;bersicht.htm">M&uuml;nsteraner Fragebogen zur Evaluation</a>" (MFE-T).
    Abstract: The item battery for the evaluation of tutorials documented here is an additional module of the "M&uuml;nster Questionnaire for Evaluation" (MFE-T).
  • Sprache Dokumentation: deutsch
  • Sprache Items: deutsch
  • Anzahl der Items: 9
  • Reliabilität: Cronbachs Alpha = .70 bis .83
  • Validität: Hinweis auf die konvergente Validität
  • Konstrukt: Lehrevaluation
  • Schlagwörter: Lehre | teaching
  • Item(s) in Bevölkerungsumfrage eingesetzt: nein
  • URL Webseite: http://www.uni-muenster.de/PsyEval
  • Entwicklungsstand: validiert
    • Instruktion

      Die hier dokumentierte Itembatterie zur Bewertung von Tutorien ist ein Zusatzmodul des "Münsteraner Fragebogen zur Evaluation"  (MFE) und wird ohne eigene Instruktion präsentiert. Allgemeine Informationen zur Befragung erfolgen beim erstmaligen Zugriff auf das System (Verwendung der Daten, technische Voraussetzungen, u. ä.). Dabei werden auch demografische Merkmale der Teilnehmer erfragt. Üblicherweise wird die Itembatterie als Zusatzmodul direkt nach der Darbietung der Basismodule zur Evaluation von Veranstaltungen mit Tutorien vorgegeben.

       

      Items

      Nr.

      Einleitende Filterfrage zum MFE-T

      Antwortvorgaben

      1

      Hast Du in dieser Veranstaltung das Tutorium bzw. die Unterstützung von Tutoren/innen in Anspruch genommen?

      ja, aber nur einmal; ja, mehrmals; nein, ich hatte keinen Bedarf; nein, dies war aus Zeitgründen nicht möglich; nein, es gab keine Tutoren/Tutoriumsveranstaltungen

      Anm. Nur wenn die erste oder zweite Option gewählt wird, werden die weiteren Items des MFE-T dargeboten: Bitte bewerte im Folgenden das Tutorium bzw. den Tutor oder die Tutoren dieser Veranstaltung. Wenn es mehr als einen Tutor gab, versuch bitte deren Leistung als Ganzes einzuschätzen. Einzelnes Feedback an bestimmte Tutoren kann am Ende über das Textfeld gegeben werden.

       

      Nr.

      Items zu Unterstützung

      2

      Das Tutorium fand oft genug statt; bzw. der/die Tutor/in war oft genug verfügbar.

      3

      Der/die Tutor/in konnte mir bei der Lösung meiner Probleme helfen.

      4

      Dozent/in und Tutoren haben ihr Vorgehen gut miteinander abgestimmt.

       

      Nr.

      Items zu Bedarf

      5

      Der Einsatz von Tutoren hat mir persönlich beim Lernen geholfen.

      6

      Um die Anforderungen der Veranstaltung zu bewältigen, ist der Einsatz von Tutoren zwingend notwendig.

      7

      Ich finde eine Finanzierung dieses Tutoriums durch Studiengebühren ist sinnvoll.


       

       

      Nr.

      Zusatzfragen

      Antwortvorgaben

      8

      Im Punktesystem der gymnasialen Oberstufe (0 (ungenügend) bis 15 (sehr gut +)) bewerte ich das Tutorium/die Tutoren insgesamt mit der folgenden Punktzahl: ___

      0 bis 15

      9

      Verbesserungsvorschläge / sonstige Anmerkungen für die Tutoren: __

      Offenes Antwortfeld

       

      Antwortvorgaben

      7-stufiges Antwortformat mit den Optionen 1 = "stimme gar nicht zu", 2 = "stimme nicht zu", 3 = "stimme eher nicht zu", 4 = "neutral", 5 = "stimme eher zu", 6 = "stimme zu" und 7 = "stimme vollkommen zu". Zusätzlich steht die Antwortoption "nicht sinnvoll beantwortbar" zur Verfügung.

       

      Auswertungshinweise

      Angesichts der offensichtlichen Eindimensionalität der Items der zwei Subskalen können ihre Antwortwerte aufsummiert oder gemittelt werden.

      Mit dem vorliegenden Instrument können allerdings verschiedene in oder für eine Veranstaltung eingesetzte Tutoren nicht getrennt bewertet werden, da die Instruktion darum bittet, bei mehreren Tutoren deren Leistung als Ganzes einzuschätzen. Es spricht jedoch grundsätzlich nichts dagegen, mit dem MFE-T Daten je Tutor zu erheben und personengebunden an die Tutoren zurück zu melden, indem z.B. die einleitende Filterfrage und die Items der Subskala Unterstützung je Tutor/in abgefragt wird.

       

    Die universitäre Lehre wird oft durch Tutorien ergänzt, die von Studierenden höherer Semester abgehalten werden. Die Erhebung von Studiengebühren hat die Zahl solcher Tutorien erhöht, da diese Mittel oft für diese Lehrangebote eingesetzt werden. Tutoren erfüllen dabei unterschiedliche Aufgaben: Sei es, dass sie eine Lehrveranstaltung direkt begleiten, eine eigene Sprechstunde abhalten, einzelne Arbeitsgruppen unterstützen, eigene Veranstaltungen als zusätzliche Ergänzung anbieten oder allgemeine Aufgaben in der Lehre wahrnehmen. Tutoren sind dabei eine kosteneffiziente Lehrunterstützung, die an vielen Stellen im universitären Lehrbetrieb unverzichtbar geworden zu sein scheint. Zudem profitieren die Tutoren durch derartige Tätigkeiten für ihr eigenes Studium (Roscoe & Chi, 2007, 2008). Tutorien sind dementsprechend auch eine gebräuchliche Methode des peer learning.

    Die studentische Evaluation der Lehre ist ein wichtiges Instrument zur Qualitätssicherung an Hochschulen (Rindermann, 2009). Da Tutoren meist nur ergänzende Aufgaben zur regulären curricularen Lehre übernehmen, sind studentische Tutorien aber zumeist nicht im Fokus regulärer Lehrveranstaltungsevaluationen. Bisherige Lehrevaluationsinstrumente dienen stattdessen in erster Linie der Evaluation von Vorlesungen und Seminaren. Eine Übersicht zu diesem Thema findet sich in Schmidt und Loßnitzer (2010). Lediglich vereinzelt sind in der wissenschaftlichen Literatur systematische Evaluationen von Tutorien dokumentiert. Diese fanden dann aber unter spezifischen Bedingungen oder Fragestellungen statt (vgl. Thielsch & Hirschfeld, under review). Soll jedoch eine allgemeine Tutorienevaluation in ein Lehrevaluationssystem eingebunden werden, gibt es dafür kaum geeignete Instrumente. Aufgrund der Unterschiedlichkeit tutorieller Unterstützung universitärer Lehre können vorhandene standarisierte Instrumente der Lehrevaluation nicht ohne Anpassungen auf studentische Tutorien angewendet werden. Zudem wird ein eher kurzes Instrument benötigt, das sich ergänzend zu vorhandenen Lehrevaluationsverfahren einsetzen lässt. Wir schlagen hier - als Screening-Ansatz - eine Tutorienevaluation vor, die sich an der Einschätzung von Nützlichkeit und Bedarf orientiert. Aufgrund der Vielseitigkeit der Tutorien dient die allgemeine, veranstaltungsübergreifende Tutorenevaluation weniger der spezifischen Rückmeldung an einzelne Tutoren. Primäre Ziele sind vielmehr die Sicherung von Qualität sowie eine Hilfestellung bei der Verteilung universitärer Ressourcen (vgl. Souvignier & Gold, 2002). Der MFE-T erfasst deshalb weniger konkrete Verhaltensweisen sondern eher generelle Eindrücke der Teilnehmer eines Tutoriums, um die spezifische Diversität dieses Veranstaltungsangebots angemessen berücksichtigen zu können. Er wird seit 2008 im Fach Psychologie an der Universität Münster eingesetzt. Die hier dokumentierte Version wurde auf der Basis begleitender empirischer Prüfungen seiner psychometrischen Eigenschaften kontinuierlich entwickelt. Weitere Revisionen sind möglich, die dann auch durch ZIS vermittelt werden sollen.

     

    Itemkonstruktion und Itemselektion

    Der MFE-T wurde expertenbasiert induktiv entwickelt. Ausgangspunkte bildeten eine gründliche Sichtung der einschlägigen Fachliteratur (vgl. Thielsch & Hirschfeld, under review) und noch nicht dokumentierte fachinterne Vorgängerversionen aus den Jahren 2008 und 2009 (Thielsch et al., 2010). Ein Ziel seiner Konstruktion war es, eine allgemeine Evaluation inhaltlich stark verschiedener Veranstaltungsformen von Tutorien zu ermöglichen. Dazu muss einerseits erfasst werden, inwieweit ein Tutorium die zugehörige Lehre unterstützt und andererseits, inwieweit dieses Tutorium aus Sicht der Studierenden benötigt wird. Weitere übergeordnete Konstruktionsziele waren Rückmeldungen sowohl an Lehrende als auch an Tutoren sowie die Gewinnung von Daten für eine Steuerung der Verteilung von zusätzlichen Tutorengeldern aus Studiengebühren. Daher sollen die Items die generelle Hilfeleistung durch die Tutoren sowie den allgemeinen Bedarf der Studierenden fokussieren. Zudem sollte das Instrument andere Lehrevaluationsinstrumente ergänzen und deshalb möglichst kurz, d.h. ökonomisch durchzuführen sein.

     

    Stichproben

    Im Wintersemester 2009/10 wurden mit dem MFE-T 588 Tutorenevaluationen erhoben. Nur in 472 von diesen wurde angegeben, dass ein entsprechendes Tutorangebot genutzt worden sei und nur in diesen wurden dann entsprechend die übrigen Items des MFE-T beantwortet. Mit Hilfe einer ID wurden aus diesen 472 ausgefüllten Fragebogen alle solche Studierende ausgeschlossen, die mehrere Tutorien bewertet hatten. In die hier berichteten Analysen konnten somit die Tutorevaluationen von 376 Studierenden einbezogen werden.

    Die Befragten waren zwischen 18 und 41 Jahren alt (M = 22.82; SD = 3.40). 313 (83.2%) von ihnen waren weiblich. Der überwiegende Teil der Befragten (65.2%) studierte Psychologie im Bachelorstudiengang, weitere 25.8% im Diplomstudiengang, die übrigen als Nebenfach.

    Die Lehrevaluation wird seit dem Wintersemester 2002/3 jeweils am Ende eines Semesters durchgeführt. Für diese Erhebungen wurde eine Online-Plattform basierend auf PHP und kombiniert mit MySQL-Datenbanken entwickelt (Haaser et al., 2007).

     

    Itemanalysen

    Eine explorative Faktorenanalyse (Hauptachsenanalyse mit obliquer Promax-Rotation; Tabelle 1) legt sowohl nach Scree-Plot als auch nach einer Parallelanalyse eindeutig eine Lösung mit zwei Faktoren nahe. Der erste Faktor mit einem Eigenwert von 2.9 klärt 48.2% der Varianz auf, der zweite Faktor mit einem Eigenwert von 1.2 erklärt 20.3% der Varianz. Wie erwartet ist der erste Faktor primär mit den Items 2 bis 4 assoziiert (Tabelle 1), der zweite mit den Items 5 bis 7. Sie können deshalb wie intendiert als "Unterstützung" durch und "Bedarf" an Tutorien interpretiert werden. Keiner der beiden Faktoren hat Nebenladungen auf den Items des jeweils anderen Faktors > .30. Sie korrelieren zu .44.

     

    Tabelle 1

    Mittelwerte (M), Standardabweichungen (SD), Trennschärfen (T), Faktorladungen (FL) und Cronbachs Alpha (CA) bei Ausschluss des Items für die Subskalen Unterstützung und Bedarf (N = 374)

    Unterstützung

    M

    SD

    T

    FL

    CA

    Item 2

    6.46

    .98

    .49

    .61

    .63

    Item 3

    5.93

    1.19

    .56

    .75

    .54

    Item 4

    6.01

    1.19

    .49

    .62

    .63

    Bedarf

     

     

     

     

     

    Item 5

    5.98

    1.50

    .68

    .65

    .78

    Item 6

    5.41

    1.85

    .70

    .91

    .76

    Item 7

    5.85

    1.63

    .70

    .70

    .76

    Anm. Faktorladungen wurden mit AMOS ermittelt, die übrigen Berechnungen erfolgten mit SPSS

     

    Itemkennwerte

    Itemkennwerte (Tabelle 1) zur Beurteilung der psychometrischen Eigenschaften der Items der beiden Subskalen liegen vor.

     

    Reliabilität

    Cronbachs Alpha beträgt .70 für die drei Items der Subskala Unterstützung und .83 für die drei Items der Subskala Bedarf. Die interne Konsistenz der beiden Subskalen ist demnach als ausreichend bis gut zu beurteilen, da beide jeweils nur drei Items umfassen. Diese Ergebnisse entsprechen denen aus Studien zu umfangreicheren Lehrevaluationsinstrumenten (z.B. FEVOR, Staufenbiel, 2000; HILVE, Rindermann, 2009; KIEL, Gediga et al., 2000 oder TRIL, Gollwitzer & Schlotz, 2003).

     

    Validität

    Bereits Marsh (1984) weist auf die grundsätzliche Schwierigkeit hin, Lehrevaluationsinstrumente angemessen zu validieren, da keine allgemein anerkannten Kriterien für gute Lehre existieren. Dieses Problem stellt sich generell auch bei der Bewertung von Tutorien. Als Hinweis auf die konvergente Validität der MFE-T Subskalen kann aber eine jeweils hohe Korrelation der Summenwerte für Unterstützung (.66) und Bedarf (.62) mit der Gesamtbeurteilung von Tutorien angesehen werden.

    Tutorien können in Veranstaltungen eingebettet sein, wie z.B., wenn Tutoren in einem Gesprächsführungsseminar Kleingruppen betreuen und Rückmeldung erteilen. Sie können aber auch eigenständig, d.h. parallel zu Lehrveranstaltungen durchgeführt werden, wie z.B. eine Statistik Vorlesung ergänzende Übungstutorien. Die Gesamtbewertung von zugehörigen Lehrveranstaltungen ist signifikant nur mit den Summenwerten für eine Unterstützung durch und den Bedarf an einer tutoriellen Betreuung assoziiert, wenn diese in die Veranstaltung integriert erfolgt (.51 bzw. .38), nicht aber, wenn sie parallel zu dieser gegeben wird. Studierende sind also sensitiv für diese unterschiedlichen Formen von Tutorien. Dass der MFE-T diese unterschiedliche Perzeption erfasst, kann als Hinweis auf seine divergente Validität angesehen werden. Wir hoffen, in der nächsten Version von ZIS weitere Angaben zur Validität dieses Instruments machen zu können.

     

    Deskriptive Statistiken

    Deskriptive Statistiken für die beiden Subskalen (Tabelle 2) und ihre Items (Tabelle 1) liegen vor.

     

    Tabelle 2

    Mediane (Me), Mittelwerte (M), Standardabweichungen (SD) sowie Schiefe und Kurtosis für die Subskalen Unterstützung und Bedarf (N = 374)

     

    ME

    M

    SD

    Schiefe

    Kurtosis

    Unterstützung

    6.33

    6.10

    .97

    -2.01(.13)

    5.63(.25)

    Bedarf

    6.33

    5.71

    1.46

    -1.59(.13)

    1.99(.25)

    Anm. Die Berechnungen erfolgten mit SPSS

     

     

    •       Dr. Dipl.-Psych. Meinald Thielsch, Westfälische Wilhelms-Universität Münster, Psychologisches Institut 1, Fliednerstr. 21, 48149 Münster, E-Mail: thielsch@uni-muenster.de, Tel. 0251 83 34154.
    •       Tina Dusend und Ina Grötemeier, Westfälische Wilhelms-Universität Münster, Institut für Psychologie, Fliednerstr. 21, 48149 Münster, Webseite: www.uni-muenster.de/PsyEval.