Open Access Repositorium für Messinstrumente

AkkordeonDetailedScaleViews

Feedback-Instrument zur Rettungskräfte-Entwicklung – Dozent (FIRE-DO)

  • Autor/in: Kleinstück, C., Röseler, S., Hagel, M., & Thielsch, M. T.
  • In ZIS seit: 2021
  • DOI: https://doi.org/10.6102/zis301
  • Zusammenfassung: Das Feedback-Instrument zur Rettungskräfte-Entwicklung – Dozent (FIRE-DO) dient der Beurteilung der didaktischen Kompetenz eines einzelnen Dozenten / einer einzelnen Dozentin in der ... mehr Rettungskräf-te-Ausbildung. Das Instrument ist ein Zusatzmodul für das Feedback-Instrument zur Rettungskräfte-Entwicklung (FIRE, Schulte & Thielsch, 2019; Schulte et al., 2019), einem Fragebogen für die Evalua-tion von Ausbildungslehrgängen für Führungskräfte im Rettungswesen. Die Validierung des FIRE-DO fand mithilfe von Lehrgangsteilnehmenden am Institut der Feuerwehr Nordrhein-Westfalen statt (N = 350). Eine konfirmatorische Faktorenanalyse legte einen zugrundeliegenden Faktor nahe. Die Skala weist eine sehr hohe interne Konsistenz auf. Es liegen Hinweise auf Konstrukt- und Kriteriumsvalidität vor. weniger
    Abstract: The Feedback Instrument for Rescue Force Development – trainer (FIRE-DO) can be used to evaluate the teaching competency of an individual trainer in rescue force training. This instrument is an addi-t ... mehrional module for the Feedback Instrument for Rescue Force Development (FIRE, Schulte & Thielsch, 2019; Schulte et al., 2019), which is a questionnaire for the evaluation of leadership training courses for rescue forces. The FIRE-DO was validated on basis of 350 firefighters who participated in training courses at the Institute of the North Rhine-Westphalia Fire Brigade (IdF NRW). A confirmatory factor analysis suggested one underlying factor. The scale shows very high internal consistency and there are indications of construct and criterion validity. weniger
  • Sprache Dokumentation: deutsch
  • Sprache Items: deutsch
  • Anzahl der Items: 7
  • Erhebungsmodus: Paper & Pencil
  • Bearbeitungszeit: 2 Minuten (Schätzung der Autoren)
  • Reliabilität: McDonald‘s Omega = .91
  • Validität: Hinweise auf Kriteriumsvalidität und Konstruktvalidität
  • Konstrukt: Didaktische Kompetenz von Dozent/-innen im Rahmen der Rettungskräfteausbildung (beurteilt durch Teilnehmende)
  • Schlagwörter: Feuerwehr, Rettungskräfte, Dozent, Evaluation | fire service, rescue forces, trainer, evaluation
  • Item(s) in Bevölkerungsumfrage eingesetzt: nein
  • URL Webseite: go.wwu.de/fire
  • Entwicklungsstand: erprobt
    • Instruktion

      [Technischer Hinweis: Üblicherweise wird die Itembatterie direkt nach der Darbietung des FIRE-Kernfragebogens vorgegeben, sodass keine allgemeinen Instruktionen wie beispielsweise Hinweise zur Nutzung der Antwortskala unmittelbar vor diesem Zusatzmodul präsentiert werden. Die untenstehenden Instruktionen beziehen sich demnach spezifisch auf das Zusatzmodul, sind jedoch nur in Verbindung mit den zuvor dargebotenen allgemeinen Instruktionen des FIRE-Kernfragebogens zu verstehen.]

       

      Bisher haben sich unsere Fragen auf das gesamte Dozententeam bezogen. Nun soll es um einzelne Dozentinnen und Dozenten gehen. Bitte geben Sie an, auf welchen Dozenten/ welche Dozentin Sie sich beziehen werden. Name des/der nachfolgend bewerteten Dozenten/Dozentin:  

      [Hier sollte ein Freitextfeld für den Namen des Dozenten/ der Dozentin zur Verfügung gestellt werden]

       

      Items

      Tabelle 1

      Items der Skala FIRE-DO                                                        

      Nr.

      Item

      1

      Der Dozent / Die Dozentin fasste schwierige Sachverhalte prägnant zusammen.

      2

      Ich finde, der Dozent / die Dozentin gab nützliches Feedback.

      3

      Der Dozent / Die Dozentin motivierte mich, mich einzubringen.

      4

      Ich finde, der Dozent / die Dozentin war am Lernerfolg der Teilnehmer interessiert.

      5

      Der sprachliche Ausdruck des Dozenten / der Dozentin war verständlich.

      6

      Der Dozent / Die Dozentin kannte sich mit den Inhalten der Lehre sehr gut aus.

      7

      Der Dozent / Die Dozentin konnte den Unterricht mit seinen / ihren eigenen Einsatzerfahrungen gut ergänzen.

      Anmerkung. Alle Items sind positiv gepolt.

       

      Antwortvorgaben

      Siebenstufiges Antwortformat mit den Optionen 1 = stimme gar nicht zu, 2 = stimme nicht zu, 3 = stimme eher nicht zu, 4 = neutral, 5 = stimme eher zu, 6 = stimme zu, 7 = stimme vollkommen zu. Ein zusätzliches Feld bietet die Möglichkeit anzugeben, dass das jeweilige Item nicht beantwortbar sei.

       

      Auswertungshinweise

      Generelle Hinweise:

      Es ist darauf zu achten, dass die Auswertung anonym erfolgt. Dementsprechend sollten keine demographischen Variablen erhoben werden, anhand derer Rückschlüsse auf einzelne Personen gezogen werden können. Um Anonymität zu gewährleisten, empfehlen wir zudem, eine Auswertung erst vorzunehmen, wenn mindestens acht ausgefüllte Fragebögen vorliegen (bzw. in kleinen Veranstaltungen mit mehr als 9 aber weniger als 15 Teilnehmenden mindestens 50% an der Befragung teilgenommen haben; vgl. Thielsch & Weltzin, 2013).

       

      Berechnung:

      Der Skalenmittelwert der Skala Dozent (Items Nr. 1, 2, 3, 4, 5, 6 und 7) wird in einem dreistufigen Verfahren berechnet. Im ersten Schritt werden für jede Antwort der Teilnehmenden Punkte vergeben. Es wird 1 Punkt vergeben für „stimme gar nicht zu“, 2 Punkte für „stimme nicht zu“, 3 Punkte für „stimme eher nicht zu“, 4 Punkte für „neutral“, 5 Punkte für „stimme eher zu“, 6 Punkte für „stimme zu“ und 7 Punkte für „stimme vollkommen zu“. Bei der Antwort „nicht sinnvoll beantwortbar“ werden keine Punkte vergeben und das betreffende Item wird in der weiteren Auswertung für diese Person ignoriert. Für eine Online-Befragung empfehlen wir, alle FIRE-DO Items als Pflichtfragen vorzugeben. Für eine Papierbefragung empfehlen wir, Personen, die zwei Items oder mehr komplett auslassen, aus der Auswertung herauszunehmen. Eine hohe Anzahl von fehlenden Werten bei vielen Personen kann in einer mangelnden Passung des Fragebogens in dem jeweiligen Evaluationskontext begründet sein.

      Im zweiten Schritt wird für jedes Item der Item-Mittelwert berechnet. Dafür werden die Punkte jedes Items addiert (Punktsumme eines Items über alle Antwortenden hinweg) und durch die Anzahl der Lehrgangsteilnehmenden, die auf das jeweilige Item geantwortet haben, dividiert. Man erhält schließlich den Skalen-Mittelwert, indem man die sieben Item-Mittelwerte des FIRE-DO addiert und durch sieben dividiert.

       

      Interpretation:

      Bei der Interpretation der Skalen gilt zu beachten, dass bei der Skala Dozent hohe Werte erstrebenswert sind. Grundsätzlich sollte der subjektive Charakter einer solchen Evaluation berücksichtigt werden. Das Evaluationsergebnis ist für die Dozentinnen und Dozenten eine Chance, wichtige Informationen über die eigene Lehrtätigkeit zu erhalten. Es empfiehlt sich, eine Evaluationsbesprechung mit den Befragten abzuhalten. In diesem Rahmen können Ergebnisse des FIRE-DO besprochen und mögliche Missverständnisse geklärt oder Verbesserungsideen zur Lehrgestaltung gesammelt werden. Der Fragebogen eignet sich dabei auch zum Vergleich mit anderen Seminaren des/der gleichen Dozenten/-in oder zwischen verschiedenen Dozenten/-innen. Wenn keine eigenen Vergleichsdaten vorliegen, können die deskriptiven Statistiken (siehe unten) als Orientierung dienen (sie stellen jedoch keine Normwerte dar). Von Seiten der verantwortlichen Organisation sollte die Evaluation technisch, aber auch inhaltlich unterstützt werden. Dies umfasst insbesondere Hilfestellungen, wenn Evaluationen wiederholt Verbesserungspotentiale aufzeigen sollten, sowie Belobigungen für qualitativ gute Unterrichtstätigkeit der Dozentinnen und Dozenten.

       

      Anwendungsbereich

      Der FIRE-DO ist ein schriftlicher Fragebogen zur Einzelevaluation von Dozenten/-innen im Rahmen der Ausbildung von Führungskräften im Rettungswesen. Die hohe interne Konsistenz der Skala erlaubt diese individualdiagnostische Anwendung. In der Regel wird die FIRE-DO-Skala dabei an den FIRE Kernfragebogen (Schulte & Thielsch, 2019; Schulte et al., 2019) als Ergänzungsmodul angehängt. Der FIRE Kernfragebogen eignet sich zur Evaluation der Ausbildung von Rettungskräften mit Führungsverantwortung und misst die Dimensionen Dozentenverhalten, Anforderungsniveau, Struktur, Gruppe, Kompetenzerwerb und Transfer. Es ist jedoch auch denkbar, den FIRE-DO mit dem FIRE-B (Evaluation der Basis-Ausbildung im Rettungswesen für Personen ohne Führungsverantwortung; Thielsch et al., 2019; Niemann & Thielsch, 2020) bzw. mit dem FIRE-CU (Evaluation der Ausbildung von Führungsstäben; Thielsch et al., 2020; Thielsch & Hadzihalilovic, 2020) zu kombinieren oder ihn als eigenständige Evaluationsskala einzusetzen. Die Skala kann zudem für Forschungszwecke verwendet werden, um beispielsweise den Einfluss der wahrgenommenen didaktischen Kompetenz einzelner Dozenten auf den Transfer von Lerninhalten zu untersuchen.  

      Der FIRE-DO erfasst Qualitätsmerkmale, die unabhängig von der konkreten Ausgestaltung des Seminars für die Beurteilung eines Lehrenden relevant sind. Der Fragebogen wurde im Feuerwehrkontext entwickelt. Theoriegeleitet ist davon auszugehen, dass die Qualitätsmerkmale guter Ausbildungen in anderen Organisationen des Rettungswesens vergleichbar sind. Dennoch ist es unabdingbar, die Inhaltsvalidität der Skala im Hinblick auf die konkret zu evaluierende Veranstaltung zu beurteilen. Die Entwicklung und Überprüfung erfolgten im Paper-Pencil-Format. Der FIRE-DO kann im Paper-Pencil-Format oder als Online-Fragebogen durchgeführt werden. Die Beurteilung der didaktischen Kompetenz des/ der Dozenten/-in sollte möglichst zeitnah nach Abschluss des Lehrgangs erfolgen. Falls es eine Abschlussprüfung gibt, sollte die Evaluation zeitlich vor dieser stattfinden, um möglichen Verzerrungen durch die Prüfung und deren Ergebnisse vorzubeugen.  

    Die Tätigkeit der Einsatzkräfte im Rettungswesen zeichnet sich durch extreme Bedingungen und hohe Anforderungen aus (siehe bspw. Hagemann, 2011; Smith & Dyal, 2016; Young & Cooper, 1995). Dies gilt insbesondere für die Führungskräfte verschiedener Einheiten, da sie die Verantwortung für das Handeln am Einsatzort und damit für den Erfolg des Einsatzes tragen (Feuerwehr-Dienstvorschrift 100 [FwDV 100], 1999). Von einer Führungskraft wird im Einsatz erwartet, die Lage schnell zu erfassen, geeignete Maßnahmen zu planen und die Umsetzung dieser schließlich zu veranlassen und zu beaufsichtigen (FwDV 100, 1999). Die erfolgreiche Umsetzung dieses komplexen Führungsvorgangs setzt eine gute und kontinuierliche Aus- und Weiterbildung voraus (Schulte & Thielsch, 2019).

    Die Aus- und Weiterbildung von Führungskräften der Feuerwehr beinhaltet sowohl die Vermittlung von umfangreichem theoretischem Wissen als auch Gelegenheiten der praktischen Erprobung des neu Erlernten (Schulte & Thielsch, 2019). Hierbei werden verschiedene Lehrformen eingesetzt. Im ersten Teil der Ausbildung, in dem vorwiegend theoretisches Wissen vermittelt wird, können die Teilnehmenden ihre Kompetenzen durch Frontalunterricht, Gruppenarbeiten mit anschließenden Diskussionen, Planübungen sowie eigenverantwortlichen Lerneinheiten erweitern und vertiefen (Schulte & Thielsch, 2019; IdF NRW, 2019). Der zweite Teil der Ausbildung wird von realitätsnahen Einsatzsimulationen bestimmt, in dem das Einsatz- und Führungswissen praktisch angewendet, erprobt und durch Nachbesprechungen mit Dozenten/-innen reflektiert wird (IdF NRW, 2019). 

    Häufig wird die Lehre während der Aus- und Weiterbildungen von einem Team aus bis zu drei Dozent/-innen gestaltet. An diese werden angesichts der umfangreichen Inhalte und unterschiedlichen Lehrformen hohe Anforderungen gestellt. Häufig genutzte Lehrformen sind beispielsweise Einsatzübungen (Röseler et al., 2020) oder Planübungen (Röseler et al., 2021). Richtlinien zur Ausbildung der Führungskräfte am Institut der Feuerwehr Nordrhein-Westfalen (IdF NRW) geben vor, dass neben umfassendem Fachwissen die Lehrenden über methodisch-didaktische Kompetenzen verfügen müssen (IdF NRW, 2019; Feuerwehrdienstvorschrift 2, 2012). Diese sollen die Lehrenden dazu befähigen, eine abwechslungsreiche und an den Lehrgang angepasste Inhaltsvermittlung zu gestalten, welche sich an den Teilnehmenden und deren unterschiedlichen Vorwissen sowie Erfahrungen orientiert (IdF NRW, 2019). Trotz der entscheidenden Rolle des/der Dozent/-in für die Qualität der Lehre (vgl. Rindermann, 2009; Feldmann, 2007) gibt es nach unserem derzeitigen Wissensstand bislang kein systematisch entwickeltes Instrument, welches die Evaluation von Dozent/-innen in der Führungskräfteausbildung der Feuerwehr ermöglicht. Eine solche Evaluation könnte über die allgemeine didaktische Kompetenz des Dozenten/ der Dozentin informieren und als Handlungsanstoß dienen, die Lehrqualifikation umfänglich zu erfassen und zu verbessern (Rindermann, 2003).

    Aufgrund gewisser Ähnlichkeiten zwischen Hochschullehre und Aus- und Weiterbildungen der Führungskräfte in der Feuerwehr, die insbesondere auf dem Einsatz ähnlicher Lehrmethoden (Frontalunterricht, Gruppenarbeiten; Diskussionen) beruhen (Schulte & Thielsch, 2019), ist für die Entwicklung eines solchen Instruments der Rückgriff auf Modelle guter Lehre aus dem universitären Kontext naheliegend.

    Rindermann (2009) postuliert in seinem multidimensionalem Bedingungsmodell des Lehrerfolgs Aspekte, die einen guten Lehrenden im universitären Kontext auszeichnen. Hierbei ist neben Strukturiertheit und Klarheit in der Inhaltsvermittlung die Einbettung der behandelten Themen in praxisnahe Kontexte ebenfalls relevant (Rindermann, 2009). Darüber hinaus zeichnet sich nach Rindermann (2009) ein guter Dozent /eine gute Dozentin durch rhetorische Fähigkeiten und angemessenes Schwierigkeitsmanagement aus. Des Weiteren verfügt ein guter Dozent/ eine gute Dozentin über hohes Engagement und die Fähigkeit, Teilnehmende zum Kompetenzerwerb zu motivieren (Rindermann, 2009). Umfassendes Fachwissen ergänzt schließlich neben didaktischen und motivationalen Aspekten die Anforderungen an gute Dozentinnen und Dozenten (Rindermann, 2009). Beschriebene erfolgskritische Attribute eines guten Lehrenden lassen sich ebenfalls in unterschiedlichen etablierten Lehrevaluationsinstrumenten wie beispielsweise dem Münsteraner Fragebogen zur Evaluation – Zusatzmodul Moderation (MFE-ZMo) von Thielsch und Stegemöller (2014) wiederfinden, der für die Beurteilung der universitären Lehre entwickelt wurde.

    Auf Grundlage der Erkenntnisse aus dem Kontext der Hochschullehre wurde das folgende Instrument entwickelt, welches als Zusatzmodul zu dem FIRE-Kernfragebogen (Schulte & Thielsch, 2019) vorgesehen ist. Das vorliegende Instrument ergänzt demnach den FIRE-Kernfragebogen um die Beurteilung und Evaluation des einzelnen Dozenten/ der einzelnen Dozentin. 

    Der FIRE-DO wurde im Rahmen einer Kooperation zwischen dem Institut der Feuerwehr Nordrhein-Westfalen (IdF NRW) und der Organisations- und Wirtschaftspsychologie der Westfälischen Wilhelms-Universität Münster entwickelt und validiert. Das IdF NRW ist die zentrale Ausbildungs- und Weiterbildungsstätte für Feuerwehrangehörige und Mitglieder von Krisenstäben des Landes NRW.

    Alle berichteten statistischen Analysen wurden mithilfe der Statistiksoftware R (Version 4.1.0) durchgeführt.

     

    Itemkonstruktion und Itemselektion

    Der FIRE-DO entstand als ergänzendes Modul zum FIRE-Kernfragebogen (Schulte & Thielsch, 2019; Schulte et al., 2019). Dieser ist ein validiertes Instrument zur Bewertung und Evaluation der Führungskräfteausbildung in der Feuerwehr. Er erfasst vier Prozess-Faktoren (Dozentenverhalten, Anforderungsniveau, Struktur, Gruppe) und zwei Outcome-Faktoren (Kompetenzerwerb, Vorbereitung & Transfer) guter Lehre. Neben der Beurteilung des Dozententeams, wie dies in der Subskala Dozentenverhalten des FIRE-Kernfragebogens erfolgt, ist auch die individuelle Evaluation der einzelnen Dozenten/-innen relevant. Entsprechende Items wurden jedoch nicht in den FIRE-Kernfragebogen aufgenommen, um ihn möglichst ökonomisch und flexibel einsetzbar zu gestalten (siehe Schulte & Thielsch, 2019). Stattdessen wurde eine Reihe von Zusatzmodulen entwickelt, zu denen auch der FIRE-DO gehört.

    Bei der Entwicklung des Fragebogens wurde darauf geachtet, dass die Items keine rein feuerwehrspezifischen Inhalte erfassen, sondern prinzipiell auch bei Ausbildungen in anderen Organisationen, wie Zivil- und Katastrophenschutz, Polizei und Militär eingesetzt werden können.

     

    Bei einer umfassenden Literaturrecherche wurde kein Instrument zur Evaluation von Lehrenden im Kontext des Rettungswesens gefunden. Um ein solches zu entwickeln, wurden für den initialen Itempool die vier Items der Skala Dozentenverhalten des FIRE Kernfragebogens übernommen und lediglich sprachlich an die Beurteilung eines einzelnen Dozenten/ einer einzelnen Dozentin angepasst (vgl. Items 1- 4). Zudem wurden vier weitere Items ergänzt, die von Experten/-innen des IdF NRW als relevant für die Aus- und Weiterbildungen der Führungskräfte beurteilt wurden (vgl. Studie I). Wie bereits im FIRE-Kernfragebogen wurden die Items zum Teil aus Arbeiten von Thielsch und Stegemöller (2014; Item 1, 2 & 5), Wolf et al., (2001; Item 4) sowie von Grabbe (2003; Item 6) übernommen und angepasst. Die Items bezogen sich ursprünglich auf die Evaluation universitärer Lehre und erwiesen sich dementsprechend in einem ähnlichen Kontext als relevant (vgl. Schulte & Thielsch, 2019). Zusätzlich wurden auf Grundlage des multidimensionalen Bedingungsmodell des Lehrerfolgs von Rindermann (2009) zwei Items (Item 3 & 7) selbst entwickelt.

     

    Studie I: Im Rahmen der Entwicklung des FIRE-Kernfragebogens wurden auch die Items zur Einzelevaluation von Lehrenden, Lehrgangsteilnehmenden sowie Dozentinnen und Dozenten am IdF NRW zur kritischen Begutachtung vorgelegt (vgl. Schulte & Thielsch, 2019). Diese bewerteten die Items hinsichtlich Verständlichkeit und Relevanz. Die vorgelegten Items waren zum Zeitpunkt der Studie I im Plural formuliert und bezogen sich auf das Dozententeam. Da die Umformulierung der Items zur Einzelevaluation des/der Dozenten/-in lediglich eine geringe Abweichung darstellt, wurden die Experteneinschätzungen ebenfalls für die Entwicklung der vorliegenden Skala herangezogen. Alle dozentenbezogenen Items wurden jeweils von über 81% der Stichprobe als wichtig oder eher wichtig bezeichnet und kein Item als unverständlich beurteilt. Dabei gab es keine nennenswerten Unterschiede zwischen Dozenten/-innen und Lehrgangsteilnehmenden. Somit musste kein Item aufgrund von Unverständlichkeit oder fehlender Relevanz revidiert werden.

     

    Studie II: Im nächsten Schritt wurden an einer weiteren Stichprobe die Itemkennwerte berechnet sowie die angenommene Faktorenstruktur der Skala überprüft. Auf die Berechnung einer explorativen Faktorenanalyse wurde angesichts der bereits bestätigten Eindimensionalität der Skala Dozentenverhalten des FIRE-Kernfragebogens und der Hinzunahme von lediglich inhaltlich ähnlichen Items verzichtet. Im Rahmen von Voranalysen wurden jene Items, deren |Schiefe| > 2 und/oder der |Exzess| > |7| war (vgl. West et al., 1995), entfernt. Dies betraf ein Item („Der/die Dozent/-in war redesicher“), sodass die finale Itembatterie 7 Items umfasste.

     

    Stichproben

    Stichprobe zu Studie I: An der Bewertung der Items in Studie I (Ende 2015) nahmen sieben Dozentinnen und Dozenten (86% männlich) sowie 26 Teilnehmende eines Gruppenführerlehrgangs (96% männlich) teil, sodass insgesamt N = 33 Personen befragt wurden. Die Dozentinnen und Dozenten wurden im Rahmen Ihrer Tätigkeit in der Gruppen- und Zugführerausbildung am IdF NRW gebeten, an der Studie teilzunehmen, während die Lehrgangsteilnehmenden im Rahmen ihres Lehrgangs auf die Studie angesprochen wurden. Für beide Gruppen war die Teilnahme an der Paper-Pencil-Befragung zur Einschätzung der Qualität der Items freiwillig und wurde nicht vergütet. Die befragten Dozentinnen und Dozenten waren zwischen 27 und 45 Jahre alt (M = 38.9; SD = 6.0). In der Gruppe der Lehrgangsteilnehmenden variierte das Alter zwischen 21 und 43 Jahren (M = 30.5; SD = 6.9).

     

    Stichprobe zu Studie II (Bestimmung der Itemkennwerte und Gütekriterien): Zwischen Januar und März 2017 wurden die Teilnehmenden aller Gruppen- und Zugführerlehrgänge am IdF NRW im Rahmen des Lehrgangs auf die Studie angesprochen. Somit handelt es sich für beschriebenes Quartal um eine Vollerhebung aller Auszubildenen für die zentralen Feuerwehr-Führungsebenen der Gruppen- und Zugführer in Nordrhein-Westfalen. Insgesamt nahmen 415 Teilnehmende an der Paper-Pencil-Befragung teil. Die Teilnahme war freiwillig und wurde nicht vergütet. In der Befragung wurden die Teilnehmenden gebeten, einen Dozenten bzw. eine Dozentin ihrer Wahl zu bewerten. Es mussten 30 Teilnehmende wegen fehlender Zustimmung zur Nutzung ihrer Daten und weitere 35 wegen einer oder mehrerer fehlender Antworten bei den dozentenbezogenen Items ausgeschlossen werden. Die Stichprobengröße in Studie II belief sich somit auf 350 Lehrgangsteilnehmende, die zwischen 20 und 55 Jahre alt waren (M = 33.2, SD = 6.9). Davon waren 94.6% männlich und 4.6% weiblich (0.9 % ohne Angabe). Der hohe Männeranteil in der beschriebenen Stichprobe ist als repräsentativ für die Population der Teilnehmenden an Führungskräftelehrgängen deutscher Feuerwehrschulen zu beurteilen (vgl. Schulte & Thielsch, 2019). Die mittlere Einsatzerfahrung betrug 14.4 Jahre (SD = 10.4). Bei der Freiwilligen Feuerwehr waren 52.6% der Stichprobe tätig, bei der Berufsfeuerwehr 23.4%. Die übrigen Teilnehmenden gaben an, sowohl bei der Freiwilligen als auch bei der Berufsfeuerwehr tätig zu sein (21.7%; 2.3% ohne Angabe). Teilnehmende, die ausschließlich bei der Freiwilligen Feuerwehr tätig waren, absolvierten durchschnittlich 4.8 Einsätze pro Monat (SD = 5.7). Die Teilnehmenden, die zusätzlich oder ausschließlich bei der Berufsfeuerwehr tätig waren, absolvierten durchschnittlich 29.7 Einsätze pro Monat (SD = 29.5).

     

    Itemanalysen

    Studie II: Die angenommene einfaktorielle Struktur des FIRE-DO wurde anhand einer konfirmatorischen Faktorenanalyse (CFA) überprüft. Hierzu wurde das R-Paket lavaan (Rosseel, 2012; Version 0.6-9) mit dem robusten Maximum-Likelihood-Schätzer MLR verwendet. Das angenommene eindimensionale Modell mit uneingeschränkter Einfachstruktur ergab jedoch keinen zufriedenstellenden Fit (χ2(14) = 64.83, CFI = .968, TLI = .952, RMSEA = .102 [.078,.128], SRMR = .028), denn der RMSEA wies mit einem Wert > .1 auf eine unzulängliche Passung hin (Browne & Cudeck, 1992). Die berechneten Modifikationsindizes legten das Hinzufügen einer Korrelation zwischen den Items 3 und 4, sowie 3 und 6 nahe (Verkleinerung des χ² Werts > 10). Der sich überschneidende Inhalt der Items 3 und 4 - die beiden Items beziehen sich auf motivationale Prozesse - kann als plausible Ursache für einen solchen über die durch den Faktor Dozent erklärte Kovarianz hinausgehenden Zusammenhang angesehen werden. Die weitere durch die Modifikationsindizes nahegelegte negative Residualkorrelation wurde theoretisch für nicht plausibel erachtet und demnach nicht aufgenommen (vgl. Whittaker, 2012). Das resultierende Modell mit der modellierten Residualkorrelation zwischen Item 3 und 4 reproduziert die Daten signifikant besser (χ²Diff(1) = 17.44, p < .001). Es ist in Abbildung 1 dargestellt. Die Fit-Indizes weisen insgesamt auf eine akzeptable Passung des Modells hin (χ²(13) = 47.40, CFI = .978, TLI = .965, RMSEA = .087 [.061, .114], SRMR = .024). Während der CFI und der SRMR auf eine sehr gute Passung hindeuten, kann der RMSEA nach Browne und Cudeck (1992) als hinlänglich bewertet werden.

     

     

    Abbildung 1. Ergebnisse der konfirmatorischen Faktorenanalyse. Standardisierte Faktorladungen. Alle Faktorladungen sind signifikant mit p < .001. N = 350.

     

    Itemkennwerte

    Eine Übersicht der Kennwerte der finalen Items findet sich in Tabelle 2. Insgesamt fallen die Mittelwerte eher hoch und die Standardabweichungen nur mäßig aus. Diese Tendenz lässt sich ebenfalls in anderen FIRE-Instrumenten beobachten (vgl. Röseler et al, 2020; Schulte et al., 2019; Thielsch et al., 2019) und bedarf weiterer Forschung mit einer erweiterten Stichprobe. 

     

    Tabelle 2

    Mittelwerte, Standardabweichungen, Schiefe, Exzess und Trennschärfen der Items

     

    M

    SD

    Schiefe

    Exzess

    Trennschärfe

    Item 1

    6.15

    0.87

    -1.71

    5.66

    0.78

    Item 2

    6.20

    0.92

    -1.61

    3.83

    0.83

    Item 3

    5.96

    1.04

    -1.43

    3.01

    0.76

    Item 4

    6.27

    0.88

    -1.67

    4.44

    0.75

    Item 5

    6.25

    0.96

    -1.93

    4.92

    0.75

    Item 6

    6.47

    0.77

    -1.72

    3.36

    0.72

    Item 7

    5.98

    1.12

    -1.24

    1.45

    0.64

    Anmerkung. Skala von 1 (stimme gar nicht zu) bis 7 (stimme vollkommen zu). Es werden korrigierte Trennschärfen berichtet. Die Schiefe und der Exzess wurden mittels der describe-Funktion (Typ 1) aus dem R-Paket psych (Revelle, 2021; Version 2.1.6) berechnet. Die Faktorladungen siehe Abb. 1. N = 350

    Objektivität

    Bei der Konstruktion des FIRE-DO wurden keine expliziten Objektivitätskriterien überprüft. Es kann davon ausgegangen werden, dass die Standardisierung des Fragebogens, das gebundene Antwortformat, die oben beschriebene Auswertungsmethode und die Angabe von Vergleichsdaten zur Orientierung (siehe Deskriptive Statistiken, die allerdings nicht als Normwerte verstanden werden dürfen) eine hohe Durchführungs-, Auswertungs- und Interpretationsobjektivität ermöglichen.

     

    Reliabilität

    Zur Ermittlung der Reliabilität des FIRE-DO wurde auf Grundlage der Daten aus Stichprobe II McDonald‘s ω als Koeffizient für die interne Konsistenz berechnet. Das hierfür vorausgesetzte kongenerische Messmodell beschrieb die Daten signifikant besser als ein essentiell tau-äquivalentes Messmodell wie ein Modellvergleich mittels χ2-Differenzentest ergab (χ2(6) = 52.10, p < .001). Mit einem ω von .91 weist die Skala eine sehr hohe interne Konsistenz auf.  

     

    Validität

    Inhaltsvalidität. Die Items des FIRE-DO wurden auf Grundlage des multidimensionalem Bedingungsmodell des Lehrerfolgs (Rindermann, 2009) entwickelt sowie aus bestehenden Itemsammlungen und Instrumenten zur Evaluation der Hochschullehre (vgl. Grabbe, 2003; Thielsch & Stegemöller, 2014; Wolf et al., 2001) übernommen. Zudem wurden die Items von Dozentinnen und Dozenten und Lehrgangsteilnehmenden am IdF NRW als generell relevant und verständlich bewertet (Studie I). Zusätzlich schätzten Experten/-innen des IdF NRW die in den Items enthaltenen Aspekte als relevant für den Lernerfolg ein. Insgesamt ist somit von inhaltlicher Validität auszugehen.

     

    Konstruktvalidität. Im Hinblick auf die konvergente Validität des FIRE-DO wurde die Subskala Dozentenverhalten des FIRE-Kernfragebogens (Schulte & Thielsch, 2019; Schulte et al., 2019) erhoben. Zusätzlich wurden aufgrund der beschriebenen strukturell-didaktischen Nähe der Führungskräfteausbildung der Feuerwehr zur Hochschullehre Subskalen beider Versionen des Heidelberger Inventars zur Lehrveranstaltungs-Evaluation (HILVE I & HILVE II; Rindermann, 2009) – Instrumente aus dem Kontext der Hochschullehre – als konvergente Maße erhoben. Als divergentes Maß wurde die Prüfungsleistung in einem Eingangstest am ersten Tag des Lehrgangs erhoben. Außerdem wurden Biasvariablen erhoben. Biasvariablen sind solche Variablen, die Einfluss auf die Einschätzung der Lehrqualität durch die Beurteilenden nehmen, aber nicht mit der tatsächlichen Lehrqualität in Zusammenhang stehen (Spiel, 2001). Die Stimmung der Teilnehmenden wurde dabei anhand einer fünfstufigen Smiley-Skala von Jäger (2004) gemessen. Tabelle 3 zeigt die Korrelationen des FIRE-DO mit den unterschiedlichen Validitätsmaßen.

     

    Konvergente Validität. Die vorliegende Skala wurde parallel zu der Subskala Dozentenverhalten des FIRE-Kernfragebogens entwickelt und weist damit große inhaltliche Übereinstimmungen auf, was sich in einer hohen Korrelation niederschlägt. Auch zeigen sich hohe Korrelationen mit den inhaltlich ähnlichen Subskalen Lehrkompetenz des HILVE I und Betreuung des HILVE II. Ebenfalls eine hohe Korrelation zeigt sich mit der durch die Teilnehmenden vergebenen Schulnote für die einzelnen Dozenten und Dozentinnen. 

     

    Tabelle 3

    Validitätsmaße des FIRE-DO

     

    FIRE-DO

     

    n

    r

    Konvergente Maße:

     

     

    Dozentenverhalten (FIRE)

    341

    .69***

    Lehrkompetenz (HILVE I)

    343

    .86***

    Betreuung (HILVE II)

    297

    .75***

    Benotung des Dozenten/der Dozentin ††

    349

    .67***

    Biasvariablen:

     

     

    Stimmung

    344

    .33***

    Gruppe (FIRE)

    347

    .31***

    Divergentes Maß:

     

     

    Punktzahl Eingangsprüfung

    211

       .09 n.s.

    Kriterienbezogene Maße:

     

     

    Kompetenzerwerb (FIRE)

    340

    .44***

    Vorbereitung & Transfer (FIRE)

    338

    .48***

    Gesamtzufriedenheit

    338

    .59***

    Benotung des Seminars ††

    345

    .40***

    Anmerkung. Paarweiser Ausschluss bei fehlenden Daten (= Frage ausgelassen oder als nicht beantwortbar beantwortet, auch bereits bei zur Bildung eines Skalenwerts notwendigen Items).
    Die Skala Dozentenverhalten bezog sich auf das gesamte Dozententeam, welches sich aus jeweils zwei bis drei Dozenten zusammensetzte und auch den oder die mit dem FIRE-DO einzeln bewertete Dozent/-in beinhaltete.
    Zur besseren Interpretierbarkeit wurde die hier erhobene Schulnote umgepolt; hohe Werte entsprechen somit einer positiven Benotung des Seminars; aufgrund des Ordinalskalenniveaus der Schulnotenskala wurde eine Spearman-Korrelation berechnet.
    *p < .05, **p < .01, ***p < .001. N = 350.

     

    Biasvariablen. Einige der erhobenen Biasvariablen können als theoretisch nicht völlig unabhängig vom FIRE-DO erachtet werden. So ist zu erwarten, dass sich ein großer Lernerfolg positiv auf die Stimmung auswirkt. Kleine oder mittlere Zusammenhänge sprechen in diesem Zusammenhang daher nicht gegen die Validität der Skala. Größere Zusammenhänge würden die Konstruktvalidität der Skala jedoch in Frage stellen. Es zeigt sich eine mittlere Korrelation des FIRE-DO mit der Stimmung zum Zeitpunkt der Erhebung. Gleichermaßen ist davon auszugehen, dass eine rege Teilnahme der Lehrgangsgruppe dem Dozenten/der Dozentin die Unterrichtsgestaltung erleichtert. Dennoch sollte die Bewertung der Lehrkompetenz möglichst unabhängig von der Wahrnehmung der Gruppe erfolgen (Rindermann, 2009). Demnach wurde zwar eine Korrelation mit der FIRE-Skala Gruppe erwartet, diese sollte jedoch in ihrer Höhe geringer ausfallen als mit den oben genannten konvergierenden Skalen. Tatsächlich zeigt sich ein moderater Zusammenhang mit der FIRE-Skala Gruppe.

     

    Divergente Validität. Die nicht signifikante Korrelationen mit der Punktzahl in der Eingangsprüfung ist ein Indikator dafür, dass Vorkenntnisse und Vorbereitungsstand, wie erwartet, nicht in die Bewertung des/der Dozent/-in einfließen.

     

    Kriteriumsvalidität. Die Bedeutung der Lehrkompetenz der Dozenten/-innen für die Vertiefung und den Transfer des theoretisch vermittelten Wissens legt einen Zusammenhang mit den Outcome-Faktoren des FIRE nahe (Kompetenzerwerb und Vorbereitung & Transfer). Hier zeigen sich mittlere Korrelationen. Aufgrund der zentralen Rolle, die Dozent/-innen in der Führungskräfteausbildung der Feuerwehr übernehmen, sollten hohe Werte des FIRE-DO zudem mit einer hohen Gesamtzufriedenheit der Teilnehmenden mit dem Lehrgang einhergehen. Zur Validierung wurde eine Skala bestehend aus vier Items genutzt (selbstgeneriert und entnommen aus Gläßer et al., 2002), welche die Gesamtzufriedenheit mit dem Lehrgang erfragten. Zudem wurde der Lehrgang anhand einer Schulnotenskala von den Teilnehmenden bewertet. Der FIRE-DO zeigte eine große Korrelation mit der Gesamtzufriedenheit der Lehrgangsteilnehmenden und eine mittlere Korrelation mit ihrer Benotung des Lehrgangs (siehe Tabelle 3).

     

    Deskriptive Statistiken (Normierung)

    Die deskriptiven Statistiken wurden auf Grundlage der Stichprobe II berechnet. Der FIRE-DO wies einen Mittelwert von 6.18 (SD = 0.77) auf. Es ergab sich eine Schiefe von -1.55 und ein Exzess von 3.18. Insgesamt fällt die Evaluation der vorliegenden Stichprobe sehr positiv aus. Dies ist eine Tendenz, die sich, wie beschrieben, auch in anderen FIRE-Instrumenten zeigt und weiterer Forschung bedarf. 

     

    Nebengütekriterien

    Der FIRE-DO erlaubt eine sehr zeit- und kostenökonomische Beurteilung eines Dozenten/ einer Dozentin durch die Teilnehmenden. Die Durchführungsdauer darf mit etwa zwei Minuten (Schätzwert der Autoren) als zumutbar gelten. Es besteht die mit der Verwendung von Rating-/Likertskalen stets einhergehende Möglichkeit zur Verfälschung der Antworten. Um die Motivation zum ehrlichen Antworten zu erhöhen, sollte den Teilnehmenden in jedem Falle Anonymität zugesichert werden.

     

     

    Weiterführende Literatur

    Schulte, N. & Thielsch, M. T. (2019). Evaluation of Firefighter Leadership Trainings. International Journal of Emergency Services, 8(1), 34-49. http://doi.org/10.1108/IJES-03-2018-0020

     

    Danksagung

    Die Autoren möchten sich herzlich beim Institut der Feuerwehr Nordrhein-Westfalen (IdF NRW), insbesondere bei Stephanie Vöge, Yannick Ngatchou und Thomas Löchteken, für die umfassende Unterstützung dieser Instrumentenerstellung bedanken.

     

     

    • B.Sc. Cordelia Kleinstück, Westfälische Wilhelms-Universität Münster, Institut für Psychologie, E-Mail: cordelia.kleinstueck@uni-muenster.de

    • M.Sc. Stefan Röseler, Westfälische Wilhelms-Universität Münster, Institut für Psychologie, E-Mail: stefan.roeseler@uni-muenster.de

    • Prof. Dr. Dipl.-Psych. Meinald Thielsch, Westfälische Wilhelms-Universität Münster, Institut für Psychologie, E-Mail: thielsch@uni-muenster.de