Open Access Repositorium für Messinstrumente

AkkordeonDetailedScaleViews

Feedback-Instrument zur Rettungskräfte Entwicklung - Einsatzübung (FIRE-E)

  • Autor/in: Roeseler, S., Thoelking, H., Hagel, M., & Thielsch, M. T.
  • In ZIS seit: 2020
  • DOI: https://doi.org/10.6102/zis282
  • Zusammenfassung: Das Feedback-Instrument zur Rettungskräfte-Entwicklung - Einsatzübungen (FIRE-E) erfasst die Qualität von Einsatzübungen in der Rettungskräfte-Ausbildung. Das Instrument ist ein Zusatzmodul für das Fe ... mehredback-Instrument zur Rettungskräfte-Entwicklung (FIRE, Schulte & Thielsch, 2019; Schulte, Babiel, Messinger & Thielsch, 2019), einem Fragebogen für die Evaluation von Ausbildungslehrgängen für Führungskräfte im Rettungswesen. Die Validierung des FIRE-E fand mithilfe von Lehrgangsteilnehmenden am Institut der Feuerwehr Nordrhein-Westfalen statt (N = 375). Eine konfirmatorische Faktorenanalyse legte einen zugrundeliegenden Faktor nahe. Die Skala weist eine gute interne Konsistenz auf. Es liegen eindeutige Hinweise auf Konstrukt- und Kriteriumsvalidität vor. weniger
    Abstract: The Feedback Instrument for Rescue Force Development - Emergency Training (FIRE-E) measures the quality of rescue force training in simulated acute settings. This instrument is an additional module fo ... mehrr the Feedback Instrument for Rescue Force Development (FIRE, Schulte & Thielsch, 2019; Schulte, Babiel, Messinger & Thielsch, 2019), which is a questionnaire for the evaluation of leadership training courses for rescue forces. The FIRE-ST was validated on basis of 375 firefighters who participated in training courses at the Institute of the North Rhine-Westphalia Fire Brigade (IdF NRW). A confirmatory factor analysis suggested one underlying factor. The scale shows good internal consistency and there are clear indications of construct and criterion validity. weniger
  • Sprache Dokumentation: deutsch
  • Sprache Items: deutsch
  • Anzahl der Items: 4
  • Erhebungsmodus: Paper & Pencil
  • Bearbeitungszeit: 1 Minute (Schätzung der Autoren)
  • Reliabilität: McDonalds Omega = .87
  • Validität: Hinweise auf Kriteriumsvalidität und Konstruktvalidität
  • Konstrukt: Feedback zu praktischen Einsatzübungen im Rahmen der Rettungskräfteausbildung
  • Schlagwörter: Feuerwehr, Rettungskräfte, Einsatzübung, Evaluation | fire service, rescue forces, emergency training, evaluation
  • Item(s) in Bevölkerungsumfrage eingesetzt: nein
  • URL Webseite: https://www.uni-muenster.de/OWMS/bfo/projekte/fire/
  • Entwicklungsstand: validiert
    • Instruktion

      Liebe/r Lehrgangsteilnehmer/in,

      wir danken Ihnen, dass Sie an der Befragung teilnehmen! Indem Sie diese Einsatzübung bewerten, helfen Sie uns, die Qualität der Lehre in der Rettungskräfteausbildung zu beurteilen und gegebenenfalls zu verbessern. Bitte geben Sie an, wie sehr Sie den untenstehenden Aussagen zustimmen. Kreuzen Sie für jede Aussage das Kästchen an, das den Grad Ihrer Zustimmung am besten wiedergibt. Es gibt bei dieser Befragung keine richtigen oder falschen Antworten.

      Vielmehr interessieren wir uns für Ihre ganz persönliche Meinung.

       

      Bitte beachten Sie:

      -       Machen Sie hinter jeder Aussage jeweils nur ein Kreuz in einem der vorgesehenen Kästchen. Bitte lassen Sie keine Aussagen aus. Wenn eine Aussage für Sie nicht sinnvoll beantwortbar ist, können Sie uns dies durch ein Kreuz in dem entsprechenden Kästchen mitteilen.

      -       Wenn Sie ein Kreuz ändern möchten, malen Sie das falsch markierte Kästchen vollständig aus und machen ein neues Kreuz an der gewünschten Stelle.

      Ihre Teilnahme an der Befragung ist freiwillig. Zudem erfolgt die Befragung selbstverständlich anonym. Die Ergebnisse werden nur in gesammelter Form, das heißt beispielsweise in Form von Mittelwerten zurückgemeldet. Ein Rückschluss auf Ihre Person ist damit ausgeschlossen.

       

      [Technischer Hinweis: Diese Instruktion wird nur gegeben falls die Skala allein angewendet wird. Wird die Skala als Ergänzungsmodul an andere Fragebögen wie den FIRE angehangen, erfolgt keine separate Instruktion.]

       

      Items

      Tabelle 1

      Items der Skala FIRE-E                                               

      Nr.

      Item

      1

      Ich habe bei den Einsatzübungen viel gelernt.

      2

      Die Dozenten gaben mir nützliches Feedback zu meinen Leistungen in den Einsatzübungen.

      3

      In den Einsatzübungen konnte ich das neuerworbene Wissen anwenden.

      4

      Der Schwierigkeitsgrad der Einsatzübungen war angemessen.

      Anmerkung. Alle Items sind positiv gepolt.


       

       

      Antwortvorgaben
      Items 1 - 4:

      Siebenstufiges Antwortformat mit den Optionen 1 = stimme gar nicht zu, 2 = stimme nicht zu, 3 = stimme eher nicht zu, 4 = neutral, 5 = stimme eher zu, 6 = stimme zu, 7 = stimme vollkommen zu. Ein zusätzliches Feld bietet die Möglichkeit anzugeben, dass das jeweilige Item nicht beantwortbar sei.


      Auswertungshinweise

      Generelle Hinweise:

      Es ist darauf zu achten, dass die Auswertung anonym erfolgt. Dementsprechend sollten keine demographischen Variablen erhoben werden, anhand derer Rückschlüsse auf einzelne Personen gezogen werden können. Um Anonymität zu gewährleisten, empfehlen wir zudem, eine Auswertung erst vorzunehmen, wenn mindestens acht ausgefüllte Fragebögen vorliegen (bzw. in Veranstaltungen mit mehr als 9 aber weniger als 15 Teilnehmenden mindestens 50% an der Befragung teilgenommen haben; vgl. Thielsch & Weltzin, 2013).

       

      Berechnung:

      Der Skalenmittelwert der Skala Einsatzübung (Items Nr. 1, 2, 3 und 4) wird in einem dreistufigen Verfahren berechnet. Im ersten Schritt werden für jede Antwort der Teilnehmenden Punkte vergeben. Es wird 1 Punkt vergeben für „stimme gar nicht zu“, 2 Punkte für „stimme nicht zu“, 3 Punkte für „stimme eher nicht zu“, 4 Punkte für „neutral“, 5 Punkte für „stimme eher zu“, 6 Punkte für „stimme zu“ und 7 Punkte für „stimme vollkommen zu“. Bei der Antwort „nicht sinnvoll beantwortbar“ werden keine Punkte vergeben und das betreffende Item wird in der weiteren Auswertung für diese Person ignoriert. Für eine Online-Befragung empfehlen wir, alle FIRE-E Items als Pflichtfragen vorzugeben. Für eine Papierbefragung empfehlen wir, Personen, die zwei Items oder mehr komplett auslassen, aus der Auswertung herauszunehmen. Eine hohe Anzahl von fehlenden Werten bei vielen Personen kann in einer mangelnden Passung des Fragebogens in dem jeweiligen Evaluationskontext begründet sein.

      Im zweiten Schritt wird für jedes Item der Item-Mittelwert berechnet. Dafür werden die Punkte jedes Items addiert (Punktsumme eines Items über alle Antwortenden hinweg) und durch die Anzahl der Lehrgangsteilnehmenden, die auf das jeweilige Item geantwortet haben, dividiert. Man erhält schließlich den Skalen-Mittelwert, indem man die vier Item-Mittelwerte des FIRE-E addiert und durch vier dividiert.

       

      Interpretation:

      Bei der Interpretation der Skalen gilt zu beachten, dass bei der Skala Einsatzübung hohe Werte erstrebenswert sind. Grundsätzlich sollte der subjektive Charakter einer solchen Evaluation berücksichtigt werden. Das Evaluationsergebnis ist für die Dozentinnen und Dozenten eine Chance, wichtige Informationen über die eigene Lehrtätigkeit zu erhalten, im Falle des FIRE-E für die Gestaltung der Einsatzübungen aus Sicht der Veranstaltungsteilnehmenden. Es empfiehlt sich, eine Evaluationsbesprechung mit den Befragten abzuhalten. In diesem Rahmen können Ergebnisse des FIRE-E besprochen und mögliche Missverständnisse geklärt oder Verbesserungsideen zu Einsatzübungen gesammelt werden. Der Fragebogen eignet sich dabei auch zum Vergleich mit früheren gleichartigen Übungen oder zwischen verschiedenen Übungskonzepten. Wenn keine eigenen Vergleichsdaten vorliegen, können die deskriptiven Statistiken (siehe unten) als Orientierung dienen. Von Seiten der verantwortlichen Organisation sollte die Evaluation technisch, aber auch inhaltlich unterstützt werden. Dies umfasst insbesondere Hilfestellungen, wenn Evaluationen wiederholt Verbesserungspotentiale aufzeigen sollten, sowie Belobigungen für qualitativ gute Unterrichtstätigkeit der Dozentinnen und Dozenten.

       

      Anwendungsbereich

      Der FIRE-E ist ein schriftlicher Fragebogen zur Evaluation von Einsatzübungen im Rahmen der Ausbildung von Rettungskräften. In der Regel wird die FIRE-E-Skala dabei an den FIRE Kernfragebogen (Schulte & Thielsch, 2019; Schulte, Babiel, Messinger & Thielsch, 2019) als Ergänzungsmodul angehängt. Der FIRE Kernfragebogen eignet sich zur Evaluation der Ausbildung von Rettungskräften mit Führungsverantwortung und misst die Dimensionen Dozentenverhalten, Anforderungsniveau, Struktur, Gruppe, Kompetenzerwerb und Transfer. Es ist jedoch auch denkbar, die FIRE-E Skala als Zusatzmodul zur Evaluation von Basis-Ausbildungen im Rettungswesen für Personen ohne Führungsverantwortung mittels des FIRE-B (Thielsch, Kläpker & Streppel, 2019), in leicht angepasster Form zur Evaluation von Stabsrahmenübungen (Thielsch & Hadzihalilovic, under revision) oder als eigenständige Evaluationsskala zu nutzen.

      Der FIRE-E erfasst Qualitätsmerkmale, die unabhängig von der konkreten Ausgestaltung einer Einsatzübung für diese Lehrmethode relevant sind. Der Fragebogen wurde im Feuerwehrkontext entwickelt. Theoriegeleitet ist davon auszugehen, dass die Qualitätsmerkmale guter Ausbildungen in Organisationen des Rettungswesens vergleichbar sind. Dennoch ist es unabdingbar, die Inhaltsvalidität der Skala im Hinblick auf die konkret zu evaluierende Tagesveranstaltung zu beurteilen. Die Entwicklung und Überprüfung erfolgte im Paper-Pencil-Format. Der FIRE-E kann im Paper-Pencil-Format oder als Online-Fragebogen durchgeführt werden. Die Beurteilung der Einsatzübungen sollte möglichst zeitnah nach Abschluss der Einsatzübungen erfolgen. Falls es eine Abschlussprüfung gibt, sollte die Evaluation zeitlich vor dieser stattfinden, um möglichen Verzerrungen durch die Prüfung und die Ergebnisse vorzubeugen.  

    3 Theoretischer Hintergrund

     

    Die Tätigkeit der Einsatzkräfte im Rettungswesen zeichnet sich durch extreme Bedingungen und hohe Anforderungen aus (siehe bspw. Hagemann, 2011; Smith & Dyal, 2016; Young & Cooper, 1995). Dies gilt insbesondere für die EinsatzleiterInnen und Führungskräfte verschiedener Einheiten, da sie die Verantwortung für das Handeln am Einsatzort und damit für den Erfolg des Einsatzes tragen (Feuerwehr-Dienstvorschrift 100, 1999). In Notsituationen bilden die richtige Beurteilung der Lage und die daraus resultierenden Entschlüsse und Befehle des Leitenden die Grundlage für sinnvolle Rettungsmaßnahmen (Rust & Rust, 2016).

    Diese hohen Anforderungen machen eine gute und kontinuierliche Aus- und Weiterbildung von Rettungskräften unerlässlich (Schulte & Thielsch, 2019). Nach der Feuerwehr-Dienstvorschrift (FwDV 100, 1999) besteht der Führungsvorgang im Einsatz aus Lagefeststellung, Planung und Befehlsgebung und setzt daher sowohl Fachwissen als auch praktische Einsatzerfahrung voraus (Rust & Rust, 2016). Entsprechendes Fachwissen wird im Rahmen der Ausbildung in unterschiedlichen formellen Lehrformen wie Frontalunterricht, Planübungen, Gruppenarbeiten und eigenverantwortlichem Arbeiten strukturiert vermittelt. Der Erwerb von Erfahrung in echten Einsätzen hängt hingegen von vielen, teils zufallsbedingten Faktoren ab und kann nicht gezielt gesteuert werden, weshalb im Rahmen der Aus- und Fortbildung Einsatzübungen durchgeführt werden können (Rust & Rust, 2016). Einsatzübungen ermöglichen zunächst die praktische Erprobung des erlernten Fachwissens, was die Anwendung in ähnlichen Situationen ermöglicht (Sommer & Nja, 2011). Der Transfer des Gelernten wird dabei von der Realitätsnähe der Einsatzübungen unterstützt (Burke & Hutchins, 2007; Barnett & Ceci, 2002). Wichtig ist ein angemessener Schwierigkeitsgrad, um die Teilnehmenden nicht zu überfordern (Grunnan & Fridheim, 2017). Auf der anderen Seite werden durch die Nachbesprechung von Einsatzübungen und die Rückmeldungen der Dozentinnen und Dozenten Reflexions- und Feedbackprozesse trainiert (Berlin & Carlström, 2014). Diese sind nach Mistele (2007) relevant, um selbstgesteuertes Lernen aus Erfahrungen in echten Einsätzen zu initiieren.

     

    Im Folgenden werden Planung, Konzeption und Ablauf einer Einsatzübung im Feuerwehrdienst nach Rust und Rust (2016) dargestellt:

    Im Rahmen der Übung erhalten die Lehrgangsteilnehmenden die Möglichkeit, einen Einsatz mit einer spezifischen Gefahrensituation als Gruppen- oder ZugführerIn zu leiten. Um wirklichkeitsnahe Einsatzszenarien zu simulieren, können Gebäude, Kraftfahrzeuge, Oberleitungen und weitere örtlichen Gegebenheiten in die Übung einbezogen werden. Bei Einsatzübungen der Feuerwehr werden häufig Nebelmaschinen und blinkende Warnleuchten eingesetzt, um Rauch und Feuerschein zu simulieren. Teilweise werden auch Schauspieler zur realistischen Darstellung von Unfallopfern eingesetzt.

    Zunächst wird in der Regel der Übungszweck festgelegt. Dieser besteht meistens in der Erprobung von Führungsvorgängen und der Kommunikation zwischen verschiedenen Führungsebenen, z.B. ZugführerIn und GruppenführerIn, oder zwischen GruppenführerIn und den Trupps. Weiterhin können in Einsatzübungen standardisierte Vorgänge wie der Atemschutzeinsatz trainiert werden.

    Der Ablauf einer Einsatzübung erfolgt – unabhängig von dem jeweiligen Schwierigkeitsgrad und der Führungsposition, für die die Lehrgangsteilnehmenden ausgebildet werden – immer nach einem ähnlichen Schema. Die Einsatzübung beginnt mit der Alarmierung der Einsatzeinheiten. Diese enthalten Informationen zum Einsatzort, zu den weiteren alarmierten Einheiten und zum Einsatzstichwort. Anschließend wird die Einsatzstelle mit den Einsatzfahrzeugen angefahren und der/die EinsatzleiterIn gibt eine Eintreffmeldung an die Leitstelle.  

    Basierend auf dem Führungsvorgang nach Feuerwehr-Dienstvorschrift (FwDV 100, 1999) gliedert sich die Übung nun in drei Phasen, die einen zielgerichteten, in sich geschlossenen Kreislauf bilden. Der Führungsvorgang beginnt mit der Lagefeststellung durch den/die EinsatzleiterIn. Dieser erkundet die Schadenslage im Bezug auf die Art, den Umfang, die Ursache und die voraussichtliche Entwicklung. Weiterhin müssen die allgemeine Lage (z.B. örtliche Verhältnisse, Wetter und Verkehrslage) und die eigene Lage (z.B. die Anzahl der Einsatzkräfte und Einsatzmittel oder die Versorgungslage) kontrolliert werden. Im nächsten Schritt erfolgt die Planung des Einsatzes. Der/die EinsatzleiterIn beurteilt, welche Gefahren bestehen, in welcher Reihenfolge sie bekämpft werden müssen und welche Möglichkeit zur Gefahrenabwehr nach Abwägung der Vor- und Nachteile am besten geeignet ist. Dann trifft er oder sie den Entschluss über die Art des weiteren Vorgehens, Einsatzstärke, Einsatzmittel, Angriffswege etc. Diese Entschlüsse werden als Befehl an die Einsatzkräfte weitergegeben, welche die entsprechenden Rettungsmaßnahmen ausführen. Nach erfolgter Befehlsgebung beginnt der Kreislauf des Führungsvorganges erneut. Die Lage wird bis zum Einsatzende kontinuierlich erkundet und kontrolliert, sodass bei Bedarf Planung und Befehlsgebung angepasst werden können.

    Die Dozentinnen und Dozenten beobachten währenddessen das Vorgehen aller Lehrgangsteilnehmenden, insbesondere das der Führungskräfte, um Feedback zu geben, Konsequenzen der gewählten Entscheidungen deutlich zu machen sowie mögliche Handlungsalternativen aufzeigen zu können.

     

    Trotz des hohen Stellenwerts der Einsatzübungen in der Ausbildung der Rettungskräfte (Berlin & Carlström, 2014; Grunnan & Fridheim, 2017) wurde die Qualität dieser nach unserem derzeitigen Wissensstand bislang nicht untersucht. Da in der Literatur keine validierten Skalen gefunden werden konnten, die die Qualität von simulierten Einsätzen im Verlauf der feuerwehrtechnischen Ausbildung abbilden, wurde das folgende Instrument entwickelt, um die Qualität der Einsatzübungen systematisch zu evaluieren.


     

    Der FIRE-E wurde im Rahmen einer Kooperation zwischen dem Institut der Feuerwehr Nordrhein-Westfalen (IdF NRW) und der Organisations- und Wirtschaftspsychologie der Westfälischen Wilhelms-Universität Münster entwickelt und validiert. Das IdF NRW ist die zentrale Ausbildungs- und Weiterbildungsstätte für Feuerwehrangehörige und Mitglieder von Krisenstäben des Landes NRW. Alle berichteten statistischen Analysen wurden mithilfe der Statistiksoftware RStudio (Version 1.2.5001) durchgeführt.

     

    Itemkonstruktion und Itemselektion

    Der FIRE-E entstand als ergänzendes Modul zum FIRE-Kernfragebogen (Schulte & Thielsch, 2019; Schulte, Babiel, Messinger & Thielsch, 2019). Dieser ist ein validiertes Instrument zur Bewertung und Evaluation der Führungskräfteausbildung in der Feuerwehr. Er erfasst vier Prozess-Faktoren (Dozentenverhalten, Anforderungsniveau, Struktur, Gruppe) und zwei Outcome-Faktoren (Kompetenzerwerb, Vorbereitung & Transfer) guter Lehre. Neben diesen allgemeinen Faktoren sind für die Lehrevaluation auch spezifische Informationen zu den einzelnen Lehrmethoden von Interesse. Im Bereich der Rettungskräfte-Ausbildung am IdF NRW sind dies insbesondere Einsatzübungen, Planübungen, Gruppenarbeiten und Aufgaben zum eigenverantwortlichen Arbeiten. Entsprechende Items wurden jedoch nicht in den FIRE-Kernfragebogen aufgenommen, um ihn möglichst ökonomisch und flexibel einsetzbar zu gestalten (siehe Schulte & Thielsch, 2019). Stattdessen wurde eine Reihe von Zusatzmodulen entwickelt, zu denen auch der FIRE-E gehört. Er dient der gezielten Bewertung und Evaluation praktischer Einsatzübungen, wie sie in der Ausbildung von Rettungskräften der Feuerwehr typischerweise vorkommen. Bei der Entwicklung des Fragebogens wurde darauf geachtet, dass die Items keine rein feuerwehrspezifischen Inhalte erfassen, sondern prinzipiell auch bei Ausbildungen in anderen Organisationen, wie Zivil- und Katastrophenschutz, Polizei und Militär eingesetzt werden können.

     

    Bei einer umfassenden Recherche wurde kein Instrument zur Evaluation von Einsatzübungen im Kontext Rettungswesen gefunden. Deshalb wurde die vorliegende Itembatterie neu entwickelt. Die Items sollen zunächst den subjektiven Lerngewinn durch die Einsatzübungen erfassen (Item 1: „Ich habe bei den Einsatzübungen viel gelernt.“, angelehnt an Hirschfeld & Thielsch, 2009). Weiterhin soll abgebildet werden, inwieweit die Teilnehmenden von den Rückmeldungen der Dozentinnen und Dozenten profitieren (Item 2: „Die Dozentinnen/Dozenten gaben mir nützliches Feedback zu meinen Leistungen in den Einsatzübungen.“, selbstentwickelt). Schließlich soll erfasst werden, inwieweit die Lehrgangsinhalte in den Einsatzübungen praktisch erprobt werden können, ohne dass eine starke Überforderung auftritt (Item 3: „In den Einsatzübungen konnte ich das neuerworbene Wissen anwenden.“, Item 4: „Der Schwierigkeitsgrad der Einsatzübungen war angemessen.“, beide selbstentwickelt).

     

    Studie I: Im Rahmen der Entwicklung des FIRE-Kernfragebogens wurden auch die Items zu Lehrmethoden, unter anderem die Einsatzübungs-Items, Dozentinnen und Dozenten sowie Lehrgangsteilnehmenden am IdF NRW zur kritischen Begutachtung vorgelegt (vgl. Schulte & Thielsch, 2019). Diese bewerteten die Items hinsichtlich Verständlichkeit und Relevanz. Alle Einsatzübungs-Items wurden jeweils von über 90% der Stichprobe als wichtig oder eher wichtig bezeichnet und kein Item wurde von mehr als 3% der Stichprobe als unverständlich bezeichnet. Dabei gab es keine nennenswerten Unterschiede zwischen Dozentinnen/Dozenten und Lehrgangsteilnehmenden. Somit musste kein Item aufgrund von Unverständlichkeit oder fehlender Relevanz revidiert werden.

     

    Studie II: Im nächsten Schritt wurde die Faktorenstruktur der Lehrmethodenitems anhand einer explorativen Faktorenanalyse (EFA) untersucht. Die deskriptiven Werte aller Items und die Ergebnisse der Faktorenanalyse finden sich in Tabelle 2. Aufgrund einer geringen Trennschärfe (< .30) wurde das Item EVA_6 („Die EVA-Aufgaben wurden ausreichend nachbesprochen“) von der Faktorenanalyse ausgeschlossen. Neben dem Item G_5 zu Gruppenarbeiten („Mir war an einem guten Ergebnis der Gruppenarbeit gelegen“) mussten auch zwei der Einsatzübungs-Items aufgrund einer geringen Streuung (SD < .85) ausgeschlossen werden (E_1: „Ich habe bei den Einsatzübungen viel gelernt.“; E_3: „In den Einsatzübungen konnte ich das neuerworbene Wissen anwenden.“). Somit verblieben nur noch zwei weitere Einsatzübungs-Items (E_2: „Die Dozentinnen/Dozenten gaben mir nützliches Feedback zu meinen Leistungen in den Einsatzübungen.“; E_4: „Der Schwierigkeitsgrad der Einsatzübungen war angemessen.“). Entsprechend der Empfehlung von Bühner (2006) sollten in der explorativen Faktorenanalyse pro angedachtem Faktor mindestens drei Items vorliegen. Da diese Mindestzahl beim angedachten Faktor Einsatzübungen nicht erreicht wurde, wurden auch die beiden übrigen Items E_2 und E_4 ausgeschlossen. In die explorative Faktorenanalyse ging somit kein Einsatzübungs-Item ein.

    Es wird jedoch davon ausgegangen, dass sich die vier Einsatzübungs-Items zu einer Skala zusammenfassen lassen, da sie analog zu den vier Items formuliert sind, die zur Evaluation von Planübungen eingesetzt werden. Die Items zur Evaluation von Planübungen bilden in der EFA einen Faktor und weisen hohe Faktorladungen auf (siehe Tabelle 2). Wie die Ergebnisse der Studie I zudem zeigen, wurden die in den Einsatzübungs-Items enthaltenen Aspekte von Experten des IdF NRW als relevant für den Lernerfolg eingeschätzt.

     

    Tabelle 2

    Deskriptive Daten und Explorative Faktorenanalyse der Lehrmethodenitems

    Item

    M

    SD

    Schiefe

    Kurtosis

    Trenn-schärfe

    EFA

    F1

    F2

    F3

    h2

    EVA_1

    5.87

    1.23

    -1.46

    1.84

    .50

     

     

    .71

    .56

    EVA_2

    5.46

    1.37

    -1.09

    0.61

    .44

     

     

    .72

    .50

    EVA_3

    5.88

    0.99

    -1.34

    2.63

    .64

     

     

    .79

    .67

    EVA_4

    5.81

    0.94

    -0.96

    1.58

    .50

     

     

    .65

    .51

    EVA_5

    5.82

    0.86

    -1.09

    1.39

    .61

     

     

    .80

    .65

    EVA_6*

    4.15

    1.76

    -0.18

    -1.13

    .10

     

     

     

     

    G_1

    5.30

    1.21

    -0.87

    0.65

    .56

    .74

     

     

    .56

    G_2

    5.61

    0.97

    -0.95

    0.63

    .55

    .60

    .23

     

    .50

    G_3

    5.82

    0.93

    -1.23

    2.31

    .64

    .82

     

     

    .65

    G_4

    5.81

    1.16

    -1.89

    4.37

    .53

    .64

     

     

    .44

    G_5*

    6.26

    0.80

    -1.72

    5.71

    .53

     

     

     

     

    G_6

    6.17

    0.99

    -1.76

    4.01

    .63

    .75

     

     

    .58

    G_7

    5.93

    0.87

    -0.81

    0.74

    .51

    .44

     

     

    .42

    PL_1

    5.74

    1.09

    -1.04

    0.91

    .65

     

    .70

     

    .61

    PL_2

    5.88

    0.98

    -1.29

    3.14

    .69

     

    .85

     

    .73

    PL_3

    5.79

    0.99

    -1.23

    2.77

    .80

     

    .84

     

    .79

    PL_4

    5.90

    0.90

    -1.54

    5.22

    .69

     

    .88

     

    .73

    E_1*

    6.49

    0.72

    -1.55

    3.18

    .70

     

     

     

     

    E_2*

    6.34

    0.89

    -1.90

    4.82

    .74

     

     

     

     

    E_3*

    6.29

    0.81

    -1.75

    5.61

    .75

     

     

     

     

    E_4*

    6.05

    0.96

    -1.90

    6.26

    .67

     

     

     

     

    Anmerkung. EVA = Eigenverantwortliches Arbeiten, G = Gruppenarbeiten, PL = Planübungen, E = Einsatzübungen. Skala von 1 (stimme gar nicht zu) bis 7 (stimme vollkommen zu). Es werden korrigierte Trennschärfen berichtet. * = dieses Item ging nicht in die EFA ein. Es wurde eine oblimin-rotierte Hauptkomponentenanalyse gerechnet. Es werden alle Faktorladungen > .20 berichtet. = 155.

     

     

    Stichproben

     

    Stichprobe zu Studie I: An der Bewertung der Items in Studie I (Ende 2015) nahmen sieben Dozentinnen und Dozenten (86% männlich) sowie 26 Teilnehmende eines Gruppenführerlehrgangs (96% männlich) teil, sodass insgesamt N = 33 Personen befragt wurden. Die Dozentinnen und Dozenten wurden im Rahmen Ihrer Tätigkeit in der Gruppen- und Zugführerausbildung am IdF NRW gebeten, an der Studie teilzunehmen, während die Lehrgangsteilnehmenden im Rahmen ihres Lehrgangs auf die Studie angesprochen wurden. Für beide Gruppen war die Teilnahme an der Paper-Pencil-Befragung freiwillig und wurde nicht vergütet. Die befragten Dozentinnen und Dozenten waren zwischen 27 und 45 Jahre alt (M = 38.9; SD = 6.0). In der Gruppe der Lehrgangsteilnehmenden variierte das Alter zwischen 21 und 43 Jahren (M = 30.5; SD = 6.9).

     

    Stichprobe zu Studie II: In Studie II nahmen zwischen Januar und April 2016 insgesamt 263 Teilnehmende von Gruppen- und Zugführerlehrgängen am IdF NRW an der Paper-Pencil-Befragung teil. Die Teilnehmenden wurden jeweils im Rahmen ihres Lehrgangs auf die Studie angesprochen. Die Teilnahme war freiwillig und wurde nicht vergütet. Aus der Analyse mussten die Daten von 108 Teilnehmenden ausgeschlossen werden, da sie nicht mit der Nutzung ihrer Daten einverstanden waren (n = 10), einen monotonen oder unrealistischen Antwortstil aufwiesen (n = 3) oder interessierende Items nicht beantworteten hatten (n = 95). Die Stichprobengröße für die EFA bestand demnach aus n = 155 Lehrgangsteilnehmenden. Die Befragten (96.1% männlich, 2.6% weiblich, 1.3% ohne Angabe) waren zwischen 21 und 55 Jahren alt (M = 32.4, SD = 6.8). Sie verfügten über eine mittlere Arbeitserfahrung von 14.7 Jahren (SD = 8.2) und absolvierten im Mittel 8.7 (SD = 14.5) Einsätze im Monat. 12% der Stichprobe arbeiteten bei der Berufsfeuerwehr, 74% bei der freiwilligen Feuerwehr und 14% gaben an, sowohl bei der Berufsfeuerwehr als auch bei der freiwilligen Feuerwehr tätig zu sein.

     

    Stichprobe zu Studie III (Bestimmung der Itemkennwerte und Gütekriterien): Zwischen Januar und März 2017 nahmen insgesamt 415 Teilnehmende von Gruppen- und Zugführerlehrgängen am IdF NRW an der Paper-Pencil-Befragung teil. Die Teilnehmenden wurden jeweils im Rahmen ihres Lehrgangs auf die Studie angesprochen. Die Teilnahme war freiwillig und wurde nicht vergütet. Es mussten 30 Teilnehmende wegen fehlender Zustimmung zur Nutzung ihrer Daten und weitere 10 wegen einer oder mehrerer fehlender Antworten bei den Einsatzübungs-Items ausgeschlossen werden. Die Stichprobengröße in Studie III belief sich somit auf 375 Lehrgangsteilnehmende, die zwischen 20 und 55 Jahre alt waren (M = 33.3, SD = 6.8). Davon waren 94.4% männlich und 4.3% weiblich (1.3% ohne Angabe). Die mittlere Einsatzerfahrung betrug 13.9 Jahre (SD = 10.4). Bei der Freiwilligen Feuerwehr waren 53.1% der Stichprobe tätig, bei der Berufsfeuerwehr 24.2%. Die übrigen Teilnehmenden gaben an, sowohl bei der Freiwilligen als auch bei der Berufsfeuerwehr tätig zu sein (20.5%; 2.1% ohne Angabe). Teilnehmende, die ausschließlich bei der Freiwilligen Feuerwehr tätig waren, absolvierten durchschnittlich 4.7 Einsätze pro Monat (SD = 4.1). Die Teilnehmenden, die zusätzlich oder ausschließlich bei der Berufsfeuerwehr tätig waren, absolvierten durchschnittlich 27.4 Einsätze pro Monat (SD = 24.4).

     

    Itemanalysen

    Studie III: Die angenommene einfaktorielle Struktur des FIRE-E wurde anhand einer konfirmatorischen Faktorenanalyse (CFA) überprüft. Hierzu wurde das R-Paket lavaan (Rosseel, 2012) mit Maximum-Likelihood-Schätzer (MLR) verwendet. Eine einfaktorielle Struktur ergab einen sehr guten Fit (𝛸2(2) = 3.40, CFI = .998, TLI = .994, RMSEA = .04 [.00,.12], SRMR = .01), beurteilt nach den Empfehlungen für Fit-Indizes von Hu und Bentler (1999), und durchgehend signifikante, hohe standardisierte Faktorladungen (>.70) Die Ergebnisse der CFA sind in Abbildung 1 zu finden.

     

    Abbildung 1. Ergebnisse der konfirmatorischen Faktorenanalyse. Standardisierte Faktorladungen. Alle Faktorladungen sind signifikant mit p < .001. N = 375.

     

    Itemkennwerte

    Eine Übersicht der Kennwerte der finalen Items findet sich in Tabelle 3.

     

    Tabelle 3

    Mittelwerte, Standardabweichungen, Schiefe, Kurtosis und Trennschärfen der manifesten Items

     

    M

    SD

    Trennschärfe

    Schiefe

    Kurtosis

    Item 1

    6.16

    0.87

    .73

    -1.21

    1.86

    Item 2

    6.07

    1.02

    .68

    -1.63

    3.61

    Item 3

    6.07

    0.86

    .77

    -1.16

    1.74

    Item 4

    6.05

    0.81

    .69

    -1.49

    5.05

    Anmerkung. Skala von 1 (stimme gar nicht zu) bis 7 (stimme vollkommen zu). Es werden korrigierte Trennschärfen berichtet. Die Faktorladungen siehe Abb. 1. = 375.

     

    Objektivität

    Bei der Konstruktion des FIRE-E wurden keine expliziten Objektivitätskriterien überprüft. Es kann davon ausgegangen werden, dass durch die Standardisierung des Fragebogens, das gebundene Antwortformat, die oben beschriebene Auswertungsmethode und die Angabe von Vergleichsdaten (siehe Deskriptive Statistiken) eine hohe Durchführungs-, Auswertungs- und Interpretationsobjektivität ermöglichen.

     

    Reliabilität

    Beim FIRE-E liegt in den Stichproben zu Studie II und zu Studie III jeweils ein kongenerisches Messmodell vor, sodass McDonald‘s ω der adäquate Koeffizient für die interne Konsistenz ist (siehe Tabelle 4). Dieser Koeffizient wird analog zu Cronbachs α interpretiert. Der FIRE-E weist mit einem ω von .87 eine gute Reliabilität im Sinne der internen Konsistenz auf.

     

    Tabelle 4

    Reliabilitätsanalyse des FIRE-E

    Stichprobe

    Cronbachs α

    McDonalds ωH

    𝛸2diff

    dfdiff

    p

    Studie II (N = 155)

    .87

    .87

    10.67

    3

    .014

    Studie III (N = 375)

    .86

    .87

    13.02

    3

    .005

    Anmerkung. In einem 𝛸2-Differenzentest wurde ein kongenerisches gegen ein essenziell tau-äquivalentes Messmodell getestet.

     

    Validität

    Inhaltsvalidität. Die konstruierten Items wurden von Dozentinnen und Dozenten und Lehrgangsteilnehmenden am IdF NRW als generell relevant und verständlich bewertet (Studie I). Zusätzlich schätzten Experten des IdF NRW die in den Items enthaltenen Aspekte als relevant für den Lernerfolg ein. Insgesamt ist somit von inhaltlicher Validität auszugehen.

     

    Konstruktvalidität. Im Hinblick auf die Konstruktvalidität des FIRE-E wurden Subskalen des FIRE-Kernfragebogens (Schulte & Thielsch, 2019; Schulte et al., Thielsch, 2019) als konvergente und divergente Maße erhoben. Als divergente Maße wurden außerdem Biasvariablen erhoben. Biasvariablen sind solche Variablen, die Einfluss auf die Einschätzung der Lehrqualität durch die Urteiler nehmen, tatsächlich aber nicht mit ihr in Zusammenhang stehen (Spiel, 2001). Die Stimmung der Teilnehmenden wurde dabei anhand einer fünfstufigen Smiley-Skala von Jäger (2004) gemessen, während die übrigen Biasvariablen anhand von selbstkonstruierten Einzelitems erhoben wurden. Tabelle 5 zeigt die Korrelationen des FIRE-E mit den konvergenten, divergenten und kriterienbezogenen Validitätsmaßen.

     

    Konvergente Validität. Die Bedeutung der Einsatzübungen für den Transfer des theoretisch vermittelten Wissens legt einen Zusammenhang mit den Outcome-Faktoren des FIRE nahe (Kompetenzerwerb und Vorbereitung & Transfer). Tatsächlich zeigen sich hohe Korrelationen. Auch die zentrale Rolle der Dozentinnen und Dozenten als Feedbackgeber in den Einsatzübungen spiegelt sich in einer hohen Korrelation mit der Subskala Dozentenverhalten wider.

     

    Divergente Validität. Bei Einsatzübungen sind Teilnehmende in der Rolle der Führungskraft zwar auf eine motiviert mitspielende Gruppe angewiesen. Sie sollen aber vor allem als eigenständige Führungskraft agieren, die sich unabhängig von der Gruppe durchsetzt. Dies spiegelt sich in einer mittleren Korrelation mit der FIRE-Skala Gruppe wider, die allerdings in der Höhe geringer ausfällt als mit den oben genannten konvergierenden Skalen. Einige der erhobenen Biasvariablen können als theoretisch nicht völlig unabhängig vom FIRE-E erachtet werden. So ist zu erwarten, dass Teilnehmende mit Berufsfeuerwehrhintergrund aufgrund von mehr Einsatzerfahrung bei der Beurteilung der Übungen kritischer sind. Auch mag sich ein großer Lernerfolg positiv auf die Stimmung auswirken. Kleine oder mittlere Zusammenhänge sprechen in diesem Zusammenhang daher nicht gegen die Validität der Skalen. Größere Zusammenhänge würden die Konstruktvalidität der Skalen jedoch in Frage ziehen. Es zeigt sich eine mittlere Korrelation des FIRE-E mit der Stimmung zum Zeitpunkt der Erhebung und eine kleine Korrelation mit der Erfahrung in der Berufsfeuerwehr. Keine signifikante Korrelation findet sich mit der Note der Eingangsprüfung. Dies ist ein Indikator dafür, dass die Einsatzübungen unabhängig von Vorkenntnissen oder dem Vorbereitungsstand bewertet werden.

     

    Tabelle 5

    Validitätsmaße des FIRE-E

     

    FIRE-E

     

    n

    r

    Konvergente Maße:

     

     

    Dozentenverhalten (FIRE)

    366

    .60**

    Kompetenzerwerb (FIRE)

    365

    .53**

    Vorbereitung & Transfer (FIRE)

    365

    .62**

    Divergente Maße:

     

     

    Gruppe (FIRE)

    373

    .37**

    Note Eingangsprüfung

    182

    -.04 n.s.

    Stimmung

    368

    .34**

    Erfahrung in der Berufsfeuerwehr (dich.) †

    367

    -.20**

    Kriterienbezogene Maße:

     

     

    Gesamtzufriedenheit

    363

    .72**

    Benotung des Seminars ††

    371

    .45**

    Realitätsnähe

    355

    .36**

    Übertragung theoretischen Wissens in die Praxis

    375

    .64**

    Lernen aus eigenen Erfahrungen

    371

    .55**

    Lernen aus den Erfahrungen anderer

    374

    .47**

    Anmerkung. Paarweiser Ausschluss bei fehlenden Daten (= Frage ausgelassen oder als nicht beantwortbar beantwortet, auch bereits bei zur Bildung eines Skalenwerts notwendigen Items). † Kodierung: 0 = keine Erfahrung, 1 = Erfahrung in der Berufsfeuerwehr; †† Zur besseren Interpretierbarkeit wurde die hier erhobene Schulnote umgepolt; hohe Werte entsprechen somit einer positiven Benotung des Seminars; aufgrund des Ordinalskalenniveaus der Schulnotenskala wurde eine Spearman-Korrelation berechnet.
    *p < .05, **p < .01, ***p < .001. N = 375.

     

    Kriteriumsvalidität. Aufgrund der zentralen Rolle von Einsatzübungen in der Führungskräfteausbildung der Feuerwehr sollten hohe Werte des FIRE-E mit einer hohen Gesamtzufriedenheit der Teilnehmenden mit dem Lehrgang einhergehen. Zur Validierung wurde eine Skala bestehend aus vier Items genutzt (selbstgeneriert und entnommen aus Gläßer et al., 2002), welche die Gesamtzufriedenheit mit dem Lehrgang erfragten. Zudem wurde der Lehrgang anhand einer Schulnotenskala von den Teilnehmenden bewertet. Der FIRE-E zeigte eine große Korrelation mit der Gesamtzufriedenheit der Lehrgangsteilnehmenden und eine mittlere Korrelation mit ihrer Benotung des Lehrgangs (siehe Tabelle 3). Des Weiteren wurden Einzelitems entwickelt, um weitere theoretisch relevante Kriterien zu erfassen. So konnten mittlere Korrelationen des FIRE-E mit dem Ausmaß, mit dem Teilnehmende aus den Erfahrungen anderer Teilnehmender in den Einsatzübungen lernen konnten, und mit der wahrgenommenen Realitätsnähe festgestellt werden. Große Korrelationen zeigten sich mit der Möglichkeit, theoretisches Wissen in die Praxis zu übertragen, und dem Ausmaß, mit dem Teilnehmende aus ihren eigenen Erfahrungen in den Übungen lernen konnten.

     

    Deskriptive Statistiken

    Zur Berechnung der deskriptiven Statistiken wurden die Stichproben der Studien II und III zugunsten einer breiteren Datenbasis zusammengefasst. Beide Stichproben können als vergleichbar eingeschätzt werden, da jeweils ein kongenerisches Messmodell vorliegt und die internen Konsistenzen ähnlich hoch sind (Tabelle 4). In der zusammengefassten Stichprobe (N = 530) zeigte der FIRE-E einen Mittelwert von 6.15 (SD = 0.75). Es ergab sich eine Schiefe von -1.36 und eine Kurtosis von 3.11. In dieser Stichprobe lag der Anteil männlicher Teilnehmer bei 94.9% (3.8% weiblich, 1.3% ohne Angabe) und das mittlere Alter bei 33.03 Jahren (SD = 6.83). Die mittlere Einsatzerfahrung betrug 14.69 Jahre (SD = 8.22) bei durchschnittlich 8.73 Einsätzen pro Monat (SD = 14.52). Insgesamt waren 59.2% der zusammengefassten Stichprobe ausschließlich in der Freiwilligen Feuerwehr tätig, 20.6% ausschließlich in der Berufsfeuerwehr und 18.7% sowohl in der Freiwilligen als auch in der Berufsfeherwehr (1.5% ohne Angabe).

     

    Nebengütekriterien

    Der FIRE-E erlaubt eine sehr zeit- und kostenökonomische Erfassung der Teilnehmendenurteile über die Qualität Einsatzübungen. Die Durchführungsdauer darf mit etwa einer Minute (Schätzwert der Autoren) als zumutbar sowohl für Dozentinnen und Dozenten als auch für Teilnehmende gelten. Es besteht die mit der Verwendung von Rating-/Likertskalen stets einhergehende Möglichkeit zur Verfälschung der Antworten. Um die Motivation zum ehrlichen Antworten zu erhöhen, sollte den Teilnehmenden in jedem Falle Anonymität zugesichert werden.

     

     

    Weiterführende Literatur

    Schulte, N. & Thielsch, M. T. (2019). Evaluation of Firefighter Leadership Trainings. International Journal of Emergency Services, 8, 34-49. https://doi.org/10.1108/IJES-03-2018-0020

    Thielsch, M. T. & Hadzihalilovic, D. (in press). Evaluation of Fire Service Command Unit Trainings. International Journal of Disaster Risk Science.

     

    Danksagung

     

    Die Autoren möchten sich herzlich beim Institut der Feuerwehr Nordrhein-Westfalen (IdF NRW), insbesondere bei Stephanie Vöge, Yannick Ngatchou und Thomas Löchteken, für die umfassende Unterstützung dieser Instrumentenerstellung bedanken.

     

    • Stefan Röseler, M.Sc., Westfälische Wilhelms-Universität Münster, Institut für Psychologie, E-Mail: stefan.roeseler@uni-muenster.de
    • Prof. Dr. Dipl.-Psych. Meinald Thielsch, Westfälische Wilhelms-Universität Münster, Institut für Psychologie, E-Mail: thielsch@uni-muenster.de