3 Theoretischer Hintergrund

Die Tätigkeit von Einsatzkräften im Rettungswesen zeichnet sich durch extreme Bedingungen und hohe Anforderungen aus (siehe bspw. Hagemann, 2011; Smith & Dyal, 2016; Young & Cooper, 1995). Dies gilt insbesondere für die EinsatzleiterInnen und Führungskräfte verschiedener Einheiten, da sie die Verantwortung für das Handeln am Einsatzort und damit für den Erfolg des Einsatzes tragen (Feuerwehr-Dienstvorschrift 100, 1999). Die Entscheidungen von Führungskräften bilden die Grundlage für eine erfolgreiche Bewältigung von Einsatzsituation (Useem et al., 2005; Sjöberg et al., 2006). Gute Entscheidungen zeichnen sich durch eine möglichst vollständige Berücksichtigung von Umweltfaktoren und eine möglichst präzise Abschätzung und Gewichtung der Risiken aus. In Einsatzsituationen werden Entscheidungen von Zeitdruck und Komplexität der Situation erschwert (Hannah et al., 2009).

Die Planübung ist eine Lehrmethode, welche die Entwicklung von Handlungsalternativen und das Treffen von Entscheidungen in komplexen Einsatzsituationen trainieren soll. Im Gegensatz zu praktischen Einsatzübungen (Röseler et al., 2020) liegt der Fokus von Planübungen auf der theoretischen Auseinandersetzung mit Einsatzsituationen. Insbesondere bei komplexeren Einsatzszenarien ist die Planübung eine sinnvolle Ergänzung zur Einsatzübung (Chi et al., 2001). Bei geringem Ressourceneinsatz weist sie eine hohe Effektivität auf (Holloway, 2007; Careless, 2007).

Die folgende Beschreibung des Ablaufs von Planübungen basiert auf der Lernunterlage B2-305 „Planübung/Planbesprechung in der Zugführerausbildung" des Instituts der Feuerwehr Nordrhein-Westfalen (2021). Einer Planübung liegt jeweils ein Einsatzszenario zugrunde, welches bestimmte zu übende Problemstellungen enthält. Das Einsatzszenario wird häufig anhand von Modelllandschaften im Maßstab 1:87 veranschaulicht. Diese Landschaften können unterschiedliche Arten von Bebauung, Verkehrslagen oder topographische Gegebenheiten abbilden.

Der genaue Ablauf einer Planübung kann variabel gestaltet werden. Im Feuerwehrkontext orientiert sich der Ablauf in der Regel an den drei Schritten des Führungsvorgangs nach Feuerwehr-Dienstvorschrift (FwDV 100, 1999). (1) Erkundung. Die übende Person in der Rolle der Führungskraft findet mit der Modelllandschaft eine stark abstrahierte Lage vor. Im Dialog mit dem Ausbilder bzw. der Ausbilderin erarbeitet sie sich die notwendigen Informationen, um ein vollständiges Lagebild zu erhalten, welches als Grundlage für Entscheidungen dienen kann. Zentral ist hier das ständige Verbalisieren der vorgefundenen Informationen. Die Erfolgskriterien dieses Schrittes sind, dass alle kritischen Informationen erarbeitet wurden und dass die anwesende Gruppe ein einheitliches Bild der Lage hat. (2) Planung: Im nächsten Abschnitt beginnt die fachliche Auseinandersetzung mit der Lage mit dem Ziel, zu einer Entscheidung zu kommen. Dafür stellt die Person in der Rolle der Führungskraft unterschiedliche Handlungsoptionen sowie deren Vor- und Nachteile dar. Dies kann sowohl in Form eines an die Gruppe gerichteten "Lehrvortrags“ geschehen als auch im Rahmen einer Diskussion mit der Gruppe (Federal Emergency Management Agency, 2020). (3) Befehl: Nach Abwägung der Handlungsoptionen muss ein Befehl formuliert werden. Erfolgskriterien sind die adressatengerechte Formulierung und die Vermittlung aller wichtigen Informationen. In einer abschließenden Diskussion reflektiert der Ausbilder bzw. die Ausbilderin die drei Schritte und bespricht diese hinsichtlich der voraussichtlichen Erfolgsaussicht in der Praxis.

Trotz des hohen Stellenwerts der Planübungen konnten in der Literatur keine validierten Skalen gefunden werden, die die Qualität von simulierten Einsätzen im Verlauf der feuerwehrtechnischen Ausbildung abbilden. Daher wurde der FIRE-PL entwickelt, um die Qualität der Planübungen systematisch zu evaluieren.

4 Skalenentwicklung

Der FIRE-PL wurde im Rahmen einer Kooperation zwischen dem Institut der Feuerwehr Nordrhein-Westfalen (IdF NRW) und der Organisations- und Wirtschaftspsychologie der Westfälischen Wilhelms-Universität Münster entwickelt und validiert. Das IdF NRW ist die zentrale Ausbildungs- und Weiterbildungsstätte für Feuerwehrangehörige und Mitglieder von Krisenstäben des Landes NRW.

Alle berichteten statistischen Analysen wurden mithilfe der Statistiksoftware RStudio (Version 1.2.5001) durchgeführt.

Itemkonstruktion und Itemselektion

Der FIRE-PL entstand als ergänzendes Modul zum FIRE-Kernfragebogen (Schulte & Thielsch, 2019; Schulte et al., 2019). Dieser ist ein validiertes Instrument zur Bewertung und Evaluation der Führungskräfteausbildung in der Feuerwehr. Er erfasst vier Prozess-Faktoren (Dozentenverhalten, Anforderungsniveau, Struktur, Gruppe) und zwei Outcome-Faktoren (Kompetenzerwerb, Vorbereitung & Transfer) guter Lehre. Neben diesen allgemeinen Faktoren sind für die Lehrevaluation auch spezifische Informationen zu den einzelnen Lehrmethoden von Interesse. Im Bereich der Rettungskräfte-Ausbildung am IdF NRW sind dies insbesondere Einsatzübungen, Planübungen, Gruppenarbeiten und Aufgaben zum eigenverantwortlichen Arbeiten. Entsprechende Items wurden jedoch nicht in den FIRE-Kernfragebogen aufgenommen, um ihn möglichst ökonomisch und flexibel einsetzbar zu gestalten (siehe Schulte & Thielsch, 2019). Stattdessen wurde eine Reihe von Zusatzmodulen entwickelt, zu denen auch der FIRE-PL gehört. Er dient der gezielten Bewertung und Evaluation von Planübungen, wie sie in der Ausbildung von Führungskräften der Feuerwehr typischerweise vorkommen. Bei der Entwicklung des Fragebogens wurde darauf geachtet, dass die Items keine rein feuerwehrspezifischen Inhalte erfassen, sondern prinzipiell auch bei Ausbildungen in anderen Organisationen, wie Zivil- und Katastrophenschutz, Polizei und Militär eingesetzt werden können.

Bei einer umfassenden Recherche wurde kein Instrument zur Evaluation von Planübungen im Kontext Rettungswesen gefunden. Deshalb wurde die vorliegende Itembatterie neu entwickelt. Die Items sollen zunächst den subjektiven Lerngewinn durch die Planübungen erfassen (Item 1: „Ich habe bei den Planübungen viel gelernt.", angelehnt an Hirschfeld & Thielsch, 2009). Weiterhin soll abgebildet werden, inwieweit die Teilnehmenden von den Rückmeldungen der Dozentinnen und Dozenten profitieren (Item 2: „Die Dozentinnen/Dozenten gaben mir nützliches Feedback zu meinen Leistungen in den Planübungen.", selbstentwickelt). Schließlich soll erfasst werden, inwieweit die Lehrgangsinhalte in den Planübungen angewandt und erprobt werden können, ohne dass eine starke Überforderung auftritt (Item 3: „In den Planübungen konnte ich das neuerworbene Wissen anwenden.", Item 4: „Der Schwierigkeitsgrad der Planübungen war angemessen.", beide selbstentwickelt).

Studie I: Im Rahmen der Entwicklung des FIRE-Kernfragebogens wurden auch die Items zu Lehrmethoden, unter anderem die Planübungs-Items, Dozentinnen und Dozenten sowie Lehrgangsteilnehmenden am IdF NRW zur kritischen Begutachtung vorgelegt (vgl. Schulte & Thielsch, 2019). Diese bewerteten die Items hinsichtlich Verständlichkeit und Relevanz. Alle Planübungs-Items wurden jeweils von über 90% der Stichprobe als wichtig oder eher wichtig bezeichnet und kein Item wurde von mehr als 3% der Stichprobe als unverständlich bezeichnet. Dabei gab es keine nennenswerten Unterschiede zwischen Dozentinnen/Dozenten und Lehrgangsteilnehmenden. Somit musste kein Item aufgrund von Unverständlichkeit oder fehlender Relevanz revidiert werden.

Studie II: Im nächsten Schritt wurde die Faktorenstruktur der Lehrmethodenitems anhand einer explorativen Faktorenanalyse (EFA) untersucht. Dafür wurde das R-Paket psych (Revelle, 2021) genutzt. Die deskriptiven Werte aller Items und die Ergebnisse der Faktorenanalyse finden sich in Tabelle 2. Die Items zur Evaluation von Planübungen bilden in der EFA einen Faktor und weisen hohe Faktorladungen auf (siehe Tabelle 2).  

Tabelle 2

Deskriptive Daten und Explorative Faktorenanalyse der Lehrmethodenitems

Anmerkung. EVA = Eigenverantwortliches Arbeiten, G = Gruppenarbeiten, PL = Planübungen, E = Einsatzübungen. Skala von 1 (stimme gar nicht zu) bis 7 (stimme vollkommen zu). Es werden korrigierte Trennschärfen berichtet. * = dieses Item ging nicht in die EFA ein (siehe dazu auch Röseler et al., 2020). Es wurde eine oblimin-rotierte Hauptkomponentenanalyse gerechnet. Es werden alle Faktorladungen > .20 berichtet. Personen mit unvollständigen Angaben waren zuvor listenweise ausgeschlossen worden, siehe Stichprobenbeschreibung zu Studie II. N = 155.

Stichproben

Stichprobe zu Studie I: An der Bewertung der Items in Studie I (Ende 2015) nahmen sieben Dozentinnen und Dozenten (86% männlich) sowie 26 Teilnehmende eines Gruppenführerlehrgangs (96% männlich) teil, sodass insgesamt N = 33 Personen befragt wurden. Die Dozentinnen und Dozenten wurden im Rahmen Ihrer Tätigkeit in der Gruppen- und Zugführerausbildung am IdF NRW gebeten, an der Studie teilzunehmen, während die Lehrgangsteilnehmenden im Rahmen ihres Lehrgangs auf die Studie angesprochen wurden. Für beide Gruppen war die Teilnahme an der Paper-Pencil-Befragung freiwillig und wurde nicht vergütet. Die befragten Dozentinnen und Dozenten waren zwischen 27 und 45 Jahre alt (M = 38.9; SD = 6.0). In der Gruppe der Lehrgangsteilnehmenden variierte das Alter zwischen 21 und 43 Jahren (M = 30.5; SD = 6.9).

Stichprobe zu Studie II: In Studie II nahmen zwischen Januar und April 2016 insgesamt 263 Teilnehmende von Gruppen- und Zugführerlehrgängen am IdF NRW an der Paper-Pencil-Befragung teil. Die Teilnehmenden wurden jeweils im Rahmen ihres Lehrgangs auf die Studie angesprochen. Die Teilnahme war freiwillig und wurde nicht vergütet. In der vorliegenden Analyse mussten die Daten von 108 Teilnehmenden ausgeschlossen werden, da sie nicht mit der Nutzung ihrer Daten einverstanden waren (n = 10), einen monotonen oder unrealistischen Antwortstil aufwiesen (n = 3) oder interessierende Items nicht beantworteten hatten (n = 95). Die Stichprobengröße für die EFA bestand demnach aus n = 155 Lehrgangsteilnehmenden. Die Befragten (96.1% männlich, 2.6% weiblich, 1.3% ohne Angabe) waren zwischen 21 und 55 Jahren alt (M = 32.4, SD = 6.8). Sie verfügten über eine mittlere Arbeitserfahrung von 14.7 Jahren (SD = 8.2) und absolvierten im Mittel 8.7 (SD = 14.5) Einsätze im Monat. 12% der Stichprobe arbeiteten bei der Berufsfeuerwehr, 74% bei der freiwilligen Feuerwehr und 14% gaben an, sowohl bei der Berufsfeuerwehr als auch bei der freiwilligen Feuerwehr tätig zu sein.

Stichprobe zu Studie III (Bestimmung der Itemkennwerte und Gütekriterien): Zwischen Januar und März 2017 nahmen insgesamt 415 Teilnehmende von Gruppen- und Zugführerlehrgängen am IdF NRW an der Paper-Pencil-Befragung teil. Die Teilnehmenden wurden jeweils im Rahmen ihres Lehrgangs auf die Studie angesprochen. Die Teilnahme war freiwillig und wurde nicht vergütet. Es mussten 30 Teilnehmende wegen fehlender Zustimmung zur Nutzung ihrer Daten und weitere 97 wegen einer oder mehrerer fehlender Antworten bei den Planübungs-Items ausgeschlossen werden. Als Grund für die hohe Ausschlussquote kann die weniger intensive Nutzung von Planübungen in den Gruppenführer-Basislehrgängen angeführt werden. Die Stichprobengröße in Studie III belief sich somit auf 288 Lehrgangsteilnehmende, die zwischen 22 und 55 Jahre alt waren (M = 34.5, SD = 6.8). Davon waren 94.4% männlich und 4.0% weiblich (1.7% ohne Angabe). Die mittlere Einsatzerfahrung betrug 15.0 Jahre (SD = 12.5). Bei der Freiwilligen Feuerwehr waren 51.7% der Stichprobe tätig, bei der Berufsfeuerwehr 27.4%. Die übrigen Teilnehmenden gaben an, sowohl bei der Freiwilligen als auch bei der Berufsfeuerwehr tätig zu sein (19.1%; 1.7% ohne Angabe). Teilnehmende, die ausschließlich bei der Freiwilligen Feuerwehr tätig waren, absolvierten durchschnittlich 5.1 Einsätze pro Monat (SD = 4.7). Die Teilnehmenden, die zusätzlich oder ausschließlich bei der Berufsfeuerwehr tätig waren, absolvierten durchschnittlich 28.5 Einsätze pro Monat (SD = 23.5).

Itemanalysen

Studie III: Die angenommene einfaktorielle Struktur des FIRE-PL wurde anhand einer konfirmatorischen Faktorenanalyse (CFA) überprüft. Hierzu wurde das R-Paket lavaan (Rosseel, 2012) mit Maximum-Likelihood-Schätzer (MLR) verwendet. Personen mit unvollständigen Angaben waren zuvor listenweise ausgeschlossen worden (siehe Stichprobenbeschreibung zu Studie III). Eine einfaktorielle Struktur ergab einen guten Fit (?²(2) = 4.72, CFI = .99, TLI = .98, RMSEA = .07 [.00,.15], SRMR = .02), beurteilt nach den Empfehlungen für Fit-Indizes von Hu und Bentler (1999), und durchgehend signifikante, hohe standardisierte Faktorladungen (≥.60) Die Ergebnisse der CFA sind in Abbildung 1 zu finden.

Abbildung 1

Ergebnisse der konfirmatorischen Faktorenanalyse

Anmerkung. Standardisierte Faktorladungen. Alle Faktorladungen sind signifikant mit p < .001. N = 288.

Itemkennwerte

Eine Übersicht der Kennwerte der finalen Items findet sich in Tabelle 3.

Tabelle 3

Mittelwerte, Standardabweichungen, Schiefe, Kurtosis und Trennschärfen der manifesten Items

Anmerkung. Skala von 1 (stimme gar nicht zu) bis 7 (stimme vollkommen zu). Es werden korrigierte Trennschärfen berichtet. Die Faktorladungen siehe Abb. 1. N = 288.

5 Gütekriterien

Objektivität

Bei der Konstruktion des FIRE-PL wurden keine expliziten Objektivitätskriterien überprüft. Es kann davon ausgegangen werden, dass die Standardisierung des Fragebogens, das gebundene Antwortformat, die oben beschriebene Auswertungsmethode und die Angabe von Vergleichsdaten (siehe Deskriptive Statistiken) eine hohe Durchführungs-, Auswertungs- und Interpretationsobjektivität grundsätzlich ermöglichen.

Reliabilität

Beim FIRE-PL liegt in den Stichproben zu Studie II und zu Studie III jeweils ein kongenerisches Messmodell vor, sodass McDonalds ω der adäquate Koeffizient für die interne Konsistenz ist (siehe Tabelle 4). Dieser Koeffizient wird analog zu Cronbachs α interpretiert. Der FIRE-PL weist mit einem ω von .81 - .86 eine gute Reliabilität im Sinne der internen Konsistenz auf.

Tabelle 4

Reliabilitätsanalyse des FIRE-PL

Anmerkung. In einem ?²-Differenzentest wurde ein kongenerisches gegen ein essenziell tau-äquivalentes Messmodell getestet.

Validität

Inhaltsvalidität. Die konstruierten Items wurden von Dozentinnen und Dozenten und Lehrgangsteilnehmenden am IdF NRW als generell relevant und verständlich bewertet (Studie I). Zusätzlich schätzten Experten des IdF NRW die in den Items enthaltenen Aspekte als relevant für den Lernerfolg ein. Insgesamt ist somit von inhaltlicher Validität auszugehen.

Konstruktvalidität. Im Hinblick auf die Konstruktvalidität des FIRE-PL wurden Subskalen des FIRE-Kernfragebogens (Schulte & Thielsch, 2019; Schulte et al., 2019) als konvergente und divergente Maße erhoben. Als divergente Maße wurden außerdem Biasvariablen erhoben. Biasvariablen sind solche Variablen, die Einfluss auf die Einschätzung der Lehrqualität durch die Urteilenden nehmen, tatsächlich aber nicht mit ihr in Zusammenhang stehen (Spiel, 2001). Solch ein Einfluss kann durch die Stimmung der Teilnehmenden entstehen. Die Stimmung der Teilnehmenden wurde dabei anhand einer fünfstufigen Smiley-Skala von Jäger (2004) gemessen. Tabelle 5 zeigt die Korrelationen des FIRE-PL mit den verschiedenen Validitätsmaßen basierend auf Studie III.

Konvergente Validität. Die Bedeutung der Planübungen für die Vertiefung und den Transfer des theoretisch vermittelten Wissens legt einen Zusammenhang mit den Outcome-Faktoren des FIRE nahe (Kompetenzerwerb und Vorbereitung & Transfer). Tatsächlich zeigen sich hohe Korrelationen. Auch die zentrale Rolle der Dozentinnen und Dozenten als Feedbackgeber in den Planübungen spiegelt sich in einer hohen Korrelation mit der Subskala Dozentenverhalten wider.

Divergente Validität. Bei Planübungen profitieren Teilnehmende von einer aufmerksam zuhörenden Gruppe, die konstruktives Feedback beiträgt. Letztlich führen die Teilnehmenden die Planübung jedoch in hohem Maße selbstständig durch. Dies spiegelt sich in einer mittleren Korrelation mit der FIRE-Skala Gruppe wider, die in der Höhe geringer ausfällt als mit den oben genannten konvergierenden Skalen. Einige der erhobenen Biasvariablen können als theoretisch nicht völlig unabhängig vom FIRE-PL erachtet werden. So ist zu erwarten, dass sich ein großer Lernerfolg positiv auf die Stimmung auswirken. Kleine oder mittlere Zusammenhänge sprechen in diesem Zusammenhang daher nicht gegen die Validität der Skalen. Größere Zusammenhänge würden die Konstruktvalidität der Skalen jedoch in Frage stellen. Es zeigt sich eine kleine Korrelation des FIRE-PL mit der Stimmung zum Zeitpunkt der Erhebung. Die nicht signifikante Korrelationen mit der Punktzahl in der Eingangsprüfung ist ein Indikator dafür, dass Vorkenntnisse und Vorbereitungsstand nicht in die Bewertung der Planübungen einfließen. Der ebenfalls nicht signifikante Zusammenhang mit der Erfahrung in der Berufsfeuerwehr zeigt, dass bei der Bewertung der Planübungen ein ehren- bzw. hauptamtlicher Hintergrund keine Rolle spielt.

Tabelle 5

Validitätsmaße des FIRE-PL

Anmerkung. Paarweiser Ausschluss bei fehlenden Daten (= Frage ausgelassen oder als nicht sinnvoll beantwortbar beantwortet, auch bereits bei zur Bildung eines Skalenwerts notwendigen Items). † Kodierung: 0 = keine Erfahrung, 1 = Erfahrung in der Berufsfeuerwehr; ††  Zur besseren Interpretierbarkeit wurde die hier erhobene Schulnote umgepolt; hohe Werte entsprechen somit einer positiven Benotung des Seminars; aufgrund des Ordinalskalenniveaus der Schulnotenskala wurde eine Spearman-Korrelation berechnet. Die Daten stammen aus Studie III.
*p < .05, **p < .01, ***p < .001. N = 288.

Kriteriumsvalidität. Aufgrund der zentralen Rolle von Planübungen in der Führungskräfteausbildung der Feuerwehr sollten hohe Werte des FIRE-PL mit einer hohen Gesamtzufriedenheit der Teilnehmenden mit dem Lehrgang einhergehen. Zur Validierung wurde eine Skala bestehend aus vier Items genutzt (selbstgeneriert und entnommen aus Gläßer et al., 2002), welche die Gesamtzufriedenheit mit dem Lehrgang erfragten. Zudem wurde der Lehrgang anhand einer Schulnotenskala von den Teilnehmenden bewertet. Der FIRE-PL zeigte eine große Korrelation mit der Gesamtzufriedenheit der Lehrgangsteilnehmenden und eine mittlere Korrelation mit ihrer Benotung des Lehrgangs (siehe Tabelle 5).

Deskriptive Statistiken

Zur Berechnung der deskriptiven Statistiken wurden die Stichproben der Studien II und III zugunsten einer breiteren Datenbasis zusammengefasst. Beide Stichproben können als vergleichbar eingeschätzt werden, da jeweils ein kongenerisches Messmodell vorliegt und die internen Konsistenzen ähnlich hoch sind (Tabelle 4). In der zusammengefassten Stichprobe (N = 443) zeigte der FIRE-PL einen Mittelwert von 5.85 (SD = 0.75). Es ergab sich eine Schiefe von -1.13 und eine Kurtosis von 3.35. In dieser Stichprobe lag der Anteil männlicher Teilnehmer bei 95.0% (3.4% weiblich, 1.6% ohne Angabe) und das mittlere Alter bei 33.72 Jahren (SD = 6.88). Die mittlere Einsatzerfahrung betrug 14.85 Jahre (SD = 10.73) bei durchschnittlich 14.66 Einsätzen pro Monat (SD = 19.85). Insgesamt waren 59.6% der zusammengefassten Stichprobe ausschließlich in der Freiwilligen Feuerwehr tätig, 21.9% ausschließlich in der Berufsfeuerwehr und 17.4% sowohl in der Freiwilligen als auch in der Berufsfeherwehr (1.1% ohne Angabe).

Nebengütekriterien

Der FIRE-PL erlaubt eine sehr zeit- und kostenökonomische Erfassung der Teilnehmendenurteile über die erlebte Qualität von Planübungen. Die Durchführungsdauer darf mit etwa einer Minute (Schätzwert der Autoren) als gut zumutbar sowohl für Dozentinnen und Dozenten als auch für Teilnehmende gelten. Es besteht die mit der Verwendung von Rating-/Likertskalen stets einhergehende Möglichkeit zur Verfälschung der Antworten. Um die Motivation zum ehrlichen Antworten zu erhöhen, sollte den Teilnehmenden in jedem Falle Anonymität zugesichert werden.

Weiterführende Literatur

Schulte, N. & Thielsch, M. T. (2019). Evaluation of Firefighter Leadership Trainings. International Journal of Emergency Services, 8(1), 34-49. http://doi.org/10.1108/IJES-03-2018-0020