Die Tätigkeit von Rettungskräften, insbesondere die Tätigkeit von Führungskräften in diesem Bereich, erfordert ein breitgefächertes Spektrum von verschiedensten Fertigkeiten, um herausfordernde Einsatzsituationen sicher zu meistern (Schulte & Thielsch, 2019). Ob Verkehrsunfälle, Brände oder technische Hilfeleistungen - die Arbeit der Feuerwehr ist durch hohe Anforderungen und teilweise extreme Bedingungen geprägt. Oftmals treffen an der Notfallstelle die miteinander arbeitenden Einsatzkräfte der Feuerwehr, Polizei, Luftrettung und weitere Helfer zum ersten Mal zusammen. Die Teams der Feuerwehr müssen dabei sofort funktionieren und eine effektive Kooperation und Kommunikation sicherstellen. Damit kommt insbesondere den Führungskräften eine entscheidende Rolle zu. Sie müssen die Einsatzlagen vor Ort einschätzen und oft unter hohem Zeitdruck Entscheidungen treffen. Führungskräfte der Feuerwehr müssen dabei zügig reagieren, die richtigen Befehle erteilen und dabei die Sicherheit der Bevölkerung und der eigenen Einsatzkräfte im Auge behalten.

Die Führungskräfteausbildung der Feuerwehr erfolgt in einem Zusammenspiel aus Theorieunterricht und praktischen Übungen. Das vorliegende Evaluationsinstrument wurde in Zusammenarbeit mit dem Institut der Feuerwehr Nordrhein-Westfalen für die dortigen Lehrgänge entwickelt. Sie sind folgendermaßen aufgebaut: In verschiedenen Unterrichtseinheiten werden den Lehrgangsteilnehmenden am IdF NRW zunächst explizite theoretische Inhalte meist im Frontalunterricht anhand von Präsentationen, Videosequenzen oder anderen Lehrmaterialien vermittelt. Weitere Methoden der theoretischen Wissensvermittlung sind unter anderem Gruppenarbeiten, das eigenverantwortliche Erarbeiten und Vertiefen von Inhalten sowie die Präsentation von Ergebnissen und kritische Diskussionen. Im praktischen Teil des Unterrichts üben die Lehrgangsteilnehmenden das erworbene theoretische Wissen in realitätsnahen Einsatzszenarien auf dem Außengelände ein und wenden es wiederholt praktisch an (IdF NRW Ausbildungsplan - Musterplan BIII, 2012; IdF NRW Ausbildungsplan - Musterplan FIII, 2013; IdF NRW Ausbildungsplan - Musterplan FIV, 2016). Im Rahmen dieser Szenarien erhält jeder der Lehrgangsteilnehmenden die Möglichkeit, einen Einsatz mit einer spezifischen Gefahrensituation als Gruppen- oder Zugführer zu leiten und erhält im Anschluss daran ausführliches Feedback von den Dozentinnen und Dozenten.

Unter welchen Kriterien lässt sich eine so geartete Ausbildung bewerten und was macht einen guten Lehrgang überhaupt aus? Das Evaluationsmodell von Kirkpatrick (1979) mit den vier Ebenen Reaktion, Lernen, Verhalten und Ergebnis, auf denen die Evaluation erfolgen soll, bietet einen konzeptuellen Rahmen, um die Qualität von Ausbildungsprogrammen oder Trainings zu beurteilen. Auf der Ebene der Reaktion wird untersucht, wie sehr das Training beziehungsweise Ausbildungsprogramm den Teilnehmenden gefällt. Eine positive Reaktion der Teilnehmenden ist ein Prädiktor für Lernprozesse (Blanchard & Thacker, 2010; Kirkpatrick, 1998), da sie Aufmerksamkeit und Motivation - wichtige kognitive Prozesse für effektives soziales Lernen - fördert (Bandura, 1977). Auf der Ebene des Lernens werden erworbenes Wissen und Handlungskompetenzen der Teilnehmenden erfasst. Eine Evaluation auf Verhaltensebene erfasst das Ausmaß, in dem erlernte Trainings- oder Ausbildungsinhalte im Berufsalltag angewandt werden. Die Evaluation auf Ergebnisebene erlaubt eine Untersuchung des Trainings im Hinblick auf Unternehmensziele oder monetäre Größen. Kirkpatrick (1998) schlägt vor, ein Ausbildungsprogramm erst auf den Ebenen Verhalten und Ergebnis zu evaluieren, wenn sich die Evaluation auf den Ebenen Reaktion und Lernen als erfolgreich erwiesen hat. Ausbildungsprogramme lassen sich zudem im Hinblick auf die Prozesse während des Ausbildungsverlaufs (z.B. Ausbilderverhalten, Tagesablauf etc.) und die erzielten Outcomes (z.B. Lernerfolg) evaluieren (Blanchard & Thacker, 2010).

Der theoretische Teil der Lehre am IdF NRW und dessen methodische Gestaltung ähnelt in vielen Punkten durch seinen Vorlesungs- und vor allem Seminarcharakter der Lehre im universitären Kontext. Diese Ähnlichkeit ist für die Evaluation von Rettungskräfteausbildungen insofern relevant, als dass es eine Vielzahl von Forschungsarbeiten zur Evaluation universitärer Lehre gibt, welche eine Identifikation der kritischen Merkmale guter Lehre erlauben (bspw. Braun & Gusy, 2006; Souvignier & Gold, 2002). Im multidimensionalen Bedingungsmodell des Lehrerfolgs (Rindermann, 2001) ist der Erfolg der Lehre abhängig von einem Zusammenspiel aus Dozenten-/Studierendenvariablen und den Rahmenbedingungen der Lehre. Erfolgskritische Variablen auf der Seite des Dozenten sind hierbei vor allem Strukturiertheit und Klarheit, während auf der Seite der Studierenden hauptsächlich Vorwissen, Fähigkeiten, Interesse und Fleiß/Arbeitsbelastung den Lehrerfolg beziehungsweise Kompetenzerwerb bedingen.

Da wir trotz intensiver Literaturrecherche kein Evaluationsinstrument finden konnten, das sich auf den Ausbildungskontext der Feuerwehr anwenden ließ, entwickelten wir das hier vorgestellte Feedback-Instrument zur Rettungskräfte-Entwicklung. Der FIRE-Fragebogen vereint das bekannte Evaluationsmodell nach Kirkpatrick (1979) mit den Bedingungen guter Lehre aus dem universitären Kontext (Rindermann, 2001), in dem er auf Reaktions- und Lernebene Dozenten- und Teilnehmendenmerkmale sowie Rahmenbedingungen der Lehrgänge im IdF NRW erfasst, wodurch Prozess- und Outcomevariablen identifiziert werden, die Aussagen über die Lehrqualität und den Lehrerfolg erlauben.

Das IdF NRW als zentrale Ausbildungs- und Weiterbildungsstätte für Feuerwehrangehörige und Mitglieder von Krisenstäben des Landes NRW gab im Rahmen einer Neukonzeption der Lehre den Impuls, den FIRE-Fragebogen als Evaluationsinstrument der Gruppen- und Zugführerausbildungslehrgänge zu entwickeln. Der FIRE-Fragebogen wurde in einem multimodalen Studiendesign anhand von Stichproben entwickelt, die vorwiegend aus Lehrgangsteilnehmenden, aber auch aus Dozenten der Gruppen- oder Zugführerausbildungslehrgänge des IdF NRW bestanden. Am IdF NRW werden jährlich etwa 1.500 haupt- und ehrenamtliche Führungskräfte auf Gruppen- und Zugführerebene ausgebildet (Ministerium für Inneres und Kommunales des Landes Nordrhein-Westfalen, 2014; Sievers, 2015[1]). Ein Gruppenführer ist befähigt, im Einsatz eine maximal acht Personen starke Mannschaft zu leiten. Die Gruppe ist die taktische Grundeinheit bei Einsätzen der Feuerwehr. Bestehend aus Einsatzkräften und Einsatzmitteln übernimmt sie meistens die ersten Maßnahmen an der Einsatzstelle. Der Gruppenführer leitet die Einheit bis zum Einsatzende oder bis zur Übernahme der Einsatzleitung durch eine höhergestellte Führungskraft. Ein Zugführer ist dazu berechtigt, die nächstgroße taktische Einheit der Feuerwehr, einen Zug, zu kommandieren. Ein Zug besteht aus bis zu 22 Feuerwehrleuten und dazugehörigen Einsatzmitteln (FwDV 3, 2008). In mehrwöchigen Lehrgängen werden die angehenden Führungskräfte befähigt, Einsatze erfolgreich zu leiten (AG-B III, 2007; AG-F III, 2005; AG-F IV, 2007).

Itemkonstruktion und Itemselektion

Studie I

Zunächst wurden halbstrukturierte Interviews mit n = 5 Dozenten und n = 3 Lehrgangsteilnehmenden am IdF NRW zu den Qualitätskriterien guter Lehre geführt (Babiel, 2016[2]; Schulte & Thielsch, 2019). Die Erkenntnisse aus diesen Interviews wurden mit den Angaben aus einem standardisierten Fragebogen mit N = 56 Lehrgangsteilnehmenden ergänzt. Durch den Einsatz des standardisierten Fragebogens sollten die verschiedenen Erfahrungen und Ansichten einer größeren Anzahl von Teilnehmern auf eine zeitlich flexiblere und ökonomische Weise erhoben werden (Howard, 2018; Schmidt-Atzert & Amelang, 2012). Im Folgenden wird auf die getrennte inhaltliche Darstellung der Ergebnisse der Interviews und Fragebogenmethode verzichtet, da für beide Methoden derselbe Fragebogen verwendet wurde.

Die Antworten wurden mittels qualitativer Inhaltsanalyse (Mayring, 2000) ausgewertet. Ausgehend von der von Mayring (2000) vorgeschlagenen induktiven Kategorienbildung konnten fünf Kategorien erfolgskritischer Lehre ermittelt werden. Um adäquate Interrater-Reliabilitäten (d. h. Beurteilerübereinstimmungen) für die inhaltsanalytischen Auswertungen sicherzustellen, wurden die Aussagen durch eine unabhängige zweite Person kategorisiert. Die zufallsbereinigten Übereinstimmungen der von den beiden Beurteilern unabhängig voneinander vorgenommenen Zuordnungen lagen hierbei im Bereich von .85 ≤ κ ≤ .96. Gemäß der Klassifikation von Greve und Wentura (1997, S. 111) spricht dies für eine gute bis ausgezeichnete Interrater-Reliabilität (da κ > .75). Die Kategorie Dozent umfasst verschiedene Verhaltensweisen und Merkmale der Dozenten, die aus Sicht der Befragten den Erfolg der Lehre beeinflussen. Dazu zählen vor allem didaktische Maßnahmen, wie beispielsweise eine gute Strukturierung der Lehrinhalte, aber auch sozial-interaktive Verhaltensweisen, wie die Gestaltung einer angenehmen Lernatmosphäre. Die Rahmenbedingungen als zweite Kategorie befassen sich mit der Ausstattung der Räumlichkeiten, der Organisation der Lehre und der Qualität und Verfügbarkeit der Lehrmaterialien. Die dritte und die vierte Kategorie - Gruppe und Teilnehmer - umfassen jeweils erfolgskritische Determinanten der Lehrgangsteilnehmenden, wobei unter Gruppe Aspekte des gemeinschaftlichen Miteinanders der Teilnehmenden zusammengefasst wurden und unter Teilnehmer Merkmale und Verhaltensweisen des einzelnen Lehrgangsteilnehmers, wie beispielsweise die Bereitschaft zur aktiven Mitarbeit oder die Motivation zum selbstständigen Nacharbeiten von Inhalten. In der fünften Kategorie - Lehrerfolg - finden sich vor allem Aspekte, die die Outcomes eines guten Lehrgangs beschreiben. Hierunter fallen beispielsweise der individuelle Wissenszuwachs oder der Kompetenzerwerb.

Aufbauend auf der beschriebenen Kategorisierung sollte eine möglichst große Itemmenge generiert werden, um alle bisher erfassten und angenommenen Determinanten guter Lehre umfassend zu berücksichtigen. Dieses Vorgehen führte zu einer Liste von 116 Items. Für jede Kategorie wurde eine unterschiedliche Itemanzahl generiert, da die Kategorien unterschiedlich umfangreich waren und für eine vollständige Beschreibung jeweils mehr oder weniger Aspekte berücksichtigt werden mussten. Bei der Itemkonstruktion konnten zum Teil auf Items aus bestehenden Lehrevaluationsinventaren mit guten Testgütekriterien zurückgegriffen werden (siehe auch Tabelle 3). Um eine optimale Passung an den Feuerwehrkontext sicherzustellen, wurden aber auch zahlreiche Items neu generiert.

Studie II

Eine wesentliche Voraussetzung für das Gelingen von Evaluationsprogrammen ist das frühzeitige Einbinden der Betroffenen (Wolf, Spiel & Pellert, 2001). Daher wurden die Items vor Erstellung der Fragebogenerstversion sowohl den Verantwortlichen als auch den Betroffenen (d. h. Dozenten sowie Lehrgangsteilnehmenden) am IdF NRW zur kritischen Begutachtung vorgelegt.

Die 116 Items wurden in Studie II n = 7 Dozenten und n = 26 Lehrgangsteilnehmenden präsentiert und von diesen hinsichtlich Verständlichkeit und Relevanz bewertet (vgl. Schulte & Thielsch, 2019). Außerdem sollten die Befragten die aus ihrer Sicht noch fehlenden Aspekte ergänzen. Die Items konnten anhand dieser Bewertung in zwei Gruppen eingeteilt werden. 65 Items zielten auf generelle Aspekte in der Ausbildung von Feuerwehrmännern und -frauen ab, die auf jede Ausbildungssituation übertragbar sind (44 Items zum Lernprozess, 21 Items zu Lernoutcomes). Weitere 51 Items zielten auf spezifische Lehrmethoden am IdF NRW ab und wurden deswegen aus der weiteren Analyse im Rahmen der Konstruktion des FIRE-Kernmoduls ausgeschlossen, gingen aber in die Konstruktion von hier nicht weiter besprochenen Erweiterungsmodulen für das FIRE ein.

Itemanalysen

Studie III

Basierend auf den Bewertungen aus Studie II konnte ein erster Fragebogen erstellt werden, dessen Items in je eine explorative Faktorenanalyse (EFA) für die Items zu Lernprozessen und zu Lernoutcomes eingingen. Von der Aufnahme in die EFAs ausgeschlossen wurden Items, die von weniger als 95% der Teilnehmenden beantwortet wurden (traf auf keines der Items zu), eine absolute Schiefe > 2 oder einen absoluten Exzess > 7 zeigten (keines der Items), Iteminterkorrelationen > .75 aufwiesen (5 Items) oder einen Mittelwert ≥ 6 und eine Standardabweichung ≤ 1 aufwiesen (3 Items). Ein weiteres Item wurde aufgrund mangelnder inhaltlicher Relevanz bei gleichzeitiger ungünstiger Verteilung der Itemantworten ausgeschlossen. Das Itemset für die EFAs bestand abschließend aus 39 Prozessitems und aus 17 Outcomeitems.

Es wurde je eine EFA für Prozess- und eine für Lernoutcomeitems berechnet. Das Ergebnis des Screetests für die Prozessitems legte die Extraktion von zwei oder vier Faktoren nahe, die Parallelanalyse die Extraktion von vier Faktoren, weshalb vier distinkte Faktoren auf der Prozessebene extrahiert wurden. Aufgrund von Faktorladungen und Reliabilitätsindizes (Cronbachs α ohne das entsprechende Item) wurden im weiteren Verlauf insgesamt 26 Items ausgeschlossen.

Screetest und Parallelanalyse auf Outcomeebene legten eine Extraktion von zwei Faktoren nahe, weswegen zwei distinkte Faktoren extrahiert wurden. Auf Outcomeebene wurden fünf Items aufgrund von Doppelladungen und vier Items aufgrund zu geringer Ladungen und inhaltlichen Überlegungen ausgeschlossen. Die Trennschärfe aller Items war zufriedenstellend (≥ .58) und die Reliabilitätsindizes differenzierten nicht zwischen den Items.

Das Resultat von Studie III war ein kurzer Fragebogen mit 21 Items auf 6 Skalen, die mit den in Studie I identifizierten Qualitätskriterien einer guten Lehre korrespondierten. Tabelle 3 zeigt eine Übersicht der 21 finalen Items inklusive der Quellen, nach denen sie adaptiert wurden.

Tabelle 3

Übersicht der finalen Itembatterie

Anmerkung. Mit * markierte Items wurden für den FIRE-Fragebogen auf Basis der Ergebnisse aus Studie I neu generiert

Studie IV

In Studie IV wurde die in Studie III erhaltene internale Struktur des Fragebogens mithilfe von konfirmatorischen Faktorenanalysen (confirmatory factor analysis, CFAs) an einer Stichprobe aus Lehrgangsteilnehmenden am IdF NRW kreuzvalidiert (vgl. Schulte & Thielsch, 2019). Hierzu wurde das R-Paket lavaan (Rosseel, 2012) mit Maximum-Likelihood-Schätzer verwendet. Die CFAs konnten die in Studie III gefundene Faktorenstruktur bestätigen. Auf Ebene des Lernprozesses lassen sich die vier distinkten Faktoren Dozentenverhalten, Anforderungsniveau, Struktur und Gruppe unterscheiden, die Ergebnisse der CFA finden sich in Abbildung 1. Dieses Modell zeigte einen akzeptablen Fit (CFI =.96, RMSEA = 0.06 [0.05, 0.08], SRMR = 0.06). Lediglich der TLI erreichte mit 0.94 kein akzeptables Niveau. Der ?²-Test fiel signifikant aus mit ?² (59) =146.37, p < .001, was typisch für große Stichproben ist (Schermelleh-Engel, Moosbrugger & Müller, 2003).

Abbildung 1. Ergebnisse der konfirmatorischen Faktorenanalyse der Prozessskalen, standardisierte Koeffizienten. ***p < .001. N = 382.

Auf Ebene des Lernoutcomes wurde ein Modell mit den Faktoren Kompetenzerwerb und Transfer getestet. Für dieses ursprüngliche Modell (?²(19) = 74.80, p < .001, ?²/df = 3.94, RMSEA = 0.09 [0.07, 0.11], SRMR = 0.04, CFI = .95, TLI = .93) legten Modifikationsindizes das Hinzufügen einer Korrelation zwischen den Items 14 und 15 Item nahe. Der sich überschneidende Inhalt kann als plausible Ursache für einen solchen über die durch den Faktor Kompetenzerwerb erklärte Kovarianz hinausgehenden Zusammenhang angesehen werden. Das resultierende Modell ist in Abbildung 2 dargestellt. Das zweifaktorielle Modell zeigt einen guten (SRMR = 0.03, CFI = .97) bis akzeptablen Fit (TLI = .96, RMSEA = 0.07 [0.045, 0.09]). Der ?²-Test fiel ebenfalls signifikant aus mit ?² (18) = 48.38, p < .001.

Abbildung 2. Ergebnisse der konfirmatorischen Faktorenanalyse der Outcomeskalen, standardisierte Koeffizienten. ***p < .001. N = 382.

Stichproben

Alle hier beschriebenen Studien fanden am IdF NRW statt. Bei den Befragten handelt es sich um Dozenten und Teilnehmende der dortigen Gruppen- und Zugführerlehrgänge. Die Teilnehmenden wurden im Rahmen ihrer Lehrgänge zur Teilnahme aufgefordert und diese wurde nicht vergütet. Die Teilnahme erfolgte auf freiwilliger und anonymer Basis. Die Erhebungen fanden im Zeitraum von 2015 bis 2017 statt.

Stichprobe in Studie I

In Studie I wurden zunächst drei Teilnehmer eines Zugführerlehrgangs (100% männlich) sowie fünf Dozenten und Prüfer (100% männlich) interviewt. Die interviewten Lehrgangsteilnehmer waren zwischen 40 und 50 Jahre alt (M = 43.7; SD = 5.5). Das Alter der interviewten Dozenten und Prüfer variierte zwischen 33 und 56 Jahren (M = 42.2; SD = 8.8).

Zusätzlich nahmen 56 Lehrgangsteilnehmer (100% männlich) an der Befragung mit dem standardisierten Fragebogen teil. Von ihnen absolvierten 55% eine Gruppen- und 45% einen Zugführerlehrgang. Das Alter der Teilnehmer lag dabei zwischen 23 und 50 Jahren (M = 33.9; SD = 7.4).

Stichprobe in Studie II

An der Bewertung der Items in Studie II nahmen sieben Dozenten (86% männlich) sowie 26 Teilnehmende eines Gruppenführerlehrgangs (96% männlich) teil, sodass insgesamt N = 33 Personen befragt wurden. Die befragten Dozenten waren zwischen 27 und 45 Jahre alt (M = 38.9; SD = 6.0). In der Gruppe der Teilnehmenden variierte das Alter zwischen 21 und 43 Jahren (M = 30.5; SD = 6.9).

Stichprobe in Studie III

In Studie III wurden N = 263 Lehrgangsteilnehmende befragt. Aus der Analyse mussten die Daten von 20 Teilnehmenden ausgeschlossen werden, da sie nicht mit der Nutzung ihrer Daten einverstanden waren (n = 10), mehr als 10% der Items nicht beantworteten (n = 7) oder einen monotonen oder unrealistischen Antwortstil aufwiesen (n = 3). Die Stichprobengröße für die EFA bestand demnach aus n = 243 Lehrgangsteilnehmenden.

Die Befragten (96% männlich) waren zwischen 21 und 55 Jahren alt (M = 31.8, SD = 6.5). Sie verfügten über eine mittlere Arbeitserfahrung von 13.8 Jahren (SD = 8.2) und absolvierten im Mittel 9.00 (SD = 15.5) Einsätze im Monat. 14% der Stichprobe arbeiteten bei der Berufsfeuerwehr, 70% bei der freiwilligen Feuerwehr und 16% gaben an, sowohl bei der Berufsfeuerwehr als auch bei der freiwilligen Feuerwehr tätig zu sein.

Stichprobe in Studie IV

Die für die CFAs in Studie IV genutzte Stichprobe bestand aus N = 382 Lehrgangsteilnehmenden, von denen zwei Personen wegen fehlender Antworten und eine Person wegen monotonem Antwortverhaltens aus der Auswertung ausgeschlossen wurden. Das Alter der Lehrgangsteilnehmenden lag zwischen 20 und 55 Jahren (M = 33.3, SD = 6.9) und 95% der Stichprobe waren männlich. 54% der Lehrgangsteilnehmenden gehören der Berufsfeuerwehr an, 25% der freiwilligen Feuerwehr und 21% gaben an, in beiden Bereichen tätig zu sein. Die mittlere Berufserfahrung lag bei 14.42 Jahren (SD = 6.6) mit 6.35 (SD = 12.0) Einsätzen im Monat bei den Teilnehmenden der freiwilligen Feuerwehr und bei 9.35 Jahren (SD = 7.3) mit 24.62 (SD = 23.9) Einsätzen im Monat bei den Teilnehmenden der Berufsfeuerwehr.

Der hohe Männeranteil in allen beschriebenen Stichproben ist repräsentativ für die Population der Teilnehmenden an Führungskräftelehrgängen deutscher Feuerwehrschulen.

Itemkennwerte

Eine Übersicht der Kennwerte der finalen Items (berechnet anhand der Stichprobe aus Studie IV) findet sich in Tabelle 4.

Tabelle 4

Mittelwerte, Standardabweichungen, Trennschärfen, Schiefe und Kurtosis der manifesten Items

Anmerkung. Skala von 1 = stimme gar nicht zu bis 7 = stimme vollkommen zu. N = 382. Die Zahlen der Subskala Anforderungsniveau beruhen auf invertierten Itemrohwerten. Die Trennschärfen sind um das betreffende Item korrigiert.

Objektivität

Bei der Konstruktion des FIRE-Fragebogens wurden keine expliziten Objektivitätskriterien überprüft. Es kann davon ausgegangen werden, dass durch die Standardisierung des Fragebogens, das gebundene Antwortformat und die oben beschriebene Auswertungswertungsmethode Durchführungs-, Auswertungs- und Interpretationsobjektivität gegeben sind.

Reliabilität

Reliabilitätskoeffizienten für alle FIRE-Skalen in Studie IV sind Tabelle 5 zu entnehmen. Für jede Skala ist ω_h der passende Koeffizient, da der Modellfit des kongenerischen Messmodells jeweils besser ausfällt als der des essentiell tau-äquivalenten Messmodells. Die Reliabilität ist nach den Kriterien von Evers (2001) für Lernerfolg und Lehrprogrammevaluation insgesamt als akzeptabel (Dozentenverhalten, Transfer) bis gut (Anforderungsniveau, Struktur, Gruppe, Kompetenzerwerb) anzusehen.

Tabelle 5

Reliabilitätskoeffizienten und Messmodelltests für die FIRE-Skalen in Studie IV

Anmerkung. Die ?²-Differenzentests vergleichen essentiell tau-äquivalente mit kongenerischen Messmodellen. N = 382.

Validität

In Ermangelung anderer Instrumente zur Evaluation der Rettungskräfteausbildung gestaltete sich die Validierung des FIRE nicht einfach, nichtsdestotrotz ließen sich einige Validitätshinweise finden.

Inhaltsvalidität. Die Qualitätskriterien zur Ausbildungsevaluation im Bereich der Feuerwehr wurden in semistrukturierten Interviews mit Dozenten und Lehrgangsteilnehmenden des IdF NRW ermittelt, daraus wurden Items abgeleitet, die zudem von anderen Lehrgangsteilnehmenden im Hinblick auf ihre Vollständigkeit und Relevanz bewertet wurden. Aufgrund dieser Entwicklungsschritte wird angenommen, dass die Items das zu messende Konstrukt angemessen repräsentieren und eine inhaltliche Validität gegeben ist.

Konstruktvalidität. Im Hinblick auf die Konstruktvalidität wurden andere Lehrevaluationsinstrumente als konvergente sowie Biasvariablen als divergente Maße erhoben. Biasvariablen sind solche Variablen, die Einfluss auf die Einschätzung der Lehrqualität durch die Urteiler nehmen, tatsächlich aber nicht mit ihr in Zusammenhang stehen (Spiel, 2001). Abschließend wurde die faktorielle Struktur überprüft.

Konvergente Validität. Die strukturell-didaktische Nähe der Führungskräfteausbildung der Feuerwehr zur Hochschullehre legt eine konvergente Validierung der FIRE-Skalen anhand von Evaluationsinstrumenten für die Hochschullehre nahe. Hierzu wurden das Heidelberger Inventar zur Lehrveranstaltungsevaluation (HILVE I; Rindermann, 2001) und das Trierer Inventar zur Lehrevaluation (TRIL; Gläßer et al., 2002) verwendet. Zur Validierung der FIRE-Skala Dozentenverhalten wurden die HILVE-Subskalen Lehrkompetenz und Dozentenengagement eingesetzt. Die Struktur-Skala des TRIL fungierte als konvergentes Validitätsmaß für die gleichnamige Skala des FIRE, zur Validierung der Anforderungsniveau-Unterskala des FIRE wurde die gleichnamige Unterskala des HILVE I benutzt. Da die Gruppe der Lehrgangsteilnehmenden in anderen Trainings- und Lehrkontexten oft irrelevant ist, konnte in der verfügbaren Literatur keine adäquate Validierungsskala gefunden werden. Aus diesem Grund wurden gruppenrelevante Aktivitäten als konvergentes Validitätskriterium für die FIRE-Skala Gruppe anhand von drei selbstgenerierten Items erfragt ("Wie viele Abende des Lehrgangs haben Sie mit den anderen Lehrgangsteilnehmenden in einer Gaststätte verbracht?", "An wie vielen Abenden des Lehrgangs haben Sie mehr als zwei Stunden zusammengesessen?", und "Ich würde jederzeit wieder einen Lehrgang mit den anderen Teilnehmenden besuchen."). Zur Validierung der Skala Kompetenzerwerb wurden die Unterskalen Lernen-qualitativ und Lernen-quantitativ des HILVE II benutzt. Tabelle 6 zeigt eine Übersicht der Korrelationen der FIRE-Skalen mit den anderen Evaluationsinstrumenten. Zusammenfassend lassen sich konsistent positive Korrelationen zwischen konvergenten Evaluationsmaßen und dem FIRE-Fragebogen feststellen.

Divergente Validität. Zur divergenten Validierung sind im Kontext der Lehrveranstaltungsevaluation Biasvariablen von besonderem Interesse. Erfasst wurden in diesem Zusammenhang (1) das Ausmaß, in dem sich die Teilnehmenden gut auf den Lehrgang vorbereitet fühlten, (2) die wahrgenommene Angemessenheit der Gruppengröße, (3) der mit dem Lehrgang verbundene Zeitaufwand, (4) das Ausmaß, in dem sich die Teilnehmenden ohne äußere Störungen auf den Lehrgang konzentrieren konnten, (5) wie gut sie sich auf die Abschlussprüfung vorbereitet fühlten und (6) ihre Stimmung zum Zeitpunkt der Evaluation. Einige dieser Biasvariablen können als theoretisch nicht völlig unabhängig von einzelnen FIRE-Skalen erachtet werden. So ist zu erwarten, dass der Zeitaufwand und das wahrgenommene Ausmaß an Überforderung zusammenhängen. Auch mag sich ein großer Lernerfolg positiv auf die Stimmung auswirken. Kleine oder mittlere Zusammenhänge sprechen in diesem Zusammenhang daher nicht gegen die Validität der Skalen. Größere Zusammenhänge würden die Konstruktvalidität der Skalen jedoch in Frage ziehen.

Die Ergebnisse zeigen überwiegend kleine bis mittlere Zusammenhänge (zwischen r =.03, n.s., und .45, p < .001). Die größten unter diesen Zusammenhängen lassen sich meist gut theoriegeleitet erklären. So zeigt sich erwartungskonform ein größerer Effekt für den Zusammenhang von Anforderungsniveau und Zeitaufwand (r = .43, p < .001). Insgesamt korrelieren die untersuchten Biasvariablen zwar systematisch mit den FIRE-Skalen, die Größe der Zusammenhänge geht aber nicht über das unter der Annahme konstruktvalider Messungen der FIRE-Dimensionen zu erwartende Maß hinaus.

Faktorielle Validität. Zudem legen die Ergebnisse der CFA aus Studie IV nahe, dass der FIRE-Fragebogen verschiedene distinkte Facetten misst und sie zeigen, dass angehende Zug- und Gruppenführer ihre Einschätzung der Lehre am IdF zwischen einzelnen Aspekten angemessen differenzieren (Schulte & Thielsch, 2019). Dies impliziert die Abwesenheit von großen Halo-Effekten und bedeutet, dass die Bewertung nicht maßgeblich durch die Stimmung der Lehrgangsteilnehmenden oder äußere Faktoren verzerrt wurde (Marsh, 1987).

Tabelle 6

Validitätsmaße des FIRE

Anmerkung. N = 129-382. 'p < .10. *p < .05. **p < .01. ***p < .001. r = negativ kodiert

Kriteriumsvalidität. Theoriegeleitet sollten hohe Werte auf den verschiedenen FIRE-Dimensionen mit einer hohen Gesamtzufriedenheit der Teilnehmenden mit dem Lehrgang einhergehen. Zur Validierung benutzten wir daher eine Gruppe von fünf Items (selbstgeneriert und entnommen aus Gläßer et al., 2002), welche die Gesamtzufriedenheit mit dem Lehrgang erfragten. Zudem wurde der Lehrgang anhand einer Schulnotenskala (siehe oben, Item Nr. 23) von den Teilnehmenden bewertet. Alle FIRE-Skalen zeigen mittlere bis große Korrelationen mit der Gesamtzufriedenheit der Lehrgangsteilnehmenden und ihrer Benotung des Lehrgangs (siehe Tabelle 6).

Deskriptive Statistiken

Tabelle 7 zeigt einen Überblick der deskriptiven Statistiken der Items und der Skalen, die anhand der Stichprobe aus Studie IV erhoben wurden.

Tabelle 7

Mittelwerte, Standardabweichungen, Schiefe und Kurtosis der FIRE-Skalen

Anmerkung. Die Beantwortung der Items erfolgte mit einem 7-stufigen Antwortformat mit 1 = stimme gar nicht zu bis 7 = stimme vollkommen zu. * = Skala wurde invertiert. N = 382.

Nebengütekriterien

Die FIRE-Skalen erlauben eine sehr zeit- und kostenökonomische Erfassung der Teilnehmendenurteile über die Qualität der Ausbildungen von Führungskräften im Rettungsdienst. Die Durchführungsdauer darf mit etwa 5 Minuten (Schätzwert der Autoren) als zumutbar sowohl für Dozentinnen und Dozenten als auch für Teilnehmende gelten. Es besteht die mit der Verwendung von Rating-/Likertskalen stets einhergehende Möglichkeit zur Verfälschung der Antworten. Um die Motivation zum ehrlichen Antworten zu erhöhen, sollte den Teilnehmenden in jedem Falle Anonymität zugesichert werden.

Weiterführende Literatur

Schulte, N., & Thielsch, M. T. (2019). Evaluation of firefighter leadership trainings. International Journal of Emergency Services, 8, 34-49. doi:10.1108/IJES-03-2018-0020

Thielsch, M. T., Busjan, J. N., & Frerichs, K. (2018). Feedback-Instrument zur Rettungskräfte-Entwicklung - Prüfungen (FIRE-P) [Feedback instrument for rescue forces education - Examinations (FIRE-P)]. Zusammenstellung sozialwissenschaftlicher Items und Skalen. doi:10.6102/zis260

Danksagung

Die Autoren möchten sich herzlich beim Institut der Feuerwehr Nordrhein-Westfalen, insbesondere bei Thomas Löchteken, Stephanie Vöge, Yannick Ngatchou, Matthias Wegener und Bertholt Penkert für die umfassende Unterstützung dieser Instrumentenerstellung bedanken. Dank gebührt ebenso den weiteren Beteiligten in der Psychologie: Mona Olde lütke Beverborg, Jessica Busjan, Linda Loberg, Heinz Holling und Guido Hertel.