Die Ausbildung von Rettungskräften erfordert aufgrund zum Teil extremer Arbeitsbedingungen hohe Lehr- und Trainingsstandards. Dies gilt besonders für Führungskräfte im Rettungswesen. Ihre Entscheidungen beruhen auf der Einschätzung der Einsatzsituation unter Zeitdruck und bergen mitunter einen hohen Grad an sozialer Verantwortung. Im Bereich der Feuerwehr kann die Führungsqualifikation zum Führen von Gruppen, Zügen oder Verbänden in mehrwöchigen Ausbildungslehrgängen erlangt werden (FwDV 2, 2012). Zusätzlich sind die Führungskräfte angehalten, regelmäßig Fortbildungsseminare zu besuchen, die Themen wie zum Beispiel Feuerwehrtechnik, Katastrophenschutz oder Einsatznachbesprechungen thematisieren. Solche Veranstaltungen können sowohl in Form praxisorientierter Seminare mit kleineren Gruppen, als auch in Form von Fachvorträgen vor größerem Publikum stattfinden. Das Feedback-Instrument zur Rettungskräfte-Entwicklung (FIRE) von Schulte und Thielsch (2019) ist ein Instrument zur Evaluation mehrwöchiger Ausbildungslehrgänge, welches in Kooperation mit dem Institut der Feuerwehr Nordrhein-Westfalen (IdF NRW) entwickelt wurde. Beim hier vorliegenden FIRE-ST handelt es sich um eine Adaption des FIRE für oben beschriebene Seminare und Tagesveranstaltungen.

Als theoretische Grundlage für die Beurteilung der Güte von Ausbildungsmaßnahmen führt Kirkpatrick (1976) ein Evaluationsparadigma ein, das ebenfalls zur Erfassung der Lehrqualität in Seminaren verwendet werden kann. Dieses differenziert zwischen vier Ebenen von Evaluationsurteilen: Reaktion, Lernen, Verhalten und Ergebnis. (1) Auf der Reaktionsebene wird eine erste, affektive Beurteilung hinsichtlich der Nützlichkeit des Seminars durch die Teilnehmenden abgegeben (Alliger et al., 1997). Hier verwendete Items messen die Einschätzung hinsichtlich lernförderlicher und lernhindernder Faktoren (Noe, 2017). (2) Die Ebene des Lernens ergibt sich durch eine direkte Ableitung aus den vordefinierten Trainingszielen. Für die Erfassung von Wissens-, Fertigkeits- und Einstellungserwerb werden häufig Leistungstests (Tamkin, Yarnall, & Kerrin, 2002) aber auch direkte Bewertungen (bspw. “Nach dem Seminar fällt es mir leichter Entscheidungen in kritischen Situationen zu treffen.”) eingesetzt (vgl. Kirkpatrick & Kirkpatrick, 2006). (3) Die dritte Ebene zeigt sich in einer direkten Änderung des Verhaltens im Arbeitskontext. Produktivitätskennzahlen sowie Leistungsevaluationen und Verhaltensbeobachtungen liefern wichtige Informationen in der Trainingsevaluation (Tamkin et al., 2002). (4) In der vierten Ebene wird ein Training ebenfalls hinsichtlich seines Ergebnisses evaluiert. Hierbei werden allerdings vor allem langfristige ökonomische Kennzahlen in Betracht gezogen, die als Folge der Trainingsmaßnahmen zu verzeichnen sind (Kirkpatrick, 1976).

Es empfiehlt sich, erste Evaluationen zunächst auf die Reaktions- und Lernebene durchzuführen, bevor höhere Ebenen betrachtet werden (Kirkpatrick & Kirkpatrick, 2006). Diese sollten zwischen Urteilen hinsichtlich der Prozesse während des Unterrichts und den erzielten Outcomes differenzieren (vgl. Blanchard & Thacker, 2013; Schulte & Thielsch, 2019). Durch diese Dichotomie kann einerseits zwischen der Qualität des Ablaufs des Seminars und dem Erreichen der Trainingsziele andererseits differenziert werden. Implikationen für die Verbesserung und die Aufdeckung von verfehlten Lernoutcomes können ebenfalls abgeleitet werden (Schulte & Thielsch, 2019).

Die Evaluation von Seminaren durch den FIRE-ST Fragebogen schließt sowohl Prozessurteile als auch Urteile über das Lern-Outcome ein. Diese fungieren als Feedback für Dozentinnen und Dozenten und geben einen Einblick in die Lernentwicklung der Seminarteilnehmenden. Basierend auf dem FIRE (Schulte & Thielsch, 2019; Schulte et al. 2019) wurde der FIRE-ST explizit auf das Konstrukt effektiver Lehre im Seminarkontext angepasst.

Der FIRE-ST ist im Rahmen einer Kooperation des Instituts der Feuerwehr Nordrhein-Westfalen (IdF NRW) und der Organisations- und Wirtschaftspsychologie der Westfälischen Wilhelms-Universität Münster entstanden. Das IdF NRW ist die zentrale Ausbildungs- und Weiterbildungsstätte für Feuerwehrangehörige und Mitglieder von Krisenstäben des Landes NRW. Alle statistischen Analysen im Rahmen der Entwicklung und Validierung des FIRE-ST wurden mithilfe der Statistiksoftware RStudio (Version 1.2.5001) durchgeführt.

Itemkonstruktion und Itemselektion

Der FIRE-ST ist die für Tagesveranstaltungen adaptierte Version des FIRE-Fragebogens von Schulte und Thielsch (2019). Die Autoren konnten eine sechs-faktorielle Struktur mit vier Prozess- und zwei Outcomefaktoren für die Ausbildungslehrgänge für Gruppen- und Zugführer bestätigen. Diese sind bereits umfassend auf ihre Reliabilität und Validität geprüft. Im Rahmen der Recherche zu Tagesveranstaltungen ergaben sich einige konzeptionelle Abweichungen zu den Ausbildungslehrgängen, die es für die Validierung im Seminarkontext zu berücksichtigen galt. Tagesveranstaltungen und Seminare unterscheiden sich von Ausbildungslehrgängen hinsichtlich ihrer Länge, Zahl der Teilnehmenden und der Rolle des/der Dozenten/-in. Tagesveranstaltungen sind auf Termine an ein bis drei Tagen beschränkt und somit wesentlich kürzer als die üblicherweise mehrwöchigen Ausbildungslehrgänge der Führungskräfteausbildung der Feuerwehr. Ihr Aufbau erinnert teilweise an Universitätsvorlesungen, da Tagesveranstaltungen mit bis zu 120 Teilnehmenden von ausgewählten Dozentinnen und Dozenten gehalten werden. Ausbildungslehrgänge unterscheiden sich diesbezüglich durch ihre beschränkte Gruppengröße und praktischen Anteile, die ein hohes Maß an Interaktion zwischen den Teilnehmenden erfordern. Aufgrund ihrer Ähnlichkeit zur Lehre an Hochschulen (Schulte & Thielsch, 2019), kommt dem/der Dozenten/-in eine entscheidende Rolle in der Beurteilung von Tagesveranstaltungen zu. Gruppenprozesse treten aufgrund der kurzen Dauer und des theoriebasierten Curriculums der Seminare in den Hintergrund (Frey, 1978). Entsprechend verwendet der FIRE-ST Fragebogen eine erweiterte Version der FIRE-Dozentenskala (vgl. Schulte & Thielsch, 2019; Schulte et al., 2019), welche aus inhaltlichen Gründen um zwei ursprünglich ausgeschlossene Items ergänzt wurde. Sie berücksichtigt außerdem den Faktor Gruppe des FIRE-Fragebogens nicht. Es ergibt sich eine adaptierte Fragebogenversion, für die die fünf Faktoren Dozentenverhalten, Anforderungsniveau, Struktur, Kompetenzerwerb und Transfer angenommen werden. Die ersten drei Faktoren bilden Prozess-, die letzten beiden Outcomefaktoren ab. Die Formulierung der Items wurde ebenfalls entsprechend für Tagesveranstaltungen angepasst. Die Dozentenitems aus dem Originalfragebogen (Items 1-4) wurden entsprechend für einzelne Dozenten/-innen (und nicht mehr für Dozententeams) umformuliert. Die ergänzten Items 5 und 6 beziehen sich bereits auf einzelne Dozenten/-innen. Alle Items, die das Wort „Lehrgang“ enthielten, wurden entsprechend für den Seminarkontext umformuliert. (Items 13-17, 19, 21-22). Es wurde darauf geachtet, dass die Items keine rein feuerwehrspezifischen Inhalte erfassen, sondern prinzipiell auch bei Ausbildungen in anderen Organisationen wie Rettungsdiensten, Polizei und Militär eingesetzt werden können.

Stichprobe

Im Rahmen von 13 Seminaren für Führungskräfte am IdF NRW im Jahr 2018 wurden die Seminarteilnehmenden gebeten, an der Validierungsstudie teilzunehmen. Dabei wurden sowohl Seminare zu reinen Führungsthemen (100 – 120 Seminarplätze) als auch Veranstaltungen zu feuerwehrtechnischem Fachwissen (10 – 25 Seminarplätze) einbezogen. Die Teilnahme an der Studie war freiwillig und wurde nicht vergütet. Die Erhebung erfolgte im Paper-Pencil-Format. Insgesamt nahmen 258 Personen teil, von denen zehn wegen fehlender Einwilligung zur Nutzung der Daten aus den Analysen ausgeschlossen wurden. Eine weitere Person wurde ausgeschlossen, da sie den Fragebogen nur etwa zur Hälfte ausgefüllt hatte. Somit bestand die für die Analysen genutzte Stichprobe aus 247 Seminarteilnehmenden. Somit bestand die für die Analysen genutzte Stichprobe aus 247 Seminarteilnehmenden. Diese waren zwischen 23 und 60 Jahre alt (M = 41.80, SD = 8.76) und 96.36% von ihnen waren männlich. Diese Geschlechterquote kann als repräsentativ für das betrachtete Berufsfeld angesehen werden (Ministerium des Innern des Landes Nordrhein-Westfalen, 2019). Insgesamt gehörten 38 der Seminarteilnehmenden der Berufsfeuerwehr an, 160 der freiwilligen Feuerwehr und 46 gaben an, in beiden Bereichen tätig zu sein. Drei Teilnehmende machten keine Angabe zu ihrem Tätigkeitsbereich. Die mittlere Berufserfahrung lag bei 21.15 Jahren (SD = 9.67).

Itemanalysen

Die Faktorstruktur des adaptierten Fragebogens wurde mithilfe konfirmatorischer Faktorenanalysen (confirmatory factor analysis, CFA) an oben beschriebener Stichprobe validiert (vgl. Schulte & Thielsch, 2019). Hierzu wurde das R-Paket lavaan (Rosseel, 2012) mit Maximum-Likelihood-Schätzer (MLR) verwendet. Sowohl für das Prozessmodell als auch für das das Outcome-Modell wurde jeweils eine CFA durchgeführt. Für das Prozessmodell wurde eine dreifaktorielle Struktur mit den Faktoren Dozentenverhalten, Anforderungsniveau und Struktur angenommen. Bezüglich der Lernoutcomes wurde ein zweifaktorielles Modell mit den Faktoren Kompetenzerwerb und Transfer angenommen. Teilnehmende, die eines oder mehrere der jeweiligen Items ausgelassen oder mit „nicht beantwortbar“ bewertet hatten, wurden von den CFAs ausgeschlossen. Beim Prozessmodell waren dies 17 Teilnehmende, sodass die eingehende Stichprobengröße bei 230 lag. Die CFA ergab einen guten Fit (χ²(51) = 72.40, p = .026, χ²/df = 1.42, CFI = .99, TLI = .98, RMSEA = .04 [.02, .06], SRMR = .04). Alle Faktorladungen sind signifikant und akzeptabel in der Höhe (> .50 in der standardisierten Lösung), wie sie aus vorherigen Studien zu erwarten waren (Schulte & Thielsch, 2019). Die Ergebnisse der CFA sind in Abbildung 1 zu finden.

Abbildung 1. Ergebnisse der konfirmatorischen Faktorenanalyse der Prozessskalen, standardisierte Koeffizienten. Alle Faktorladungen sind signifikant mit p < .001. N = 230.

Beim Outcome-Modell mussten 99 Teilnehmende aufgrund fehlender Werte von der CFA ausgeschlossen werden. Die hohe Anzahl ging vor allem auf viele „nicht-beantwortbar“-Antworten bei Items zum Faktor Transfer zurück (z.B. Item 20: „Durch die praktischen Übungen im Seminar habe ich die nötige Sicherheit gewonnen, einen Einsatz zu leiten“). Dies legt nahe, dass in einigen der untersuchten Seminare keine praktischen Transferübungen durchgeführt worden waren. Auf Basis einer Stichprobengröße von 148 Teilnehmenden ergab sich für das Outcome-Modell ein nur teilweise akzeptabler Fit (χ²(19) = 58.54, p < .001, χ²/df = 3.08, CFI = .93, TLI = .90, RMSEA = .12 [.09, .15], SRMR = .05) (siehe Schermelleh-Engel et al. 2003). Modifikationsindizes legten das Hinzufügen einer Korrelation zwischen den Items 13 und 14 sowie 14 und 16 nahe. Der sich überschneidende Inhalt – die drei Items beziehen sich auf Stresssituationen – kann als plausible Ursache für einen solchen über die durch den Faktor Kompetenzerwerb erklärte Kovarianz hinausgehenden Zusammenhang angesehen werden. Das resultierende Modell reproduziert die Daten signifikant besser (χ²_Diff(1) = 16.37, p < .001). Es ist in Abbildung 2 dargestellt. Die Fit-Indizes liegen im akzeptablen Bereich (χ²(17) = 36.05, p = .005, χ²/df = 2.12, CFI = .97, TLI = .95, RMSEA = .09 [.05, .12], SRMR = .05).

Abbildung 2. Ergebnisse der konfirmatorischen Faktorenanalyse der Outcome-Skalen, standardisierte Koeffizienten. Alle Faktorladungen sind signifikant mit p < .001. N = 148.

Itemkennwerte

Eine Übersicht der Kennwerte der finalen Items findet sich in Tabelle 3.

Tabelle 3

Mittelwert und Standardabweichung der manifesten Items

Anmerkung. Skala von 1 = „stimme gar nicht zu“ bis 7 = „stimme vollkommen zu“. Es werden korrigierte Trennschärfen berichtet. Faktorladungen finden sich in Abbildungen 1 und 2. N = 247.

Objektivität

Bei der Konstruktion des FIRE-ST-Fragebogens wurden keine expliziten Objektivitätskriterien überprüft. Es kann davon ausgegangen werden, dass die Standardisierung des Fragebogens, das gebundene Antwortformat, die oben beschriebene Auswertungsmethode und die Angabe von Vergleichsdaten eine hohe Durchführungs-, Auswertungs- und Interpretationsobjektivität ermöglichen (siehe Deskriptive Statistiken).

Reliabilität

Reliabilitätskoeffizienten für alle FIRE-ST-Skalen sind Tabelle 4 zu entnehmen. Da mit Ausnahme der Skala Dozentenverhalten bei jeder Skala ein kongenerisches Messmodell vorliegt, ist McDonalds ω_H in diesen Fällen jeweils der adäquate Koeffizient für die interne Konsistenz. Er wird äquivalent zu Cronbachs α interpretiert. Die Skalen Dozentenverhalten, Anforderungsniveau und Kompetenzerwerb weisen eine gute, Struktur und Transfer eine akzeptable Reliabilität auf.

Tabelle 4

Reliabilitätskoeffizienten und Messmodelltests für die FIRE-ST-Skalen

Validität

Inhaltsvalidität. Basierend auf Untersuchungen zu den Originalitems von Schulte und Thielsch (2019) und der Einschätzung von Verantwortlichen des IdF NRW ist von einer angemessenen inhaltlichen Validität aller Skalen ausgenommen der Transfer-Skala auszugehen. Die Transfer-Skala kann nur dann als inhaltlich valide betrachtet werden, wenn Lehrveranstaltungen praktische Anteile einschließen. Dies wird von Sommer und Njå (2011) darin begründet, dass Rettungskräfte praktische Ausbildungselemente als anwendungsorientierter bewerten als theoriebasierte Weiterbildungen.

Konstruktvalidität. Aufgrund mangelnder alternativer publizierter Instrumente, die sich mit der Evaluation der Rettungskräfteausbildung befassen, fand die Konstruktvalidierung des FIRE-ST auf Basis theoretisch verwandter Konstrukte statt. Als konvergente Maße dienten Instrumente zur Evaluation von Trainings bzw. Hochschullehre, während Biasvariablen als divergente Maße erhoben wurden. Biasvariablen sind solche Variablen, die Einfluss auf die Einschätzung der Lehrqualität durch die Urteiler nehmen, tatsächlich aber nicht mit ihr in Zusammenhang stehen (Spiel, 2001). Eine spezifische Validierung der zusätzlichen Items (21 – 23) erfolgte nicht. Derartige Items zu Globalurteilen und offenem Feedback sind allerdings in etablierten Evaluationsinstrumenten typisch (vgl. z.B. FEVOR, Staufenbiel, 2000; KIEL, Gediga et al., 2000 oder MFE-Sr, Thielsch & Hirschfeld, 2012a).

Konvergente Validität. Basierend auf der strukturell-didaktischen Nähe der Führungskräfteausbildung der Feuerwehr zur Hochschullehre wurden Evaluationsinstrumente aus der Hochschullehre für eine konvergente Validierung der FIRE-ST-Skalen verwendet: Beide Versionen des Heidelberger Inventar zur Lehrveranstaltungsevaluation (HILVE-I, Rindermann, 2001; HILVE-II, Rindermann, 2009) sowie das Training Evaluation Inventory (TEI; Ritzmann, Hagemann & Kluge, 2014). Die Skalen des TEI wurden hierfür zunächst in die deutsche Sprache übersetzt. Zur Validierung der FIRE-ST-Skala Dozentenverhalten wurde die HILVE-I-Subskala Lehrkompetenz eingesetzt. Die Struktur-Skala des HILVE-II fungierte als konvergentes Validitätsmaß für die gleichnamige Skala des FIRE-ST. Zur Validierung der Anforderungsniveau-Skala des FIRE-ST wurde die Unterskala wahrgenommene Schwierigkeit des TEI genutzt. Zur Validierung der Skala Kompetenzerwerb wurde die Unterskala subjektiver Wissenszuwachs des TEI verwendet. Die Transfer-Skala des FIRE-ST wurde anhand der TEI Skala wahrgenommene Nützlichkeit validiert. Tabelle 5 zeigt eine Übersicht der Korrelationen der FIRE-ST-Skalen mit den anderen Evaluationsinstrumenten sowie divergenten Validitätsmaßen. Zusammenfassend lassen sich positive, teils sehr hohe Korrelationen zwischen konvergenten Evaluationsmaßen und dem FIRE-ST-Fragebogen feststellen.

Divergente Validität. Zur divergenten Validierung sind im Kontext der Lehrveranstaltungsevaluation Biasvariablen von besonderem Interesse. Erfasst wurden jeweils anhand eines Items das Ausmaß an grundsätzlicher Arbeitszufriedenheit (Item aus Scarpello & Campbell, 1983), Job Commitment und Absicht des Verbleibs in der Tätigkeit als Rettungskraft (beide Items aus Lee & Olshfski, 2002). Einige dieser Biasvariablen können als theoretisch nicht völlig unabhängig von einzelnen FIRE-ST-Skalen erachtet werden. Eine valide Beurteilung der Lehrqualität in Seminaren der Rettungskräfteausbildung sollte dennoch nicht systematisch durch diese Maße beeinflusst werden.

Die Ergebnisse zeigen überwiegend kleine Zusammenhänge (zwischen r =.04, n.s., und .22, p < .001).

Tabelle 5

Validitätsmaße des FIRE-ST

Anmerkung. Paarweiser Ausschluss bei fehlenden Daten (= Frage ausgelassen oder als nicht beantwortbar beantwortet, auch bereits bei zur Bildung eines Skalenwerts notwendigen Items). ^† Zur besseren Interpretierbarkeit wurde die hier erhobene Schulnote umgepolt, hohe Werte entsprechen somit einer positiven Benotung des Seminars; aufgrund des angenommenen Ordinalskalenniveaus der Schulnotenskala werden Spearman-Korrelationen berichtet.
*p < .05, **p < .01, ***p < .001. N = 247.

Kriteriumsvalidität. Angelehnt an Schulte und Thielsch (2019) wurde die Kriteriumsvalidität anhand der Bewertung des Seminars auf einer Schulnotenskala (siehe oben, Item Nr. 21) untersucht. Die FIRE-ST-Skalen zeigen ähnlich wie die FIRE-Skalen bei Schulte und Thielsch (2019) deutliche Korrelationen mit der Benotung des Seminars durch die Teilnehmenden (siehe Tabelle 5). Ein dichotomes Item zur Weiterempfehlung des Seminars (siehe oben, Item Nr. 22) wurde aufgrund eingeschränkter Aussagekraft von der Analyse der Kriteriumsvalidität ausgeschlossen, da nur zwei Teilnehmende angaben, ein Seminar nicht weiterempfehlen zu wollen.

Deskriptive Statistiken

Tabelle 6 zeigt einen Überblick der deskriptiven Statistiken der Skalenwerte, die anhand der Stichprobe erhoben wurden. In die Berechnung gingen nur Teilnehmende ein, die jeweils alle zur Berechnung des Skalenwerts notwendigen Items beantwortet hatten.

Tabelle 6

Mittelwerte, Standardabweichungen, Schiefe und Kurtosis der FIRE-ST-Skalen

Anmerkung. Die Beantwortung der Items erfolgte mit einem 7-stufigen Antwortformat mit 1 = stimme gar nicht zu bis 7 = stimme vollkommen zu. N = 247.

Nebengütekriterien

Die FIRE-ST-Skalen erlauben eine sehr zeit- und kostenökonomische Erfassung der Teilnehmendenurteile über die Qualität der Fortbildungen von Führungskräften im Rettungsdienst. Die Durchführungsdauer darf mit etwa drei bis fünf Minuten (Schätzwert der Autoren) als zumutbar sowohl für Dozentinnen und Dozenten als auch für Teilnehmende gelten. Es besteht die mit der Verwendung von Rating-/Likertskalen stets einhergehende Möglichkeit zur Verfälschung der Antworten. Um die Motivation zum ehrlichen Antworten zu erhöhen, sollte den Teilnehmenden in jedem Falle Anonymität zugesichert werden.

Weiterführende Literatur

Schulte, N. & Thielsch, M. T. (2019). Evaluation of Firefighter Leadership Trainings. International Journal of Emergency Services, 8, 34–49. https://doi.org/10.1108/IJES-03-2018-0020

Thielsch, M. T., Busjan, J. N., & Frerichs, K. (2018). Feedback-Instrument-zur Rettungskräfte Entwicklung – Prüfungen (FIRE-P) [Feedback instrument for rescue force development – examinations (FIRE-P)]. Zusammenstellung sozialwissenschaftlicher Items und Skalen. https://doi.org/10.6102/zis260

Thielsch, M. T., Kläpker, L., & Streppel, L. (2019). Feedback-Instrument zur Rettungskräfte-Entwicklung – Basisausbildung (FIRE-B) [Feedback instrument for rescue force development – basic training (FIRE-B)]. Zusammenstellung sozialwissenschaftlicher Items und Skalen (ZIS). https://doi.org/10.6102/zis266

Danksagung

Die Autoren möchten sich herzlich beim Institut der Feuerwehr Nordrhein-Westfalen (IdF NRW), insbesondere bei Yannick Ngatchou und Johannes Zündorf für die umfassende Unterstützung dieser Instrumentenerstellung bedanken; Sarah Weber danken für ihr Feedback zu früheren Versionen dieses Dokuments. Dank gebührt ebenso den weiteren Beteiligten in der Psychologie: Guido Hertel und Niklas Schulte.