Von Feuerwehrleuten wird schon nach Absolvieren der untersten Ausbildungsebene die "Übernahme von grundlegenden Tätigkeiten im Lösch- und Hilfeleistungseinsatz [...] unter Anleitung" (Feuerwehr-Dienstvorschrift 2 [FwDV 2], 2012, S. 9) erwartet. Eine zentrale Aufgabe von Feuerwehrleuten ist das Retten, worunter das "Abwenden einer Gefahr von Menschen oder Tieren durch lebensrettende Sofortmaßnahmen, die sich auf Erhaltung oder Wiederherstellung von Atmung, Kreislauf und Herztätigkeit richten" (FwDV 3, 2008, S. 4) oder das "Befreien aus einer lebens- oder gesundheitsgefährdenden Zwangslage" (FwDV 3, 2008, S. 4) verstanden wird. Die Arbeit von Feuerwehrkräften zeichnet sich dadurch aus, dass sie oft gefährlich, körperlich sowie mental fordernd und zudem meist unvorhersehbar ist (Taber, Plumb, & Jolemore, 2008). Eine gute grundständige Ausbildung der Einsatzkräfte bildet die Basis für die Entwicklung der notwendigen Kenntnisse und Fähigkeiten, um auch in schwierigen Einsatzsituationen ein sicheres und zuverlässiges Handeln zu ermöglichen. Entsprechend steht eine hohe Ausbildungsqualität sowohl im gesellschaftlichen Interesse, um hochqualifizierte Einsatzkräfte im Ernstfall vor Ort zu wissen, als auch im persönlichen Interesse der Einsatzkräfte, um die eigene Gefährdung im Einsatz zu reduzieren.

Die grundständige Aus- und Fortbildung von Angehörigen öffentlicher Feuerwehren ist nach § 32 Abs. 1 des Gesetzes über den Brandschutz, die Hilfeleistung und den Katastrophenschutz (BHKG, 2015) Aufgabe der Gemeinden, der Kreise und der kreisfreien Städte. Im Gegensatz zu den Inhalten, dem groben Ablauf und der Stundenanzahl sind die Lehrmethoden und die genaue Ausgestaltung der Ausbildung nicht festgelegt, sondern können von jeder Feuerwehr und den AusbilderInnen unterschiedlich gehandhabt werden (z. B. VAP1.2-Feu, 2015). Eine Evaluation der Ausbildung kann den AusbilderInnen die Reflexion der eigenen Ausbildungspraxis erleichtern und bietet die Möglichkeit, einen Eindruck von der aktuellen Ausbildungsqualität in den verschiedenen Kommunen zu bekommen. Bisher steht nach derzeitigem Wissensstand kein wissenschaftlich entwickeltes Evaluationsinstrument für die Grundausbildung bei der Feuerwehr zur Verfügung, welches eine Beurteilung der Ausbildung auf Gemeinde- und Kreisebene durch die Auszubildenden ermöglicht. Für die Evaluation der Führungskräfteausbildung bei der Feuerwehr hingegen, existiert mit dem Feedback-Instrument zur Rettungskräfte-Entwicklung (FIRE; Schulte & Thielsch, in press) ein systematisch entwickeltes und validiertes Evaluationsinstrument. Das FIRE besteht aus den sechs Skalen Dozentenverhalten, Struktur, Überforderung, Gruppe, Kompetenzerwerb und Transfer. Es bildete die Grundlage für die Itemkonstruktion des FIRE-B, insbesondere da ausreichende bis gute interne Konsistenzen sowie Belege für die faktorielle Validität, Konstrukt-, Kriteriums- und Inhaltsvalidität vorliegen. Da allerdings bisher mit dem FIRE-Fragebogen nur Erfahrungen im Bereich Führungskräfte vorlagen, erfolgte im Rahmen der Skalenentwicklung eine Adaptation und Prüfung des Instruments für die Basisausbildung der Feuerwehr.

Itemkonstruktion und Itemselektion

Das FIRE-B wurde im Rahmen eines Kooperationsprojekts der Organisations- und Wirtschaftspsychologie der Westfälischen Wilhelms-Universität Münster mit dem Institut der Feuerwehr NRW (IdF NRW) entwickelt. Im gleichen Kontext ist auch das FIRE (Schulte & Thielsch, in press) für die Evaluation der Führungskräfteausbildung bei der Feuerwehr entstanden. Da sich die Ausbildung auf Gemeinde- und Kreisebene nach Einschätzung von Experten des IdF NRW in vielen Punkten von der Führungskräfteausbildung unterscheidet, wurde der Itempool des FIRE-B in drei Studien neu entwickelt (siehe auch Streppel, 2018 und Kläpker, 2018):

In Studie I wurden Erfolgs- und Qualitätsfaktoren einer guten feuerwehrtechnischen Ausbildung auf Gemeinde- und Kreisebene als theoretische Grundlage für die Itemkonstruktion ermittelt. Dazu wurden in einem qualitativen Forschungsansatz inhaltliche Experten für die Grundausbildung bei der Feuerwehr befragt, was aus ihrer persönlichen Sicht wichtige Aspekte einer guten Ausbildung auf Gemeinde- und Kreisebene sind. Erfolgs- und Qualitätsfaktoren der Ausbildung wurden in einer Online-Befragung zum einen mithilfe der Critical Incident Technique erfasst (CIT; Flanagan, 1954) und zum anderen konnten die TeilnehmerInnen in vier offenen Fragen direkt wichtige Aspekte einer guten Ausbildung benennen. Diese vier Fragen betrafen Aspekte einer guten Ausbildung bei der Feuerwehr, Merkmale eines guten Ausbilders bzw. einer guten Ausbilderin und seines bzw. ihres Lehrstils, relevante Rahmenbedingungen sowie Faktoren, durch die Auszubildende selbst zu einer guten Ausbildung beitragen können. Eine qualitative Inhaltsanalyse führte zu acht Kategorien einer guten Grundausbildung bei der Feuerwehr: Didaktik, Motivation & Engagement, Persönlichkeit, Inhalte & Methoden, Struktur & Organisation, Material & Räumlichkeiten, Gruppe und Erreichen der Lernziele.

Auf Grundlage der identifizierten Kategorien wurde ein Itempool für eine vorläufige Version des Fragebogens gebildet, der mit 51 Items umfassend die genannten erfolgsentscheidenden Aspekte abbildet. Da zudem die Ergebnisse der Studie I einige Parallelen zu Merkmalen guter Lehre an Hochschulen und in der feuerwehrtechnischen Führungskräfteausbildung aufwiesen, wurden soweit möglich

a)     Items, die für die Evaluation der Führungskräfteausbildung bei der Feuerwehr entwickelt wurden (Babiel, 2016; Olde lütke Beverborg, 2017; Schulte & Thielsch, in press), oder

b)     Items aus etablierten Evaluationsinstrumenten, welche an Hochschulen eingesetzt werden (TRIL, Gläßer et al., 2002; MFE-ZGr, Grötemeier & Thielsch, 2010a; MFE-ZHa, Grötemeier & Thielsch, 2010b; MFE-V, Hirschfeld & Thielsch, 2009; HILVE, Rindermann & Amelang, 1994; FEVOR, FEPRA, Staufenbiel, 2000; MFE-Sr, Thielsch & Hirschfeld, 2012),

übernommen und ggf. an den feuerwehrtechnischen Kontext und die Ausbildung auf Gemeinde- und Kreisebene angepasst (siehe auch Tabelle 3, aus Gründen der Ökonomie wurde auf die Darstellung der Items, die nicht in der finalen Fragebogenversion enthalten sind, verzichtet). Diese vorläufige Fragebogenversion wurde in Studie II mit Mitgliedern verschiedener Feuerwehren in Deutschland pilotiert, um anschließend eine begründete Itemselektion auf Basis der deskriptiven Itemkennwerte vorzunehmen, die Faktorenstruktur des Fragebogens aufzudecken und erste Validierungen durchzuführen.

Tabelle 3

Items des FIRE-B mit Angabe der Originalitems, die als Grundlage dienten, sowie deren Quellen

Der aus Studie II hervorgehende Fragebogenentwurf (bestehend aus 30 Items auf sechs Skalen) wurde in Studie III anhand einer neuen Stichprobe validiert. Dazu wurde auf Basis einer unabhängigen Stichprobe zum einen eine konfirmatorische Faktorenanalyse durchgeführt, um die angenommene Faktorenstruktur zu überprüfen. Darüber hinaus dienten bivariate Korrelationen zwischen den Skalen des Fragebogenentwurfs und ausgewählten Validierungskriterien zur umfassenden Beurteilung von Konstrukt- und Kriteriumsvalidität. Das Ergebnis von Studie III ist das finale FIRE-B mit 29 Items auf sechs Skalen plus vier optionalen Items.

Stichproben

An Studie I nahmen 13 Auszubildende, 4 Ausbilder und 4 Personen, die hauptsächlich eine steuernde Funktion in einer Feuerwehrschule innehaben, teil. Alle 21 Teilnehmer waren männlich. Die Altersspanne der Auszubildenden lag bei 18 bis 31 Jahren (M = 22.46; SD = 3.60), der Ausbilder bei 25 bis 49 Jahren (M = 34.00; SD = 10.52) und der Personen in steuernder Funktion bei 33 bis 46 Jahren (M = 37.50; SD = 5.80). Insgesamt 24 % der Teilnehmer gehörten der Berufsfeuerwehr an, 57 % der Freiwilligen Feuerwehr und 19 % sowohl der Berufsfeuerwehr als auch der Freiwilligen Feuerwehr. Im Mittel waren die Teilnehmer seit 4.50 Jahren bei der Berufsfeuerwehr (SD = 7.20) und seit 12.28 Jahren (SD = 8.36) bei der Freiwilligen Feuerwehr tätig. Die Befragung wurde von 48 % aller Teilnehmer in Bezug auf die Ausbildung bei der Berufsfeuerwehr beantwortet und von 52 % in Bezug auf die Ausbildung bei der Freiwilligen Feuerwehr. Studie I wurde web-basiert durchgeführt und war von Ende August bis Oktober 2017 online erreichbar. Die Teilnahme erfolgte auf freiwilliger und anonymer Basis, die Befragten erhielten als Kompensation nach Abschluss der Studien einen Ergebnisbericht.

In Studie II setzte sich die Stichprobe für die Item- und explorative Faktorenanalyse aus 257 Personen (229 Männer, 26 Frauen, 2 keine Angabe) mit einer Altersspanne von 16 bis 51 Jahren (M = 25.75; SD = 6.48) zusammen. 37 % der TeilnehmerInnen waren (ehemalige) Auszubildende in der Ausbildung zur BrandmeisteranwärterIn bei der Berufsfeuerwehr und 63 % (ehemalige) Auszubildende in der Truppmann- oder Truppführerausbildung bei der Freiwilligen Feuerwehr. Von den Auszubildenden bei der Berufsfeuerwehr (n = 94) hatten 39 % die Ausbildung als BrandmeisteranwärterIn abgeschlossen. Von den Auszubildenden bei der Freiwilligen Feuerwehr (n = 163) waren 12 % in der Truppmannausbildung, 47 % zwischen der Truppmann- und Truppführerausbildung, 5 % in der Truppführerausbildung und 36 % hatten die Truppführerausbildung bereits abgeschlossen. 60 % der TeilnehmerInnen kamen aus Nordrhein-Westfalen, jeweils 7 % aus Baden-Württemberg und aus Niedersachsen und 6 % aus Bayern. Aus den übrigen Bundesländern kamen jeweils weniger als 5 % der TeilnehmerInnen. Zur Berechnung der Korrelationen im Rahmen der Itemanalysen sowie der explorativen Faktorenenanalyse wurden die fehlenden Werte der Items zur Ausbildungsevaluation mit dem Expectation-Maximization-Algorithmus imputiert. Es handelte sich dabei um die Items, bei denen die TeilnehmerInnen die Verweigerungsoption (nicht sinnvoll zu beantworten) ausgewählt hatten. Fehlende Werte traten bei 18 % der ProbandInnen auf. Insgesamt fehlten nur 0,5 % der Daten. Studie II wurde web-basiert durchgeführt und war von Januar bis Anfang März 2018 online erreichbar. Die Teilnahme erfolgte auf freiwilliger und anonymer Basis, die Befragten erhielten als Kompensation nach Abschluss der Studien einen Ergebnisbericht.

Die Stichprobe in Studie III bestand aus N = 451 (414 Männer, 37 Frauen) Feuerwehrleuten im Alter zwischen 18 und 63 Jahren (M = 34.02; SD = 9.92). Die TeilnehmerInnen wurden dazu aufgefordert, die Ausbildung zu beurteilen, die sie zum Befragungszeitpunkt absolvierten beziehungsweise zuletzt absolviert hatten. Bei 24 % der Befragten handelte es sich dabei um die Brandmeisterausbildung bei der Berufsfeuerwehr. Weiterhin beurteilten 19 % die Truppmannausbildung und 33 % die Truppführerausbildung bei der Freiwilligen Feuerwehr. Eine sonstige Ausbildung, die auf Gemeinde- bzw. Kreisebene durchgeführt wird, war Beurteilungsgegenstand von 24 % der Stichprobe. Aus Nordrhein-Westfalen kamen 448 Personen. Jeweils eine befragte Person kam außerdem aus Baden-Württemberg, Niedersachsen und Sachsen-Anhalt. Studie III wurde web-basiert durchgeführt und war von Juli bis September 2018 online erreichbar. Die Teilnahme erfolgte auf freiwilliger und anonymer Basis. Die Befragten erhielten als Kompensation nach Abschluss der Studie III einen Ergebnisbericht und konnten zudem an der Verlosung eines Jahresabonnements einer feuerwehrspezifischen Zeitschrift teilnehmen.

Itemanalysen und Itemkennwerte

Die 51 Items der vorläufigen Fragebogenversion wurden vorrangig hinsichtlich ihrer Verteilung, der Antwortraten und Iteminterkorrelationen sowie auf Basis ihrer Korrelation mit dem Mittelwert von acht Items zum selbsteingeschätzten Kompetenzerwerb (alle sieben Items der oben dargestellten Skala Kompetenzerwerb sowie ein Item, das aufgrund inhaltlicher Redundanz nicht in das finale Instrument aufgenommen wurde) bewertet. Letztere Korrelation wurde als Hinweis für die inhaltliche Relevanz der Items sowie der Praktikabilität im Feedbackprozess betrachtet. Der Itempool konnte in dieser ersten Itemselektion auf 44 Items reduziert werden: Ein Item wurde aufgrund einer auffälligen Verteilung im Histogramm und einer niedrigen Korrelation mit dem selbsteingeschätzten Kompetenzerwerb sowie ein weiteres Item wegen einer hohen Iteminterkorrelation ausgeschlossen. Zudem wurden drei Items zur Überforderung in der Ausbildung nicht mitaufgenommen, da sie vergleichsweise hohe Mittelwerte und niedrige Standardabweichungen aufwiesen, nicht mit dem selbsteingeschätzten Kompetenzerwerb korrelierten und von einem Experten des IdF NRW als weniger relevant eingeschätzt wurden. Es wird empfohlen, ein Item als zusätzliches Einzelitem zur Erfassung der Überforderung zu nutzen (siehe oben, Item 30). Zwei Items wurden ausgeschlossen, da sie vergleichsweise hohe Mittelwerte und niedrige Standardabweichungen aufwiesen und für den Feedbackprozess möglicherweise problematisch sein könnten, da sie auf stabile Persönlichkeitseigenschaften der AusbilderInnen abzielten. Für eine detaillierte Darstellung der Ausschlussgründe siehe Streppel (2018)[1].

Mit diesen 44 Items wurde eine explorative Faktorenanalyse (EFA; Hauptachsenanalyse mit obliquer Promax Rotation) und eine Trennschärfenanalyse durchgeführt. Der Kaiser-Meyer-Olkin Test zur Prüfung der Stichprobeneignung zeigte mit einem Wert von .94 eine sehr gute Stichprobeneignung zur Durchführung einer Faktorenanalyse an. Der Bartlett-Test auf Sphärizität wurde signifikant, χ²(946) = 7172.29, p < .001, und deutet damit ebenfalls auf eine gute Eignung der Daten hin. Die Faktoranzahl wurde aufgrund des Kaiser-Kriteriums (Eigenwerte > 1; Guttman, 1954; Kaiser & Dickmann, 1959), der Betrachtung des Screeplots (Cattell, 1966) und des Minimum-Average-Partial-Tests (MAP-Test; Velicer, 1976) bestimmt. Das Kaiser-Kriterium sprach für eine Lösung mit sieben Faktoren, die visuelle Inspektion des Screeplots sowie die Originalversion des MAP-Tests (Velicer, 1976) für sechs Faktoren und die revidierte Version des MAP-Tests (Velicer, Eaton & Fava, 2000) für fünf Faktoren. Das Kaiser-Kriterium tendiert generell dazu, die Faktoranzahl zu überschätzen (Moosbrugger & Schermelleh-Engel, 2008). Zudem erschienen nur die Lösungen mit fünf oder sechs Faktoren konzeptionell sinnvoll. Da die Lösung mit fünf Faktoren einen inhaltlich sehr breiten Faktor enthielt (Unterstützung, Förderung, Struktur & Didaktik), wurde die Lösung mit sechs Faktoren gewählt, die diesen Faktor in zwei Faktoren unterteilt (Unterstützung & Förderung, Struktur & Didaktik). Der erste Faktor (Eigenwert = 17.10) klärt 38.86 %, der zweite Faktor (Eigenwert = 2.67) 6.06 %, der dritte Faktor (Eigenwert = 2.35) 5.34 %, der vierte Faktor (Eigenwert = 1.80) 4.10 %, der fünfte Faktor (Eigenwert = 1.54) 3.50 % und der sechste Faktor (Eigenwert = 1.24) 2.83 % Varianz auf.

Auf Grundlage der Ergebnisse der EFA wurde eine zweite Itemselektion vorgenommen, die zur Reduktion des Itempools auf 30 Items führte. Acht Items wurden aufgrund ihres Ladungsmusters (und in einigen Fällen aufgrund weiterer Kriterien) ausgeschlossen: Fünf Items wurden aufgrund niedriger Ladungen < .5 oder Doppelladungen > .3 entfernt. Zwei Items wurden aufgrund vergleichsweiser niedriger Ladungen ≤ .54 und niedrigen Korrelationen mit dem mittleren selbsteingeschätzten Kompetenzerwerb (r ≤ .27) ausgeschlossen. Ein Item wurde aufgrund einer Doppelladung (.32) und einer hohen Iteminterkorrelation (r = .68) ausgeschlossen. Hingegen wurden fünf Items mit geringen Ladungen < .4 und/oder Doppelladungen ≥ .3 aufgrund hoher Korrelation von r ≥ .5 mit dem mittleren selbsteingeschätzten Kompetenzerwerb als inhaltlich relevant angesehen und dementsprechend beibehalten. Die inhaltliche Relevanz der Items stellte somit das wichtigere Entscheidungskriterium dar. Des Weiteren wurden zwei Items aufgrund nur geringer bis moderater Korrelationen mit dem Kriterium (r ≤ .34) und vier Items aufgrund hoher Trennschärfen (r_it ≥ .67) sowie hoher Iteminterkorrelationen (r ≥ .65), die auf die inhaltliche Redundanz der Items hindeuten können, ausgeschlossen. Hohe Trennschärfen wurden in diesem Fall als Ausschlussgrund gewählt, um Faktoren zu erhalten, die möglichst unterschiedliche Facetten des Konstrukts umfassen.

Anschließend wurde eine erneute EFA (Hauptachsenanalyse, Promax-Rotation) mit den finalen 30 Items und sechs Faktoren berechnet, um die Faktorstruktur der optimierten Lösung zu erhalten (vgl. Beavers et al., 2013). Inhaltlich bildet in dieser EFA Faktor 1 den Kompetenzerwerb in der Ausbildung ab, Faktor 2 betrifft die Struktur der Ausbildung und die didaktischen Fähigkeiten der AusbilderInnen, Faktor 3 beschreibt die Qualität und Verfügbarkeit von Materialien und Räumlichkeiten, Faktor 4 die Unterstützung und Förderung der Auszubildenden durch die AusbilderInnen, Faktor 5 bezieht sich auf die Auszubildendengruppe und Faktor 6 betrifft schließlich den Praxisbezug in der Ausbildung (für Itemstatistiken siehe Tabelle 4). Das Instrument besteht damit aus der Outcome-Skala Kompetenzerwerb (Faktor 1), die auf die Folgen bzw. Wirkungen der Ausbildung fokussiert, und aus fünf Prozess-Skalen (Faktor 2-6), die eine Beurteilung der Durchführung und Umsetzung der Ausbildung ermöglichen (vgl. Döring & Bortz, 2016). Alle bis hierhin genannten Analysen wurden mit dem Programm IBM SPSS Statistics – Version 24 durchgeführt.

Tabelle 4

Mittelwerte, Standardabweichungen, Trennschärfen und Faktorladungen der 30 Items in Studie II

Anmerkung. *Item 1b wurde im Rahmen der CFA in Studie III aus dem finalen FIRE-B ausgeschlossen. Skala von 1 (stimme gar nicht zu) bis 7 (stimme voll zu), 248 ≤ N ≤ 257 (Mittelwerte und Standardabweichungen) bzw. N = 257 (Trennschärfen und Faktorladungen). Zur Berechnung der Trennschärfen und Faktorladungen wurde der Datensatz mit imputierten Werten genutzt.

Die angenommene Fragebogenstruktur konnte in Studie III anhand einer konfirmatorischen Faktorenanalyse bestätigt werden (vgl. Abbildung 1). Die statistische Datenauswertung wurde mit RStudio (RStudio Team, 2016, Version 1.1.456) durchgeführt. Dabei wurde insbesondere auf die Pakete lavaan (Rosseel, 2012, Version 0.6.3), plyr (Wickham, 2011, Version 1.8.4), psych (Revelle, 2018, Version 1.8.10) und semPlot (Epskamp, 2017, Version 1.1) zurückgegriffen. Bei der Berechnung der konfirmatorischen Faktorenanalyse wurde ein robuster Maximum-Likelihood-Schätzer mit Huber-White-Standardfehlern und einer skalierten Teststatistik, die asymptotisch mit der Yuan-Bentler Teststatistik vergleichbar ist (MLR), verwendet (vgl. Steinmetz, 2015). Auffallend war eine hohe Korrelation zwischen Item 1 ("Ich finde, die Ausbildung war klar strukturiert.") und Item 1b ("Ich konnte in der Ausbildung den Ausbildungsablauf immer nachvollziehen.") der Skala Struktur & Didaktik. Nach inhaltlichen Überlegungen wurden die beiden Items als redundant beurteilt. Da Item 1a globaler und verständlicher erschien, wurde Item 1b aus dem Modell entfernt. Der Modell-Fit für den finalen FIRE-B mit 29 Items auf sechs Skalen ist nach Schermelleh-Engel, Moosbrugger, und Müller (2003) als gut (RMSEA = .05; SRMR = .04) bis akzeptabel (CFI = .95; TLI = .95) einzuordnen. Der c²-Test wurde signifikant (c²(362) = 585.12, p < .001), was bei großen Stichproben üblich ist (Tanguma, 2001). Im Verhältnis zu den Freiheitsgraden ist der c²-Wert jedoch als gut zu beurteilen (c²/df = 1.62). Die finale Version des FIRE-B besteht damit aus 29 Items (für Mittelwerte, Standardabweichungen und Faktorladungen siehe Tabelle 5, für Korrelationen der Skalen Tabelle 6).

Abbildung 1. Ergebnisse der konfirmatorischen Faktorenanalyse. Berichtet werden standardisierte Koeffizienten.

Tabelle 5
Mittelwert, Standardabweichungen, Trennschärfen und Faktorladungen der 29 Items in Studie III

Anmerkung. Skala von 1 (stimme gar nicht zu) bis 7 (stimme voll zu), 442 ≤ N ≤ 451.

Tabelle 6

Korrelationen zwischen den Skalen des FIRE-B

Anmerkung: ***p < .001 (zweiseitig). Werte oberhalb der Diagonale beruhen auf Daten der Studie II (N = 257), Werte unterhalb der Diagonale beruhen auf Daten der Studie III (N = 451).

[1] Diese Arbeit kann bei Bedarf durch die Autoren als PDF zur Verfügung gestellt werden.

Objektivität

Gezielte Prüfungen der Objektivität fanden nicht statt. Objektivität ist eine Voraussetzung für die Reliabilität und die Reliabilität wiederum eine Voraussetzung für die Validität. Im Umkehrschluss heißt dies auch, dass gefundene Reliabilitätswerte für eine objektive Anwendbarkeit des Verfahrens (bei standardisierter Vorgabe und Einhaltung der Auswertungs- und Interpretationshinweise) sprechen.

Reliabilität

Tabelle 7

Cronbachs Alpha der Skalen

Die interne Konsistenz der Skalen kann insgesamt als ausreichend bis gut angesehen werden (s. Tabelle 7). Dies gilt insbesondere, da Auswertungen nur auf Ebene einer entsprechend großen Teilnehmergruppe empfohlen sind (siehe Auswertungshinweise).

Validität

Es kann von einer guten Inhaltsvalidität des FIRE-B ausgegangen werden, da der Entwicklung des Itempools durch Studie I ein klares Verständnis über die Merkmale einer guten Ausbildung zugrunde lag und in Studie II nur sehr wenige TeilnehmerInnen trotz expliziter Aufforderung inhaltliche Ergänzungen zum Fragebogen machten. Dies wurde als Hinweis auf die inhaltliche Vollständigkeit des Itempools aufgefasst.

In Studie II wurden erste Validierungen durchgeführt, die einen explorativen Charakter hatten. Die Kriteriumsvalidität wurde durch Korrelationen der Prozess-Skalen Struktur & Didaktik, Unterstützung & Förderung, Gruppe, Praxis und Material & Räumlichkeiten mit zwei Items zum Globalurteil (subjektiver Lernerfolg, globale Benotung auf einer Schulnotenskala) betrachtet. Zur Überprüfung der divergenten Validität wurde die Stimmung der TeilnehmerInnen mit der fünfstufigen Smiley-Skala von Jäger (2004) erfasst. Zur Überprüfung der konvergenten Validität wurde die Subskala berufliches Commitment affektiv (sieben Items; α = .91) des Fragebogens Commitment Organisation, Beruf und Beschäftigungsform (COBB, Felfe, Six, Schmook, & Knorz, 2014) eingesetzt. Die Skala wurde leicht modifiziert, sodass sie auch für ehrenamtliche Tätigkeiten einsetzbar ist (α = .95 in der Stichprobe von Studie II).

In Studie III dienten bivariate Korrelationen zwischen den Skalen des Fragebogenentwurfs und ausgewählten Validierungskriterien einer umfassenderen Beurteilung von Konstrukt- und Kriteriumsvalidität. Im Gegensatz zu Studie II wurden in die Stichprobe von Studie III auch Personen eingeschlossen, deren beurteilte Ausbildung länger als sechs Monate zurücklag. Um dennoch eine möglichst gute Passung zwischen Stichprobe und Zielpopulation sicherzustellen, wurden zur Validierung partielle Korrelationskoeffizienten nach Pearson berechnet, die für den Einfluss vom Zeitpunkt des Ausbildungsbeginns kontrollieren. Alle Korrelationen wurden nach Cohen (1992) mit r = ≥ .10 als klein, mit r = ≥ .30 als moderat und mit r = ≥ .50 als hoch beurteilt.

Für die Untersuchung konvergenter Konstruktvalidität in Studie III wurden Zusammenhänge zwischen den FIRE-B-Skalen und konstruktverwandten Skalen aus bewährten Lehrevaluationsinstrumenten sowie aus Validierungsstudien zum FIRE untersucht (s. Tabelle 8). So wurden erstens zur Validierung der Skala Struktur & Didaktik sechs Items der Skala Struktur & Didaktik (α = .90) aus dem TRIL (Gläßer et al., 2002) verwendet, zweitens für die Skala Unterstützung & Förderung drei Items der Skala Dozentenmanagement (α = .84) des HILVE II (Rindermann, 2009) sowie drittens zur Validierung der Skala Gruppe drei Items, die auch zur Validierung der Gruppenskala des FIRE verwendet wurden (Schulte & Thielsch, in press). Diese drei Items erfassen den Zusammenhalt innerhalb einer Ausbildungsgruppe. In Anlehnung an eine weitere Validierungsstudie zum FIRE von Olde lütke Beverborg (2017) wurden viertens vier Items zur Validierung der Skala Praxis verwendet (α = .80). Diese vier Items erfassen den durch Einsatzübungen bedingten Lernerfolg sowie die Realitätsnähe solcher Übungen. Fünftens diente eine Frage zur Quantität und Qualität der Ausrüstung und der Materialien aus dem FEPRA (Staufenbiel, 2000) zur konvergenten Validierung der Skala Material & Räumlichkeiten. Nicht zuletzt wurde sechstens mit jeweils zwei Items der Skalen Lernen-quantitativ (α = .85) und Lernen-qualitativ (α = .74) aus dem HILVE II (Rindermann, 2009) die Skala Kompetenzerwerb validiert. Erwartet wurden jeweils hohe positive Korrelationen dieser Validierungskriterien mit den FIRE-B-Skalen.

Demgegenüber wurden im Sinne einer divergenten Validierung keine oder geringe Zusammenhänge zwischen den FIRE-B-Skalen und der aktuellen Stimmung der TeilnehmerInnen, dem Bildungsgrad der TeilnehmerInnen sowie der Erfahrung der TeilnehmerInnen erwartet (s. Tabelle 9). So handelt es sich dabei um Bias-Variablen, also Konstrukte, die die Beurteilung der Ausbildungsqualität beeinflussen könnten, eigentlich aber keinen Einfluss auf diese haben (Marsh & Roche, 1997; Spiel, 2001). Die aktuelle Stimmung wurde (wie in Studie II) über eine fünfstufige Smiley-Skala (Jäger, 2004) und der Bildungsgrad über den höchsten erreichten Schulabschluss erfasst. Darüber hinaus wurde über zwei weitere Items der Erfahrungswert in der feuerwehrtechnischen Arbeit ermittelt. Einerseits gehörte dazu die Abfrage von Vorerfahrungen, zum Beispiel durch die vorherige Mitgliedschaft in einer Jugendfeuerwehr. Andererseits wurde die monatliche Einsatzerfahrung ("Wie viele Einsätze absolvieren Sie bei der Berufsfeuerwehr / Freiwilligen Feuerwehr durchschnittlich pro Monat?" mit offenem Antwortformat) abgefragt.

Hinsichtlich der konkurrenten Kriteriumsvalidierung wurde untersucht, ob die Scores auf allen FIRE-B-Skalen die globale Zufriedenheit der TeilnehmerInnen mit der Ausbildung und ihren Lernerfolg vorhersagen (s. Tabelle 9). Zur Erfassung der globalen Zufriedenheit wurden drei Items verwendet. Zwei dieser Items waren über das siebenstufige Antwortformat mit Verweigerungsoption beantwortbar: erstens das Item "Alles in allem hat sich der Besuch dieser Ausbildung für mich gelohnt." aus dem TRIL (Gläßer et al., 2002) sowie zweitens das Item "Ich würde die Ausbildung einem guten Bekannten weiterempfehlen." in Anlehnung an den MFE-Sr (Thielsch & Hirschfeld, 2012). Ein weiteres Item forderte die TeilnehmerInnen dazu auf, die Feuerwehrausbildung auf einer Schulnotenskala (1 = sehr gut; 6 = ungenügend) zu bewerten (vgl. FEVOR/FESEM; Staufenbiel, 2000). Des Weiteren wurde der subjektive Lernerfolg mit dem Einzelitem "Ich habe in der Ausbildung sehr viel gelernt" aus dem KIEL (Gediga et al., 2000) über das siebenstufige Antwortformat mit Verweigerungsoption erfasst. Zur weiteren konkurrenten Validierung der FIRE-B-Items wurde erfragt, ob TeilnehmerInnen die bewertete Basisausbildung direkt, nach einer Nachprüfung, gar nicht oder noch nicht bestanden haben.

Tabelle 8

Korrelationen zwischen den einzelnen FIRE-B-Skalen und konvergenten Validierungsindikatoren in Studie III

Anmerkung. *p < .05, **p < .01, ***p < .001 (zweiseitig). N = 451.

Konvergente Validität

Ein Zusammenhang der Evaluation mit affektivem beruflichen Commitment ließ sich in Studie II für Auszubildende der Freiwilligen Feuerwehr (.17 ≤ r ≤ .38, p < .05) nachweisen. Für Auszubildende der Berufsfeuerwehr lagen die Korrelationen rein deskriptiv niedriger (.09 ≤ r ≤ .23, zum Teil nicht signifikant). Dies deutet darauf hin, dass die Ausbildung bei der Berufsfeuerwehr und der Freiwilligen Feuerwehr eine unterschiedliche Funktion einnimmt.

In Studie III zeigten sich für alle FIRE-B-Skalen durchweg hohe positive Korrelationen mit den jeweiligen konstruktverwandten Validierungsskalen (s. Tabelle 8; r = .81, p < .001 zwischen der Skala Struktur & Didaktik des FIRE-B und der Skala Struktur & Didaktik des TRIL; r = .88, p < .001 zwischen der Skala Unterstützung & Förderung des FIRE-B und der Skala Dozentenmanagement des HILVE II; r = .52, p < .001 zwischen der Skala Gruppe des FIRE-B und den Validierungsitems für die Skala Gruppe des FIRE; r = .78, p < .001 zwischen der Skala Praxis des FIRE-B und den Validierungsitems für die Skala Einsatzübung des FIRE; r = .79, p < .001 zwischen der Skala Material & Räumlichkeiten des FIRE-B und der Frage zur Quantität & Qualität der Ausrüstung und der Materialien aus dem FEPRA; r = .77, p < .001 zwischen der Skala Kompetenzerwerb des FIRE-B und der Skala Lernen-quantitativ aus dem HILVE II; r = .75, p < .001 zwischen der Skala Kompetenzerwerb des FIRE-B und der Skala Lernen-qualitativ aus dem HILVE II). Alle FIRE-B Skalen korrelierten zudem positiv mit Skalen zur Validierung jeweils anderer FIRE-B-Skalen. Diese fielen jedoch (teilweise deutlich) geringer aus (z. B. r = .33, p < .001 zwischen der Skala Kompetenzerwerb des FIRE-B und der Frage zur Quantität und Qualität der Ausrüstung und der Materialien aus dem FEPRA). Insgesamt sprechen die Ergebnisse für konvergente Validität des FIRE-B.

Divergente Validität

In Studie II hing die Stimmung der Teilnehmer nicht in hohem Maß mit der Beurteilung der Ausbildung zusammen (.23 ≤ r ≤ .34, p < .001), sodass die Evaluationsergebnisse von der Stimmung abzugrenzen sind. Vergleichbare Korrelationen wurden bei der Validierung des zugrundeliegenden FIRE gefunden (Schulte & Thielsch, in press). In Studie III korrelierte die aktuelle Stimmung durchweg signifikant aber entsprechend der Annahme nur in kleinem Ausmaß mit den FIRE-B Skalen (.12 ≤ r ≤ .23, p <.01). Für den Bildungsgrad der Teilnehmer zeigten sich kleine und nur teilweise signifikante Zusammenhänge mit den FIRE-B Skalen (-.17 ≤ r ≤ -.05, p zwischen <.001 und .31). Im Hinblick auf die Dauer der Vorerfahrung in der feuerwehrtechnischen Arbeit, zum Beispiel durch die vorherige Mitgliedschaft in einer Jugendfeuerwehr, lagen durchweg kleine, teilweise nicht signifikante Korrelationen vor (-.10 ≤ r ≤ -.02; .09 ≤ p ≤ .74). Auch die monatliche Einsatzerfahrung in Berufsfeuerwehr und Freiwilliger Feuerwehr hing nur geringfügig mit der Beurteilung der FIRE-B-Skalen zusammen (-.05 ≤ r ≤ .09, .05 ≤ p ≤ .95). Alle Ergebnisse deuten auf divergente Validität des FIRE-B hin.

Kriteriumsvalidität

Die Beurteilungen der Ausbildung auf den fünf Prozess-Skalen des FIRE-B zeigten in Studie II mittlere bis hohe Zusammenhänge mit dem subjektivem Lernerfolg (.33 ≤ r ≤ .53, p < .001) sowie der globalen Benotung der Ausbildung (.40 ≤ r ≤ .72, p < .001).In Studie III zeigten sich moderate bis große Korrelationen der FIRE-B-Skalen mit der vergebenen Schulnote (.42 ≤ r ≤ .75, p < .001). Darüber hinaus gab es moderate bis große hochsignifikante Zusammenhänge mit den weiteren Items zur Erfassung der Gesamtzufriedenheit (.42 ≤ r ≤ .69, p < .001). Hinsichtlich des Lernerfolgs sind moderate bis hohe hochsignifikante Korrelationen zwischen den FIRE-B-Skalen und dem subjektiven globalen Lernzugewinn zu vermerken (.41 ≤ r ≤ .75, p < .001). Zusammenhänge zwischen den Evaluationsergebnissen und dem Bestehen der Prüfung konnten wegen fehlender Varianz in den Daten nicht sinnvoll untersucht werden. So wurde die Prüfung von 99 % der Befragten direkt, von nur 1 % nach einer Nachprüfung und von keiner Person gar nicht bestanden. Alle übrigen Ergebnisse untermauern die Kriteriumsvalidität des FIRE-B.

Tabelle 9

Korrelationen zwischen den einzelnen FIRE-B-Skalen und divergenten (Stimmung bis Einsatzerfahrung) und kriterienbezogenen (Gesamturteile und Lernerfolg) Validierungsindikatoren in Studie III

Anmerkung. *p < .05, **p < .01, ***p < .001 (zweiseitig). ^a = Spearman-Rangkorrelation. N = 451.

Deskriptive Statistiken (Normierung)

Die Skalen weisen eine leicht schiefe Verteilung auf. Die Mittelwerte und Standardabweichungen der Skalen finden sich in Tabelle 10. Basis dieser Tabelle ist die Kombination der Daten aus Studie II und III. Die Interkorrelationen der Skalen liegen im mittleren bis hohen Bereich und finden sich in Tabelle 6.

Tabelle 10

Deskriptive Statistiken für die FIRE-B-Skalen

Anmerkung. Skala von 1 (stimme gar nicht zu) bis 7 (stimme voll zu). Es wurden Daten aus Studie II und III kombiniert, 686 ≤ N ≤ 703; in Klammern stehen die Standardabweichungen von Schiefe und Kurtosis.

Nebengütekriterien

Die Testökonomie kann bezüglich des zeitlichen Aufwands als gut eingeschätzt werden. Mit 29 Items ist das FIRE-B in etwa vier bis fünf Minuten zu bearbeiten. Dennoch werden mit sechs Skalen umfassend verschiedene Aspekte der Ausbildung beurteilt. Auch die Nützlichkeit kann als hoch eingeschätzt werden. So konnte in Literaturrecherchen kein wissenschaftlich entwickeltes publiziertes Evaluationsinstrument für die feuerwehrtechnische Ausbildung auf Gemeinde- und Kreisebene gefunden werden, das eine Alternative darstellen könnte. Zudem haben die Ergebnisse praktische Relevanz, da aus den Evaluationsergebnissen der aktuelle Qualitätsstand der feuerwehrtechnischen Ausbildung ersichtlich wird und konkrete Maßnahmen zur Verbesserung der Ausbildung abgeleitet werden können.

Weiterführende Literatur

Schulte, N., & Thielsch, M. T. (in press). Evaluation of firefighter leadership trainings. International Journal of Emergency Services. https://doi.org/10.1108/IJES-03-2018-0020

Thielsch, M. T., Busjan, J. N., & Frerichs, K. (2018). Feedback-Instrument zur Rettungskräfte-Entwicklung – Prüfungen (FIRE-P) [Feedback instrument for rescue forces education - Examinations]. Zusammenstellung sozialwissenschaftlicher Items und Skalen. https://doi.org/10.6102/zis260

Danksagung

Die Autoren möchten sich beim Institut der Feuerwehr Nordrhein-Westfalen, insbesondere bei Yannick Ngatchou, Thomas Löchteken und Berthold Penkert, für die umfassende Unterstützung bei dieser Instrumentenerstellung bedanken. Carsten Hahn, Heinz Kamphausen und Ferdinand Hintz von der Feuerwehrschule Düsseldorf danken wir für den Einblick in die Basisausbildung und die Unterstützung bei der Rekrutierung der Studien I und II.