Open Access Repository for Measurement Instruments

AkkordeonDetailedScaleViews

Feedback-Instrument zur Rettungskräfte-Entwicklung - Basisausbildung (FIRE-B)

  • Author: Thielsch, M. T., Kläpker, L., & Streppel, L.
  • In ZIS since: 2019
  • DOI: https://doi.org/10.6102/zis266
  • Abstract: The feedback tool for Rescue Force Development - Basic Training (FIRE-B) is used to measure the perceived quality of firefighter training at community and district level. Participants of these trainin ... moreg courses at the voluntary fire brigade and the professional fire brigade are interviewed. The instrument is based on a qualitative analysis of characteristics of a good basic training with the fire brigade (N = 21) as well as on scales which are used for the evaluation of management training with the fire brigade or for the teaching evaluation at universities. The FIRE-B was tested and validated on the basis of two random samples (total = 708) with participants from various basic fire brigade training courses. Factor analyses show a six-factor questionnaire structure (structure & didactics, support & promotion, group, practice, material & premises, competence acquisition). The scales are to be judged as reliable. In addition, there are indications of content, construct and criterion validity. less
  • Language Documentation: deutsch
  • Language Items: German
  • Number of Items: 33
  • Reliability: Cronbachs Alpha ≥ .76, McDonalds Omega ≥ .76
  • Validity: Hinweise auf Inhalts-, Konstrukt- und Kriteriumsvalidität
  • Construct: Feedback zu Rettungskräftebasisausbildung (Struktur & Didaktik, Unterstützung & Förderung, Gruppe, Praxis, Material & Räumlichkeiten, Kompetenzerwerb)
  • Catchwords: Feuerwehr, Evaluation, Ausbildung | fire brigade, evaluation, training
  • Item(s) used in Representative Survey: nein
  • Status of Development: validiert
    • Instruktion

      Liebe/r Ausbildungsteilnehmer/in,

       

      wir danken Ihnen, dass Sie an der Befragung teilnehmen! Es geht darum, wie Sie den aktuellen Lehrgang der Feuerwehr bewerten. Sie helfen uns damit, die Qualität dieser Basisausbildung zu beurteilen und gegebenenfalls zu verbessern.

       

      Wir werden Ihnen nachfolgend einige Aussagen präsentieren. Bitte teilen Sie uns für jede Aussage mit, wie sehr Sie dieser zustimmen. Kreuzen Sie für jede Aussage das Feld an, das den Grad Ihrer Zustimmung am besten wiedergibt. Generell gilt dabei: Es gibt keine richtigen oder falschen Antworten. Vielmehr interessieren wir uns für Ihre ganz persönliche Meinung.

       

      Ihre Teilnahme an der Befragung ist freiwillig. Zudem erfolgt die Befragung selbstverständlich anonym. Die Ergebnisse werden nur in gesammelter Form, das heißt beispielsweise in Form von Mittelwerten aller Befragten, zurückgemeldet. Ein Rückschluss auf Ihre Person ist damit ausgeschlossen.

       

       

       

      Items

      Tabelle 1

      Items der Skala FIRE-B                                                          

      Nr.

      Item

      Subskala

      1

      Ich finde, die Ausbildung war klar strukturiert.

      Struktur & Didaktik

      2

      Ich finde, die Ausbildung gab einen guten Überblick über das Themengebiet.

      Struktur & Didaktik

      3

      Die Ausbilder/innen haben komplizierte Dinge verständlich erklärt.

      Struktur & Didaktik

      4

      Ich finde, die Ausbilder/innen konnten den Unterricht/die Übungen flexibel an mein Wissen und meine Fähigkeiten anpassen.

      Struktur & Didaktik

      5

      Die Ausbilder/innen haben die Themen interessant aufbereitet.

      Struktur & Didaktik

      6

      Die Ausbilder/innen kannten sich mit den Inhalten der Ausbildung sehr gut aus.

      Struktur & Didaktik

      7

      Die Ausbilder/innen hatten für die Probleme der Auszubildenden ein offenes Ohr.

      Unterstützung & Förderung

      8

      Ich finde, die Ausbilder/innen waren an meinem Lernerfolg interessiert.

      Unterstützung & Förderung

      9

      Die Ausbilder/innen motivierten mich, mich einzubringen.

      Unterstützung & Förderung

      10

      Die Ausbilder/innen vermittelten Ruhe in schwierigen Situationen.

      Unterstützung & Förderung

      11

      Die Ausbilder/innen konnten die Ausbildung mit ihren eigenen Einsatzerfahrungen gut ergänzen.

      Unterstützung & Förderung

      12

      Die anderen Auszubildenden brachten sich aktiv ein.

      Gruppe

      13

      Die anderen Auszubildenden arbeiteten motiviert mit.

      Gruppe

      14

      Ich finde, es herrschte ein guter Zusammenhalt unter den Auszubildenden.

      Gruppe

      15

      Ich finde, die praktischen Übungen waren realitätsnah.

      Praxis

      16

      Ich finde, die Übungen wurden ausreichend nachbesprochen.

      Praxis

      17

      Es gab ausreichend Gelegenheiten, das Gelernte praktisch zu erproben.

      Praxis

      18

      Räumlichkeiten und Übungsanlagen waren ausreichend und in guter Qualität vorhanden.

      Material & Räumlichkeiten

      19

      Die Qualität der im theoretischen Unterricht verwendeten Medien (Präsentationen, Filme, Skizzen, etc.) war gut.

      Material & Räumlichkeiten

      20

      Lehrmaterialien (Bücher, Hefte, Arbeitsblätter, etc.) für den theoretischen Unterricht waren ausreichend und in guter Qualität vorhanden.

      Material & Räumlichkeiten

      21

      Fahrzeuge, Geräte und Ausrüstung waren ausreichend und in guter Qualität vorhanden.

      Material & Räumlichkeiten

      22

      Übungs- und Anschauungsmaterialien (Dummys, Schrottautos, etc.) waren ausreichend vorhanden.

      Material & Räumlichkeiten

      23

      Durch die Ausbildung kann ich besser auf Gefahren reagieren.

      Kompetenzerwerb

      24

      Durch die Ausbildung kann ich deutlich besser mit feuerwehrtechnischen Geräten und Fahrzeugen umgehen.

      Kompetenzerwerb

      25

      Ich fühle mich durch die Ausbildung auf meinen nächsten Einsatz sehr gut vorbereitet.

      Kompetenzerwerb

      26

      Durch die Ausbildung kenne ich meine persönlichen Grenzen besser.

      Kompetenzerwerb

      27

      Durch die praktischen Übungen in der Ausbildung habe ich die nötige Sicherheit gewonnen, in verschiedenen Einsätzen meine Aufgaben in der Feuerwehr zu übernehmen.

      Kompetenzerwerb

      28

      Durch die Ausbildung wurde meine Teamfähigkeit verbessert.

      Kompetenzerwerb

      29

      Durch die Ausbildung konnte ich mein theoretisches Wissen deutlich erweitern.

      Kompetenzerwerb

       

      Tabelle 2

      Je nach Evaluationskontext optionale Items

      Nr.

      Item

      30

      Das Tempo der Stoffvermittlung war zu hoch für mich.

      31

      Ich habe in der Ausbildung sehr viel gelernt.

      32

      Ich würde der Ausbildung insgesamt folgende Schulnote geben.

      33

      Platz für weitere Anmerkungen (Hier können Sie noch Lob, Kritik oder Anregungen zur Ausbildung äußern):
      Falls Sie mit einer oder mehreren der folgenden Rahmenbedingungen unzufrieden sind, beschreiben Sie bitte, was genau verbessert werden sollte.
      - Fahrzeuge, Geräte und Ausrüstung 
      - Räumlichkeiten und Übungsanlagen 
      - Übungs- und Anschauungsmaterialien
      - Lehrmaterialien 

       

      Antwortvorgaben
      Items 1-31:

      Siebenstufiges Antwortformat mit den Optionen 1 = stimme gar nicht zu, 2 = stimme nicht zu, 3 = stimme eher nicht zu, 4 = neutral, 5 = stimme eher zu, 6 = stimme zu, 7 = stimme vollkommen zu. Ein zusätzliches Feld bietet die Möglichkeit anzugeben, dass das jeweilige Item nicht sinnvoll zu beantworten sei.

       

      Item 32:

      Sechsstufiges Antwortformat mit den Optionen 1 = sehr gut, 2 = gut, 3 = befriedigend, 4 = ausreichend, 5 = mangelhaft und 6 = ungenügend.

       

      Item 33:

      Offenes Antwortformat

       

      Auswertungshinweise

      Zur Bildung der Skalen-Mittelwerte werden die Antwortwerte der jeweiligen Antworten auf der Skala pro Befragtem addiert und durch die Anzahl der bearbeiteten Skalen-Items geteilt. Beispiel: Der Mittelwert der Skala Struktur & Didaktik berechnet sich aus der Summe der Antwortwerte der Items Nr. 1, 2, 3, 4, 5 und 6, geteilt durch die Anzahl der bearbeiteten Items. Analog dazu wird die Skala Unterstützung & Förderung mit den Items Nr. 7, 8, 9, 10 und 11 gebildet; die Skala Gruppe mit den Items Nr. 12, 13 und 14; die Skala Praxis mit den Items Nr. 15, 16 und 17; die Skala Material & Räumlichkeiten mit den Items Nr. 18, 19, 20, 21 und 22 und schließlich die Skala Kompetenzerwerb mit den Items Nr. 23, 24, 25, 26, 27, 28 und 29. Die Skalenmittelwerte pro Befragtem werden dann über alle Befragten hinweg gemittelt. Hohe Werte sind dabei gleichbedeutend mit einer positiveren Beurteilung der Ausbildung.

       

      Wird ein Item mit nicht sinnvoll zu beantworten beantwortet, so ist dies als fehlender Wert zu behandeln. Für eine Online-Befragung empfehlen wir die Items 1-32 als Pflichtfragen vorzugeben. Für eine Papierbefragung empfehlen wir Personen, die drei Items oder mehr komplett auslassen, aus der Auswertung herauszunehmen. Eine hohe Anzahl von fehlenden Werten bei vielen Personen kann in einer mangelnden Passung des Fragebogens in dem jeweiligen Evaluationskontext begründet sein.

      Wir schlagen hinsichtlich der Interpretation der Einzelitems (Nr. 30-32) vor, diese lediglich als allgemeine Rückmeldung im Sinne einer Checkliste zu nutzen, beziehungsweise offene Anmerkungen aus Item 33 erst bei einer substanziellen Zahl von vergleichbaren Nennungen als handlungsleitend heranzuziehen. Item 30 resultiert aus der Skala Überforderung des FIRE (siehe unten, Ergebnisse zu Studie II); Item 31 und 32 orientieren sich an vergleichbaren Items aus etablierten Evaluationsinstrumenten (bspw. FEVOR, Staufenbiel, 2000; KIEL, Gediga et al., 2000; MFE-Sr, Thielsch & Hirschfeld, 2012).

       

      Generell möchten wir empfehlen, eine Auswertung erst vorzunehmen, wenn mindestens acht ausgefüllte Fragebögen vorliegen (bzw. wenn bei Veranstaltungen mit weniger als 15 TeilnehmerInnen mindestens 50% an der Befragung teilgenommen haben). Dabei ist darauf zu achten, dass die Auswertung anonym erfolgt. Dementsprechend sollten keine demographischen Variablen erhoben werden, anhand derer Rückschlüsse auf einzelne Personen gezogen werden können. Bei Papierbefragungen sollten die offenen Angaben aus Item 33 zunächst durch eine neutrale Person digitalisiert werden, damit Befragte nicht an der Handschrift erkannt werden können. Ist dies nicht möglich, so muss in der Befragung auf dieses Problem hingewiesen werden.

       

      Grundsätzlich sollte der subjektive Charakter einer solchen Evaluation berücksichtigt werden. Ein Feedback aus der FIRE-Evaluation ist für die AusbilderInnen eine Chance, wichtige Informationen über die eigene Lehrtätigkeit aus Sicht der VeranstaltungsteilnehmerInnen zu erhalten. Es empfiehlt sich eine Evaluationsbesprechung mit den Befragten abzuhalten, in deren Rahmen Ergebnisse des FIRE-Bs besprochen und mögliche Missverständnisse geklärt werden können. Die Fragebögen eignen sich dabei auch zum Vergleich mit früheren gleichartigen Veranstaltungen oder zwischen verschiedenen Lehrkonzepten. Wenn keine eigenen Vergleichsdaten vorliegen, können die deskriptiven Statistiken in Tabelle 10 (siehe unten) als Orientierung dienen. Von Seiten der verantwortlichen Organisation sollte die Evaluation technisch, aber auch inhaltlich unterstützt werden. Dies umfasst insbesondere Hilfestellungen, sollten Evaluationen wiederholt Verbesserungspotenziale aufzeigen, sowie Belobigungen für qualitativ gute Unterrichtstätigkeit.

       

      Anwendungsbereich

      Der Fragebogen wurde zur Beurteilung der feuerwehrtechnischen Ausbildung auf Gemeinde- und Kreisebene in Deutschland entwickelt. Dazu zählen die Brandmeisterausbildung bei der Berufsfeuerwehr bzw. die Truppmann- oder Truppführerausbildung sowie sonstige nicht an Landesfeuerwehrschulen stattfindende Ausbildungen bei der Freiwilligen Feuerwehr. Grundsätzlich ist der FIRE-B zur Evaluation von Basisausbildungen und grundlegenden Lehrgängen auf Mitarbeiterebene im Bereich der Rettungskräfteausbildung geeignet. Eine Verwendung in anderen Ausbildungsbereichen verlangt eine vorherige empirische Überprüfung der Anwendbarkeit der Skalen. Schriftliche Prüfungen im Rettungswesen können mittels des FIRE-P (Thielsch, Busjan, & Frerichs, 2018) bewertet werden; zur Evaluation der Ausbildungen von Führungskräften empfiehlt sich der FIRE (Schulte & Thielsch, in press). Die Ausbildungsbeurteilung mit dem FIRE-B erfolgt nach Abschluss der Ausbildung, beziehungsweise eines spezifischen Lehrgangs oder Ausbildungsabschnitts.

       

    Von Feuerwehrleuten wird schon nach Absolvieren der untersten Ausbildungsebene die "Übernahme von grundlegenden Tätigkeiten im Lösch- und Hilfeleistungseinsatz [...] unter Anleitung" (Feuerwehr-Dienstvorschrift 2 [FwDV 2], 2012, S. 9) erwartet. Eine zentrale Aufgabe von Feuerwehrleuten ist das Retten, worunter das "Abwenden einer Gefahr von Menschen oder Tieren durch lebensrettende Sofortmaßnahmen, die sich auf Erhaltung oder Wiederherstellung von Atmung, Kreislauf und Herztätigkeit richten" (FwDV 3, 2008, S. 4) oder das "Befreien aus einer lebens- oder gesundheitsgefährdenden Zwangslage" (FwDV 3, 2008, S. 4) verstanden wird. Die Arbeit von Feuerwehrkräften zeichnet sich dadurch aus, dass sie oft gefährlich, körperlich sowie mental fordernd und zudem meist unvorhersehbar ist (Taber, Plumb, & Jolemore, 2008). Eine gute grundständige Ausbildung der Einsatzkräfte bildet die Basis für die Entwicklung der notwendigen Kenntnisse und Fähigkeiten, um auch in schwierigen Einsatzsituationen ein sicheres und zuverlässiges Handeln zu ermöglichen. Entsprechend steht eine hohe Ausbildungsqualität sowohl im gesellschaftlichen Interesse, um hochqualifizierte Einsatzkräfte im Ernstfall vor Ort zu wissen, als auch im persönlichen Interesse der Einsatzkräfte, um die eigene Gefährdung im Einsatz zu reduzieren.

     

    Die grundständige Aus- und Fortbildung von Angehörigen öffentlicher Feuerwehren ist nach § 32 Abs. 1 des Gesetzes über den Brandschutz, die Hilfeleistung und den Katastrophenschutz (BHKG, 2015) Aufgabe der Gemeinden, der Kreise und der kreisfreien Städte. Im Gegensatz zu den Inhalten, dem groben Ablauf und der Stundenanzahl sind die Lehrmethoden und die genaue Ausgestaltung der Ausbildung nicht festgelegt, sondern können von jeder Feuerwehr und den AusbilderInnen unterschiedlich gehandhabt werden (z. B. VAP1.2-Feu, 2015). Eine Evaluation der Ausbildung kann den AusbilderInnen die Reflexion der eigenen Ausbildungspraxis erleichtern und bietet die Möglichkeit, einen Eindruck von der aktuellen Ausbildungsqualität in den verschiedenen Kommunen zu bekommen. Bisher steht nach derzeitigem Wissensstand kein wissenschaftlich entwickeltes Evaluationsinstrument für die Grundausbildung bei der Feuerwehr zur Verfügung, welches eine Beurteilung der Ausbildung auf Gemeinde- und Kreisebene durch die Auszubildenden ermöglicht. Für die Evaluation der Führungskräfteausbildung bei der Feuerwehr hingegen, existiert mit dem Feedback-Instrument zur Rettungskräfte-Entwicklung (FIRE; Schulte & Thielsch, in press) ein systematisch entwickeltes und validiertes Evaluationsinstrument. Das FIRE besteht aus den sechs Skalen Dozentenverhalten, Struktur, Überforderung, Gruppe, Kompetenzerwerb und Transfer. Es bildete die Grundlage für die Itemkonstruktion des FIRE-B, insbesondere da ausreichende bis gute interne Konsistenzen sowie Belege für die faktorielle Validität, Konstrukt-, Kriteriums- und Inhaltsvalidität vorliegen. Da allerdings bisher mit dem FIRE-Fragebogen nur Erfahrungen im Bereich Führungskräfte vorlagen, erfolgte im Rahmen der Skalenentwicklung eine Adaptation und Prüfung des Instruments für die Basisausbildung der Feuerwehr.

     

    Itemkonstruktion und Itemselektion

    Das FIRE-B wurde im Rahmen eines Kooperationsprojekts der Organisations- und Wirtschaftspsychologie der Westfälischen Wilhelms-Universität Münster mit dem Institut der Feuerwehr NRW (IdF NRW) entwickelt. Im gleichen Kontext ist auch das FIRE (Schulte & Thielsch, in press) für die Evaluation der Führungskräfteausbildung bei der Feuerwehr entstanden. Da sich die Ausbildung auf Gemeinde- und Kreisebene nach Einschätzung von Experten des IdF NRW in vielen Punkten von der Führungskräfteausbildung unterscheidet, wurde der Itempool des FIRE-B in drei Studien neu entwickelt (siehe auch Streppel, 2018 und Kläpker, 2018):

     

    In Studie I wurden Erfolgs- und Qualitätsfaktoren einer guten feuerwehrtechnischen Ausbildung auf Gemeinde- und Kreisebene als theoretische Grundlage für die Itemkonstruktion ermittelt. Dazu wurden in einem qualitativen Forschungsansatz inhaltliche Experten für die Grundausbildung bei der Feuerwehr befragt, was aus ihrer persönlichen Sicht wichtige Aspekte einer guten Ausbildung auf Gemeinde- und Kreisebene sind. Erfolgs- und Qualitätsfaktoren der Ausbildung wurden in einer Online-Befragung zum einen mithilfe der Critical Incident Technique erfasst (CIT; Flanagan, 1954) und zum anderen konnten die TeilnehmerInnen in vier offenen Fragen direkt wichtige Aspekte einer guten Ausbildung benennen. Diese vier Fragen betrafen Aspekte einer guten Ausbildung bei der Feuerwehr, Merkmale eines guten Ausbilders bzw. einer guten Ausbilderin und seines bzw. ihres Lehrstils, relevante Rahmenbedingungen sowie Faktoren, durch die Auszubildende selbst zu einer guten Ausbildung beitragen können. Eine qualitative Inhaltsanalyse führte zu acht Kategorien einer guten Grundausbildung bei der Feuerwehr: Didaktik, Motivation & Engagement, Persönlichkeit, Inhalte & Methoden, Struktur & Organisation, Material & Räumlichkeiten, Gruppe und Erreichen der Lernziele.

     

    Auf Grundlage der identifizierten Kategorien wurde ein Itempool für eine vorläufige Version des Fragebogens gebildet, der mit 51 Items umfassend die genannten erfolgsentscheidenden Aspekte abbildet. Da zudem die Ergebnisse der Studie I einige Parallelen zu Merkmalen guter Lehre an Hochschulen und in der feuerwehrtechnischen Führungskräfteausbildung aufwiesen, wurden soweit möglich

     

    a)     Items, die für die Evaluation der Führungskräfteausbildung bei der Feuerwehr entwickelt wurden (Babiel, 2016; Olde lütke Beverborg, 2017; Schulte & Thielsch, in press), oder

    b)     Items aus etablierten Evaluationsinstrumenten, welche an Hochschulen eingesetzt werden (TRIL, Gläßer et al., 2002; MFE-ZGr, Grötemeier & Thielsch, 2010a; MFE-ZHa, Grötemeier & Thielsch, 2010b; MFE-V, Hirschfeld & Thielsch, 2009; HILVE, Rindermann & Amelang, 1994; FEVOR, FEPRA, Staufenbiel, 2000; MFE-Sr, Thielsch & Hirschfeld, 2012),

     

    übernommen und ggf. an den feuerwehrtechnischen Kontext und die Ausbildung auf Gemeinde- und Kreisebene angepasst (siehe auch Tabelle 3, aus Gründen der Ökonomie wurde auf die Darstellung der Items, die nicht in der finalen Fragebogenversion enthalten sind, verzichtet). Diese vorläufige Fragebogenversion wurde in Studie II mit Mitgliedern verschiedener Feuerwehren in Deutschland pilotiert, um anschließend eine begründete Itemselektion auf Basis der deskriptiven Itemkennwerte vorzunehmen, die Faktorenstruktur des Fragebogens aufzudecken und erste Validierungen durchzuführen.

     

    Tabelle 3

    Items des FIRE-B mit Angabe der Originalitems, die als Grundlage dienten, sowie deren Quellen

    Nr.

    Item

    Quelle

    Originalitem

    1

    Ich finde, die Ausbildung war klar strukturiert.

    FIRE (Schulte & Thielsch, in press)

    Ich finde, die Lehrveranstaltung war klar strukturiert.

    2

    Ich finde, die Ausbildung gab einen guten Überblick über das Themengebiet.

    FIRE (Schulte & Thielsch, in press)

    Ich finde, die Lehrveranstaltung gab einen guten Überblick über das Themengebiet.

    3

    Die Ausbilder/innen haben komplizierte Dinge verständlich erklärt.

    Grabbe (2003); TRIL (Gläßer et al., 2002)

    Der/Die Lehrende erläuterte schwierige Sachverhalte verständlich. / Sie hat komplizierte Dinge strukturiert erklärt.

    4

    Ich finde, die Ausbilder/innen konnten den Unterricht/die Übungen flexibel an mein Wissen und meine Fähigkeiten anpassen.

    Robertz (2015)

    Ich finde, der Dozent konnte die Struktur des Trainings flexibel auf den Bedarf der Teilnehmer anpassen.

    5

    Die Ausbilder/innen haben die Themen interessant aufbereitet.

    MFE-Sr (Thielsch & Hirschfeld, 2012)

    Der/Die Lehrende hat das Thema interessant aufgearbeitet.

    6

    Die Ausbilder/innen kannten sich mit den Inhalten der Ausbildung sehr gut aus.

    FIRE-Dozent (Olde lütke Beverborg, 2017)

    Der/die Dozent/in kannte sich mit den Inhalten der Lehre sehr gut aus.

    7

    Die Ausbilder/innen hatten für die Probleme der Auszubildenden ein offenes Ohr.

    MFE-V (Hirschfeld & Thielsch, 2009)

    Der/Die Lehrende hatte für die Belange der Studierenden ein offenes Ohr.

    8

    Ich finde, die Ausbilder/innen waren an meinem Lernerfolg interessiert.

    FIRE (Schulte & Thielsch, in press)

    Ich finde, die Dozenten waren am Lernerfolg der Teilnehmer interessiert.

    9

    Die Ausbilder/innen motivierten mich, mich einzubringen.

    FIRE (Schulte & Thielsch, in press)

    Die Dozenten motivierten mich, mich einzubringen.

    10

    Die Ausbilder/innen vermittelten Ruhe in schwierigen Situationen.

     

     

    11

    Die Ausbilder/innen konnten die Ausbildung mit ihren eigenen Einsatzerfahrungen gut ergänzen.

    FIRE-Dozent (Olde lütke Beverborg, 2017)

    Der/die Dozent/in konnte den Unterricht mit seinen/ihren eigenen Einsatzerfahrungen gut ergänzen.

    12

    Die anderen Auszubildenden brachten sich aktiv ein.

    FIRE (Schulte & Thielsch, in press)

    Die anderen Teilnehmer brachten sich aktiv ein.

    13

    Die anderen Auszubildenden arbeiteten motiviert mit.

    Grabbe (2003)

    Die Teilnehmer arbeiteten motiviert mit.

    14

    Ich finde, es herrschte ein guter Zusammenhalt unter den Auszubildenden.

    FIRE (Schulte & Thielsch, in press)

    Ich finde, es herrschte ein guter Zusammenhalt im Lehrgang.

    15

    Ich finde, die praktischen Übungen waren realitätsnah.

    TRIL (Gläßer et al., 2002)

    Die behandelten Inhalte waren lebensfern.

    16

    Ich finde, die Übungen wurden ausreichend nachbesprochen.

    MFE-ZHa (Grötemeier & Thielsch, 2010b)

    Die Hausaufgaben wurden ausreichend nachbesprochen.

    17

    Es gab ausreichend Gelegenheiten, das Gelernte praktisch zu erproben.

    Babiel (2016)

    Es gab ausreichend Gelegenheiten, das Gelernte praktisch zu erproben.

    18

    Räumlichkeiten und Übungsanlagen waren ausreichend und in guter Qualität vorhanden.

    FEVOR (Staufenbiel, 2000)

    Die Hilfsmittel zur Unterstützung des Lernens (z. B. Literatur, Skript, Folien) sind ausreichend und in guter Qualität vorhanden.

    19

    Die Qualität der im theoretischen Unterricht verwendeten Medien (Präsentationen, Filme, Skizzen, etc.) war gut.

    MFE-Sr (Thielsch & Hirschfeld, 2012)

    Die Qualität der in der Vorlesung verwendeten Medien (Folien, Filme, Skizzen, etc.) war gut.

    20

    Lehrmaterialien (Bücher, Hefte, Arbeitsblätter, etc.) für den theoretischen Unterricht waren ausreichend und in guter Qualität vorhanden.

    FEVOR (Staufenbiel, 2000)

    Die Hilfsmittel zur Unterstützung des Lernens (z. B. Literatur, Skript, Folien) sind ausreichend und in guter Qualität vorhanden.

    21

    Fahrzeuge, Geräte und Ausrüstung waren ausreichend und in guter Qualität vorhanden.

    FEVOR (Staufenbiel, 2000)

    Die Hilfsmittel zur Unterstützung des Lernens (z. B. Literatur, Skript, Folien) sind ausreichend und in guter Qualität vorhanden.

    22

    Übungs- und Anschauungsmaterialien (Dummys, Schrottautos, etc.) waren ausreichend vorhanden.

    FEVOR (Staufenbiel, 2000)

    Die Hilfsmittel zur Unterstützung des Lernens (z. B. Literatur, Skript, Folien) sind ausreichend und in guter Qualität vorhanden.

    23

    Durch die Ausbildung kann ich besser auf Gefahren reagieren.

     

     

    24

    Durch die Ausbildung kann ich deutlich besser mit feuerwehrtechnischen Geräten und Fahrzeugen umgehen.

     

     

    25

    Ich fühle mich durch die Ausbildung auf meinen nächsten Einsatz sehr gut vorbereitet.

    FIRE (Schulte & Thielsch, in press)

    Ich fühle mich auf meinen nächsten Einsatz, den ich leiten werde, sehr gut vorbereitet.

    26

    Durch die Ausbildung kenne ich meine persönlichen Grenzen besser.

    FIRE (Schulte & Thielsch, in press)

    Durch meine Teilnahme am Lehrgang kenne ich meine persönlichen Grenzen besser.

    27

    Durch die praktischen Übungen in der Ausbildung habe ich die nötige Sicherheit gewonnen, in verschiedenen Einsätzen meine Aufgaben in der Feuerwehr zu übernehmen.

    FIRE (Schulte & Thielsch, in press)

    Durch die praktischen Übungen im Lehrgang habe ich die nötige Sicherheit gewonnen, einen Einsatz zu leiten.

    28

    Durch die Ausbildung wurde meine Teamfähigkeit verbessert.

    MFE-ZGr (Grötemeier & Thielsch, 2010a)

    Durch die Gruppenarbeiten wurde meine Teamfähigkeit verbessert.

    29

    Durch die Ausbildung konnte ich mein theoretisches Wissen deutlich erweitern.

    Robertz (2015)

    Ich konnte mein Wissen deutlich erweitern.

    Anmerkung. Alle Items wurden auf Grundlage der Ergebnisse von Studie I ausgewählt, umformuliert bzw. neu formuliert. Items ohne Angabe einer Quelle und eines Originalitems wurden basierend auf den Ergebnissen von Studie I neu formuliert.

     

    Der aus Studie II hervorgehende Fragebogenentwurf (bestehend aus 30 Items auf sechs Skalen) wurde in Studie III anhand einer neuen Stichprobe validiert. Dazu wurde auf Basis einer unabhängigen Stichprobe zum einen eine konfirmatorische Faktorenanalyse durchgeführt, um die angenommene Faktorenstruktur zu überprüfen. Darüber hinaus dienten bivariate Korrelationen zwischen den Skalen des Fragebogenentwurfs und ausgewählten Validierungskriterien zur umfassenden Beurteilung von Konstrukt- und Kriteriumsvalidität. Das Ergebnis von Studie III ist das finale FIRE-B mit 29 Items auf sechs Skalen plus vier optionalen Items.

     

    Stichproben

    An Studie I nahmen 13 Auszubildende, 4 Ausbilder und 4 Personen, die hauptsächlich eine steuernde Funktion in einer Feuerwehrschule innehaben, teil. Alle 21 Teilnehmer waren männlich. Die Altersspanne der Auszubildenden lag bei 18 bis 31 Jahren (M = 22.46; SD = 3.60), der Ausbilder bei 25 bis 49 Jahren (M = 34.00; SD = 10.52) und der Personen in steuernder Funktion bei 33 bis 46 Jahren (M = 37.50; SD = 5.80). Insgesamt 24 % der Teilnehmer gehörten der Berufsfeuerwehr an, 57 % der Freiwilligen Feuerwehr und 19 % sowohl der Berufsfeuerwehr als auch der Freiwilligen Feuerwehr. Im Mittel waren die Teilnehmer seit 4.50 Jahren bei der Berufsfeuerwehr (SD = 7.20) und seit 12.28 Jahren (SD = 8.36) bei der Freiwilligen Feuerwehr tätig. Die Befragung wurde von 48 % aller Teilnehmer in Bezug auf die Ausbildung bei der Berufsfeuerwehr beantwortet und von 52 % in Bezug auf die Ausbildung bei der Freiwilligen Feuerwehr. Studie I wurde web-basiert durchgeführt und war von Ende August bis Oktober 2017 online erreichbar. Die Teilnahme erfolgte auf freiwilliger und anonymer Basis, die Befragten erhielten als Kompensation nach Abschluss der Studien einen Ergebnisbericht.

     

    In Studie II setzte sich die Stichprobe für die Item- und explorative Faktorenanalyse aus 257 Personen (229 Männer, 26 Frauen, 2 keine Angabe) mit einer Altersspanne von 16 bis 51 Jahren (M = 25.75; SD = 6.48) zusammen. 37 % der TeilnehmerInnen waren (ehemalige) Auszubildende in der Ausbildung zur BrandmeisteranwärterIn bei der Berufsfeuerwehr und 63 % (ehemalige) Auszubildende in der Truppmann- oder Truppführerausbildung bei der Freiwilligen Feuerwehr. Von den Auszubildenden bei der Berufsfeuerwehr (n = 94) hatten 39 % die Ausbildung als BrandmeisteranwärterIn abgeschlossen. Von den Auszubildenden bei der Freiwilligen Feuerwehr (n = 163) waren 12 % in der Truppmannausbildung, 47 % zwischen der Truppmann- und Truppführerausbildung, 5 % in der Truppführerausbildung und 36 % hatten die Truppführerausbildung bereits abgeschlossen. 60 % der TeilnehmerInnen kamen aus Nordrhein-Westfalen, jeweils 7 % aus Baden-Württemberg und aus Niedersachsen und 6 % aus Bayern. Aus den übrigen Bundesländern kamen jeweils weniger als 5 % der TeilnehmerInnen. Zur Berechnung der Korrelationen im Rahmen der Itemanalysen sowie der explorativen Faktorenenanalyse wurden die fehlenden Werte der Items zur Ausbildungsevaluation mit dem Expectation-Maximization-Algorithmus imputiert. Es handelte sich dabei um die Items, bei denen die TeilnehmerInnen die Verweigerungsoption (nicht sinnvoll zu beantworten) ausgewählt hatten. Fehlende Werte traten bei 18 % der ProbandInnen auf. Insgesamt fehlten nur 0,5 % der Daten. Studie II wurde web-basiert durchgeführt und war von Januar bis Anfang März 2018 online erreichbar. Die Teilnahme erfolgte auf freiwilliger und anonymer Basis, die Befragten erhielten als Kompensation nach Abschluss der Studien einen Ergebnisbericht.

     

    Die Stichprobe in Studie III bestand aus N = 451 (414 Männer, 37 Frauen) Feuerwehrleuten im Alter zwischen 18 und 63 Jahren (M = 34.02; SD = 9.92). Die TeilnehmerInnen wurden dazu aufgefordert, die Ausbildung zu beurteilen, die sie zum Befragungszeitpunkt absolvierten beziehungsweise zuletzt absolviert hatten. Bei 24 % der Befragten handelte es sich dabei um die Brandmeisterausbildung bei der Berufsfeuerwehr. Weiterhin beurteilten 19 % die Truppmannausbildung und 33 % die Truppführerausbildung bei der Freiwilligen Feuerwehr. Eine sonstige Ausbildung, die auf Gemeinde- bzw. Kreisebene durchgeführt wird, war Beurteilungsgegenstand von 24 % der Stichprobe. Aus Nordrhein-Westfalen kamen 448 Personen. Jeweils eine befragte Person kam außerdem aus Baden-Württemberg, Niedersachsen und Sachsen-Anhalt. Studie III wurde web-basiert durchgeführt und war von Juli bis September 2018 online erreichbar. Die Teilnahme erfolgte auf freiwilliger und anonymer Basis. Die Befragten erhielten als Kompensation nach Abschluss der Studie III einen Ergebnisbericht und konnten zudem an der Verlosung eines Jahresabonnements einer feuerwehrspezifischen Zeitschrift teilnehmen.

     

    Itemanalysen und Itemkennwerte

    Die 51 Items der vorläufigen Fragebogenversion wurden vorrangig hinsichtlich ihrer Verteilung, der Antwortraten und Iteminterkorrelationen sowie auf Basis ihrer Korrelation mit dem Mittelwert von acht Items zum selbsteingeschätzten Kompetenzerwerb (alle sieben Items der oben dargestellten Skala Kompetenzerwerb sowie ein Item, das aufgrund inhaltlicher Redundanz nicht in das finale Instrument aufgenommen wurde) bewertet. Letztere Korrelation wurde als Hinweis für die inhaltliche Relevanz der Items sowie der Praktikabilität im Feedbackprozess betrachtet. Der Itempool konnte in dieser ersten Itemselektion auf 44 Items reduziert werden: Ein Item wurde aufgrund einer auffälligen Verteilung im Histogramm und einer niedrigen Korrelation mit dem selbsteingeschätzten Kompetenzerwerb sowie ein weiteres Item wegen einer hohen Iteminterkorrelation ausgeschlossen. Zudem wurden drei Items zur Überforderung in der Ausbildung nicht mitaufgenommen, da sie vergleichsweise hohe Mittelwerte und niedrige Standardabweichungen aufwiesen, nicht mit dem selbsteingeschätzten Kompetenzerwerb korrelierten und von einem Experten des IdF NRW als weniger relevant eingeschätzt wurden. Es wird empfohlen, ein Item als zusätzliches Einzelitem zur Erfassung der Überforderung zu nutzen (siehe oben, Item 30). Zwei Items wurden ausgeschlossen, da sie vergleichsweise hohe Mittelwerte und niedrige Standardabweichungen aufwiesen und für den Feedbackprozess möglicherweise problematisch sein könnten, da sie auf stabile Persönlichkeitseigenschaften der AusbilderInnen abzielten. Für eine detaillierte Darstellung der Ausschlussgründe siehe Streppel (2018)[1].

     

    Mit diesen 44 Items wurde eine explorative Faktorenanalyse (EFA; Hauptachsenanalyse mit obliquer Promax Rotation) und eine Trennschärfenanalyse durchgeführt. Der Kaiser-Meyer-Olkin Test zur Prüfung der Stichprobeneignung zeigte mit einem Wert von .94 eine sehr gute Stichprobeneignung zur Durchführung einer Faktorenanalyse an. Der Bartlett-Test auf Sphärizität wurde signifikant, χ2(946) = 7172.29, p < .001, und deutet damit ebenfalls auf eine gute Eignung der Daten hin. Die Faktoranzahl wurde aufgrund des Kaiser-Kriteriums (Eigenwerte > 1; Guttman, 1954; Kaiser & Dickmann, 1959), der Betrachtung des Screeplots (Cattell, 1966) und des Minimum-Average-Partial-Tests (MAP-Test; Velicer, 1976) bestimmt. Das Kaiser-Kriterium sprach für eine Lösung mit sieben Faktoren, die visuelle Inspektion des Screeplots sowie die Originalversion des MAP-Tests (Velicer, 1976) für sechs Faktoren und die revidierte Version des MAP-Tests (Velicer, Eaton & Fava, 2000) für fünf Faktoren. Das Kaiser-Kriterium tendiert generell dazu, die Faktoranzahl zu überschätzen (Moosbrugger & Schermelleh-Engel, 2008). Zudem erschienen nur die Lösungen mit fünf oder sechs Faktoren konzeptionell sinnvoll. Da die Lösung mit fünf Faktoren einen inhaltlich sehr breiten Faktor enthielt (Unterstützung, Förderung, Struktur & Didaktik), wurde die Lösung mit sechs Faktoren gewählt, die diesen Faktor in zwei Faktoren unterteilt (Unterstützung & Förderung, Struktur & Didaktik). Der erste Faktor (Eigenwert = 17.10) klärt 38.86 %, der zweite Faktor (Eigenwert = 2.67) 6.06 %, der dritte Faktor (Eigenwert = 2.35) 5.34 %, der vierte Faktor (Eigenwert = 1.80) 4.10 %, der fünfte Faktor (Eigenwert = 1.54) 3.50 % und der sechste Faktor (Eigenwert = 1.24) 2.83 % Varianz auf.

     

    Auf Grundlage der Ergebnisse der EFA wurde eine zweite Itemselektion vorgenommen, die zur Reduktion des Itempools auf 30 Items führte. Acht Items wurden aufgrund ihres Ladungsmusters (und in einigen Fällen aufgrund weiterer Kriterien) ausgeschlossen: Fünf Items wurden aufgrund niedriger Ladungen < .5 oder Doppelladungen > .3 entfernt. Zwei Items wurden aufgrund vergleichsweiser niedriger Ladungen ≤ .54 und niedrigen Korrelationen mit dem mittleren selbsteingeschätzten Kompetenzerwerb (r ≤ .27) ausgeschlossen. Ein Item wurde aufgrund einer Doppelladung (.32) und einer hohen Iteminterkorrelation (r = .68) ausgeschlossen. Hingegen wurden fünf Items mit geringen Ladungen < .4 und/oder Doppelladungen ≥ .3 aufgrund hoher Korrelation von r ≥ .5 mit dem mittleren selbsteingeschätzten Kompetenzerwerb als inhaltlich relevant angesehen und dementsprechend beibehalten. Die inhaltliche Relevanz der Items stellte somit das wichtigere Entscheidungskriterium dar. Des Weiteren wurden zwei Items aufgrund nur geringer bis moderater Korrelationen mit dem Kriterium (r ≤ .34) und vier Items aufgrund hoher Trennschärfen (rit .67) sowie hoher Iteminterkorrelationen (r ≥ .65), die auf die inhaltliche Redundanz der Items hindeuten können, ausgeschlossen. Hohe Trennschärfen wurden in diesem Fall als Ausschlussgrund gewählt, um Faktoren zu erhalten, die möglichst unterschiedliche Facetten des Konstrukts umfassen.

     

    Anschließend wurde eine erneute EFA (Hauptachsenanalyse, Promax-Rotation) mit den finalen 30 Items und sechs Faktoren berechnet, um die Faktorstruktur der optimierten Lösung zu erhalten (vgl. Beavers et al., 2013). Inhaltlich bildet in dieser EFA Faktor 1 den Kompetenzerwerb in der Ausbildung ab, Faktor 2 betrifft die Struktur der Ausbildung und die didaktischen Fähigkeiten der AusbilderInnen, Faktor 3 beschreibt die Qualität und Verfügbarkeit von Materialien und Räumlichkeiten, Faktor 4 die Unterstützung und Förderung der Auszubildenden durch die AusbilderInnen, Faktor 5 bezieht sich auf die Auszubildendengruppe und Faktor 6 betrifft schließlich den Praxisbezug in der Ausbildung (für Itemstatistiken siehe Tabelle 4). Das Instrument besteht damit aus der Outcome-Skala Kompetenzerwerb (Faktor 1), die auf die Folgen bzw. Wirkungen der Ausbildung fokussiert, und aus fünf Prozess-Skalen (Faktor 2-6), die eine Beurteilung der Durchführung und Umsetzung der Ausbildung ermöglichen (vgl. Döring & Bortz, 2016). Alle bis hierhin genannten Analysen wurden mit dem Programm IBM SPSS Statistics – Version 24 durchgeführt.


     

    Tabelle 4

    Mittelwerte, Standardabweichungen, Trennschärfen und Faktorladungen der 30 Items in Studie II

     

    M

    SD

    Trennschärfe

    Faktorladung

    Struktur & Didaktik

     

     

     

     

    Item 1a

    5.09

    1.54

    .72

    .97

    Item 1b*

    5.33

    1.45

    .65

    .84

    Item 2

    5.58

    1.16

    .68

    .57

    Item 3

    5.60

    1.10

    .68

    .50

    Item 4

    5.04

    1.56

    .68

    .43

    Item 5

    5.35

    1.22

    .69

    .42

    Item 6

    5.86

    1.15

    .67

    .42

    Unterstützung & Förderung

     

     

     

     

    Item 7

    5.77

    1.25

    .73

    .96

    Item 8

    5.74

    1.32

    .70

    .73

    Item 9

    5.40

    1.44

    .71

    .59

    Item 10

    5.63

    1.27

    .69

    .57

    Item 11

    5.80

    1.40

    .57

    .31

    Gruppe

     

     

     

     

    Item 12

    5.52

    1.16

    .68

    .76

    Item 13

    5.58

    1.07

    .67

    .75

    Item 14

    5.95

    1.17

    .64

    .72

    Praxis

     

     

     

     

    Item 15

    5.09

    1.42

    .60

    .55

    Item 16

    5.48

    1.43

    .64

    .55

    Item 17

    5.16

    1.49

    .63

    .53

    Material & Räumlichkeiten

     

     

     

     

    Item 18

    5.60

    1.44

    .63

    .77

    Item 19

    5.40

    1.42

    .65

    .71

    Item 20

    5.33

    1.71

    .59

    .68

    Item 21

    5.63

    1.52

    .54

    .67

    Item 22

    5.38

    1.64

    .58

    .59

    Kompetenzerwerb

     

     

     

     

    Item 23

    5.74

    1.14

    .70

    .82

    Item 24

    5.80

    1.41

    .70

    .79

    Item 25

    5.45

    1.34

    .70

    .77

    Item 26

    5.29

    1.59

    .63

    .73

    Item 27

    5.65

    1.24

    .66

    .72

    Item 28

    5.47

    1.36

    .60

    .67

    Item 29

    5.67

    1.46

    .62

    .57

    Anmerkung. *Item 1b wurde im Rahmen der CFA in Studie III aus dem finalen FIRE-B ausgeschlossen. Skala von 1 (stimme gar nicht zu) bis 7 (stimme voll zu), 248 ≤ N ≤ 257 (Mittelwerte und Standardabweichungen) bzw. N = 257 (Trennschärfen und Faktorladungen). Zur Berechnung der Trennschärfen und Faktorladungen wurde der Datensatz mit imputierten Werten genutzt.

     

    Die angenommene Fragebogenstruktur konnte in Studie III anhand einer konfirmatorischen Faktorenanalyse bestätigt werden (vgl. Abbildung 1). Die statistische Datenauswertung wurde mit RStudio (RStudio Team, 2016, Version 1.1.456) durchgeführt. Dabei wurde insbesondere auf die Pakete lavaan (Rosseel, 2012, Version 0.6.3), plyr (Wickham, 2011, Version 1.8.4), psych (Revelle, 2018, Version 1.8.10) und semPlot (Epskamp, 2017, Version 1.1) zurückgegriffen. Bei der Berechnung der konfirmatorischen Faktorenanalyse wurde ein robuster Maximum-Likelihood-Schätzer mit Huber-White-Standardfehlern und einer skalierten Teststatistik, die asymptotisch mit der Yuan-Bentler Teststatistik vergleichbar ist (MLR), verwendet (vgl. Steinmetz, 2015). Auffallend war eine hohe Korrelation zwischen Item 1 ("Ich finde, die Ausbildung war klar strukturiert.") und Item 1b ("Ich konnte in der Ausbildung den Ausbildungsablauf immer nachvollziehen.") der Skala Struktur & Didaktik. Nach inhaltlichen Überlegungen wurden die beiden Items als redundant beurteilt. Da Item 1a globaler und verständlicher erschien, wurde Item 1b aus dem Modell entfernt. Der Modell-Fit für den finalen FIRE-B mit 29 Items auf sechs Skalen ist nach Schermelleh-Engel, Moosbrugger, und Müller (2003) als gut (RMSEA = .05; SRMR = .04) bis akzeptabel (CFI = .95; TLI = .95) einzuordnen. Der c²-Test wurde signifikant (c²(362) = 585.12, p < .001), was bei großen Stichproben üblich ist (Tanguma, 2001). Im Verhältnis zu den Freiheitsgraden ist der c²-Wert jedoch als gut zu beurteilen (c²/df = 1.62). Die finale Version des FIRE-B besteht damit aus 29 Items (für Mittelwerte, Standardabweichungen und Faktorladungen siehe Tabelle 5, für Korrelationen der Skalen Tabelle 6).

     

    Abbildung 1. Ergebnisse der konfirmatorischen Faktorenanalyse. Berichtet werden standardisierte Koeffizienten.


     

    Tabelle 5
    Mittelwert, Standardabweichungen, Trennschärfen und Faktorladungen der 29 Items in Studie III

     

    M

    SD

    Trennschärfe

    Faktorladung

    Struktur & Didaktik

     

     

     

     

    Item 1

    5.22

    1.38

    .73

    .74

    Item 2

    5.33

    1.33

    .75

    .78

    Item 3

    5.58

    1.10

    .75

    .81

    Item 4

    5.39

    1.19

    .74

    .68

    Item 5

    5.93

    1.45

    .66

    .82

    Item 6

    5.22

    1.28

    .73

    .76

    Unterstützung & Förderung

     

     

     

     

    Item 7

    5.51

    1.26

    .72

    .76

    Item 8

    5.52

    1.28

    .74

    .79

    Item 9

    5.17

    1.35

    .73

    .79

    Item 10

    5.41

    1.31

    .72

    .78

    Item 11

    5.86

    1.17

    .65

    .69

    Gruppe

     

     

     

     

    Item 12

    5.41

    1.06

    .70

    .80

    Item 13

    5.37

    1.13

    .74

    .84

    Item 14

    5.82

    1.18

    .64

    .71

    Praxis

     

     

     

     

    Item 15

    5.11

    1.39

    .58

    .71

    Item 16

    5.33

    1.35

    .58

    .72

    Item 17

    5.17

    1.45

    .60

    .72

    Material & Räumlichkeiten

     

     

     

     

    Item 18

    5.36

    1.49

    .61

    .71

    Item 19

    5.12

    1.36

    .60

    .72

    Item 20

    4.96

    1.59

    .52

    .62

    Item 21

    5.26

    1.51

    .56

    .66

    Item 22

    5.15

    1.55

    .60

    .71

    Kompetenzerwerb

     

     

     

     

    Item 23

    5.74

    1.15

    .73

    .78

    Item 24

    5.74

    1.27

    .60

    .61

    Item 25

    5.48

    1.24

    .73

    .80

    Item 26

    5.21

    1.41

    .65

    .70

    Item 27

    5.60

    1.25

    .67

    .76

    Item 28

    5.21

    1.35

    .59

    .62

    Item 29

    5.80

    1.18

    .62

    .64

    Anmerkung. Skala von 1 (stimme gar nicht zu) bis 7 (stimme voll zu), 442 ≤ N ≤ 451.

     

    Tabelle 6

    Korrelationen zwischen den Skalen des FIRE-B

     

    Struktur & Didaktik

    Unterstützung & Förderung

    Gruppe

    Praxis

    Material & Räumlichkeiten

    Kompetenz-erwerb

    Struktur & Didaktik

     

    .75***

    .47***

    .62***

    .55***

    .64***

    Unterstützung & Förderung

    .77***

     

    .51***

    .57***

    .51***

    .60***

    Gruppe

    .48***

    .52***

     

    .53***

    .39***

    .47***

    Praxis

    .61***

    .53***

    .41***

     

    .48***

    .60***

    Material & Räumlichkeiten

    .58***

    .48***

    .27***

    .56***

     

    .41***

    Kompetenzerwerb

    .56***

    .53***

    .40***

    .53***

    .38***

     

    Anmerkung: ***p < .001 (zweiseitig). Werte oberhalb der Diagonale beruhen auf Daten der Studie II (N = 257), Werte unterhalb der Diagonale beruhen auf Daten der Studie III (N = 451).

     

     

    [1] Diese Arbeit kann bei Bedarf durch die Autoren als PDF zur Verfügung gestellt werden.

    Objektivität

    Gezielte Prüfungen der Objektivität fanden nicht statt. Objektivität ist eine Voraussetzung für die Reliabilität und die Reliabilität wiederum eine Voraussetzung für die Validität. Im Umkehrschluss heißt dies auch, dass gefundene Reliabilitätswerte für eine objektive Anwendbarkeit des Verfahrens (bei standardisierter Vorgabe und Einhaltung der Auswertungs- und Interpretationshinweise) sprechen.

     

    Reliabilität

    Tabelle 7

    Cronbachs Alpha der Skalen

    Skala

    Cronbachs Alpha

    (Studie II)

    Cronbachs Alpha

    (Studie III)

    McDonalds ωH

    (Studie III)

    Struktur & Didaktik

    .88

    .89

    .89

    Unterstützung & Förderung

    .86

    .88

    .88

    Gruppe

    .81

    .83

    .83

    Praxis

    .78

    .76

    .76

    Material & Räumlichkeiten

    .81

    .80

    .80

    Kompetenzerwerb

    .87

    .87

    .88

     

    Die interne Konsistenz der Skalen kann insgesamt als ausreichend bis gut angesehen werden (s. Tabelle 7). Dies gilt insbesondere, da Auswertungen nur auf Ebene einer entsprechend großen Teilnehmergruppe empfohlen sind (siehe Auswertungshinweise).

     

    Validität

    Es kann von einer guten Inhaltsvalidität des FIRE-B ausgegangen werden, da der Entwicklung des Itempools durch Studie I ein klares Verständnis über die Merkmale einer guten Ausbildung zugrunde lag und in Studie II nur sehr wenige TeilnehmerInnen trotz expliziter Aufforderung inhaltliche Ergänzungen zum Fragebogen machten. Dies wurde als Hinweis auf die inhaltliche Vollständigkeit des Itempools aufgefasst.

     

    In Studie II wurden erste Validierungen durchgeführt, die einen explorativen Charakter hatten. Die Kriteriumsvalidität wurde durch Korrelationen der Prozess-Skalen Struktur & Didaktik, Unterstützung & Förderung, Gruppe, Praxis und Material & Räumlichkeiten mit zwei Items zum Globalurteil (subjektiver Lernerfolg, globale Benotung auf einer Schulnotenskala) betrachtet. Zur Überprüfung der divergenten Validität wurde die Stimmung der TeilnehmerInnen mit der fünfstufigen Smiley-Skala von Jäger (2004) erfasst. Zur Überprüfung der konvergenten Validität wurde die Subskala berufliches Commitment affektiv (sieben Items; α = .91) des Fragebogens Commitment Organisation, Beruf und Beschäftigungsform (COBB, Felfe, Six, Schmook, & Knorz, 2014) eingesetzt. Die Skala wurde leicht modifiziert, sodass sie auch für ehrenamtliche Tätigkeiten einsetzbar ist (α = .95 in der Stichprobe von Studie II).

    In Studie III dienten bivariate Korrelationen zwischen den Skalen des Fragebogenentwurfs und ausgewählten Validierungskriterien einer umfassenderen Beurteilung von Konstrukt- und Kriteriumsvalidität. Im Gegensatz zu Studie II wurden in die Stichprobe von Studie III auch Personen eingeschlossen, deren beurteilte Ausbildung länger als sechs Monate zurücklag. Um dennoch eine möglichst gute Passung zwischen Stichprobe und Zielpopulation sicherzustellen, wurden zur Validierung partielle Korrelationskoeffizienten nach Pearson berechnet, die für den Einfluss vom Zeitpunkt des Ausbildungsbeginns kontrollieren. Alle Korrelationen wurden nach Cohen (1992) mit r = ≥ .10 als klein, mit r = ≥ .30 als moderat und mit r = ≥ .50 als hoch beurteilt.

     

    Für die Untersuchung konvergenter Konstruktvalidität in Studie III wurden Zusammenhänge zwischen den FIRE-B-Skalen und konstruktverwandten Skalen aus bewährten Lehrevaluationsinstrumenten sowie aus Validierungsstudien zum FIRE untersucht (s. Tabelle 8). So wurden erstens zur Validierung der Skala Struktur & Didaktik sechs Items der Skala Struktur & Didaktik (α = .90) aus dem TRIL (Gläßer et al., 2002) verwendet, zweitens für die Skala Unterstützung & Förderung drei Items der Skala Dozentenmanagement (α = .84) des HILVE II (Rindermann, 2009) sowie drittens zur Validierung der Skala Gruppe drei Items, die auch zur Validierung der Gruppenskala des FIRE verwendet wurden (Schulte & Thielsch, in press). Diese drei Items erfassen den Zusammenhalt innerhalb einer Ausbildungsgruppe. In Anlehnung an eine weitere Validierungsstudie zum FIRE von Olde lütke Beverborg (2017) wurden viertens vier Items zur Validierung der Skala Praxis verwendet (α = .80). Diese vier Items erfassen den durch Einsatzübungen bedingten Lernerfolg sowie die Realitätsnähe solcher Übungen. Fünftens diente eine Frage zur Quantität und Qualität der Ausrüstung und der Materialien aus dem FEPRA (Staufenbiel, 2000) zur konvergenten Validierung der Skala Material & Räumlichkeiten. Nicht zuletzt wurde sechstens mit jeweils zwei Items der Skalen Lernen-quantitativ (α = .85) und Lernen-qualitativ (α = .74) aus dem HILVE II (Rindermann, 2009) die Skala Kompetenzerwerb validiert. Erwartet wurden jeweils hohe positive Korrelationen dieser Validierungskriterien mit den FIRE-B-Skalen.

     

    Demgegenüber wurden im Sinne einer divergenten Validierung keine oder geringe Zusammenhänge zwischen den FIRE-B-Skalen und der aktuellen Stimmung der TeilnehmerInnen, dem Bildungsgrad der TeilnehmerInnen sowie der Erfahrung der TeilnehmerInnen erwartet (s. Tabelle 9). So handelt es sich dabei um Bias-Variablen, also Konstrukte, die die Beurteilung der Ausbildungsqualität beeinflussen könnten, eigentlich aber keinen Einfluss auf diese haben (Marsh & Roche, 1997; Spiel, 2001). Die aktuelle Stimmung wurde (wie in Studie II) über eine fünfstufige Smiley-Skala (Jäger, 2004) und der Bildungsgrad über den höchsten erreichten Schulabschluss erfasst. Darüber hinaus wurde über zwei weitere Items der Erfahrungswert in der feuerwehrtechnischen Arbeit ermittelt. Einerseits gehörte dazu die Abfrage von Vorerfahrungen, zum Beispiel durch die vorherige Mitgliedschaft in einer Jugendfeuerwehr. Andererseits wurde die monatliche Einsatzerfahrung ("Wie viele Einsätze absolvieren Sie bei der Berufsfeuerwehr / Freiwilligen Feuerwehr durchschnittlich pro Monat?" mit offenem Antwortformat) abgefragt.

     

    Hinsichtlich der konkurrenten Kriteriumsvalidierung wurde untersucht, ob die Scores auf allen FIRE-B-Skalen die globale Zufriedenheit der TeilnehmerInnen mit der Ausbildung und ihren Lernerfolg vorhersagen (s. Tabelle 9). Zur Erfassung der globalen Zufriedenheit wurden drei Items verwendet. Zwei dieser Items waren über das siebenstufige Antwortformat mit Verweigerungsoption beantwortbar: erstens das Item "Alles in allem hat sich der Besuch dieser Ausbildung für mich gelohnt." aus dem TRIL (Gläßer et al., 2002) sowie zweitens das Item "Ich würde die Ausbildung einem guten Bekannten weiterempfehlen." in Anlehnung an den MFE-Sr (Thielsch & Hirschfeld, 2012). Ein weiteres Item forderte die TeilnehmerInnen dazu auf, die Feuerwehrausbildung auf einer Schulnotenskala (1 = sehr gut; 6 = ungenügend) zu bewerten (vgl. FEVOR/FESEM; Staufenbiel, 2000). Des Weiteren wurde der subjektive Lernerfolg mit dem Einzelitem "Ich habe in der Ausbildung sehr viel gelernt" aus dem KIEL (Gediga et al., 2000) über das siebenstufige Antwortformat mit Verweigerungsoption erfasst. Zur weiteren konkurrenten Validierung der FIRE-B-Items wurde erfragt, ob TeilnehmerInnen die bewertete Basisausbildung direkt, nach einer Nachprüfung, gar nicht oder noch nicht bestanden haben.


     

    Tabelle 8

    Korrelationen zwischen den einzelnen FIRE-B-Skalen und konvergenten Validierungsindikatoren in Studie III

    Variable

    Struktur & Didaktik

    Unterstützung & Förderung

    Gruppe

    Praxis

    Material & Räumlichkeiten

    Kompetenz-erwerb

    Struktur u. Didaktik (TRIL)

    .81***

    .72***

    .44***

    .62***

    .60***

    .57***

    Dozentenmanage-ment (HILVE II)

    .76***

    .88***

    .52***

    .54***

    .46***

    .55***

    Gruppe (FIRE-Validierung)

    .39***

    .44***

    .52***

    .32***

    .19***

    .43***

    Einsatzübungen (FIRE-Validierung)

    .59***

    .55***

    .41***

    .78***

    .48***

    .62***

    Ausrüstung u. Material (FEPRA)

    .50***

    .38***

    .27***

    .46***

    .79***

    .31***

    Lernen-quantitativ (HILVE II)

    .57***

    .54***

    .40***

    .42***

    .35***

    .78***

    Lernen-qualitativ (HILVE II)

    .56***

    .52***

    .40***

    .45***

    .34***

    .75***

    Anmerkung. *p < .05, **p < .01, ***p < .001 (zweiseitig). N = 451.

     

    Konvergente Validität

    Ein Zusammenhang der Evaluation mit affektivem beruflichen Commitment ließ sich in Studie II für Auszubildende der Freiwilligen Feuerwehr (.17 ≤ r ≤ .38, p < .05) nachweisen. Für Auszubildende der Berufsfeuerwehr lagen die Korrelationen rein deskriptiv niedriger (.09 ≤ r ≤ .23, zum Teil nicht signifikant). Dies deutet darauf hin, dass die Ausbildung bei der Berufsfeuerwehr und der Freiwilligen Feuerwehr eine unterschiedliche Funktion einnimmt.

     

    In Studie III zeigten sich für alle FIRE-B-Skalen durchweg hohe positive Korrelationen mit den jeweiligen konstruktverwandten Validierungsskalen (s. Tabelle 8; r = .81, p < .001 zwischen der Skala Struktur & Didaktik des FIRE-B und der Skala Struktur & Didaktik des TRIL; r = .88, p < .001 zwischen der Skala Unterstützung & Förderung des FIRE-B und der Skala Dozentenmanagement des HILVE II; r = .52, p < .001 zwischen der Skala Gruppe des FIRE-B und den Validierungsitems für die Skala Gruppe des FIRE; r = .78, p < .001 zwischen der Skala Praxis des FIRE-B und den Validierungsitems für die Skala Einsatzübung des FIRE; r = .79, p < .001 zwischen der Skala Material & Räumlichkeiten des FIRE-B und der Frage zur Quantität & Qualität der Ausrüstung und der Materialien aus dem FEPRA; r = .77, p < .001 zwischen der Skala Kompetenzerwerb des FIRE-B und der Skala Lernen-quantitativ aus dem HILVE II; r = .75, p < .001 zwischen der Skala Kompetenzerwerb des FIRE-B und der Skala Lernen-qualitativ aus dem HILVE II). Alle FIRE-B Skalen korrelierten zudem positiv mit Skalen zur Validierung jeweils anderer FIRE-B-Skalen. Diese fielen jedoch (teilweise deutlich) geringer aus (z. B. r = .33, p < .001 zwischen der Skala Kompetenzerwerb des FIRE-B und der Frage zur Quantität und Qualität der Ausrüstung und der Materialien aus dem FEPRA). Insgesamt sprechen die Ergebnisse für konvergente Validität des FIRE-B.

     

    Divergente Validität

    In Studie II hing die Stimmung der Teilnehmer nicht in hohem Maß mit der Beurteilung der Ausbildung zusammen (.23 ≤ r ≤ .34, p < .001), sodass die Evaluationsergebnisse von der Stimmung abzugrenzen sind. Vergleichbare Korrelationen wurden bei der Validierung des zugrundeliegenden FIRE gefunden (Schulte & Thielsch, in press). In Studie III korrelierte die aktuelle Stimmung durchweg signifikant aber entsprechend der Annahme nur in kleinem Ausmaß mit den FIRE-B Skalen (.12 ≤ r ≤ .23, p <.01). Für den Bildungsgrad der Teilnehmer zeigten sich kleine und nur teilweise signifikante Zusammenhänge mit den FIRE-B Skalen (-.17 ≤ r ≤ -.05, p zwischen <.001 und .31). Im Hinblick auf die Dauer der Vorerfahrung in der feuerwehrtechnischen Arbeit, zum Beispiel durch die vorherige Mitgliedschaft in einer Jugendfeuerwehr, lagen durchweg kleine, teilweise nicht signifikante Korrelationen vor (-.10 ≤ r ≤ -.02; .09 ≤ p ≤ .74). Auch die monatliche Einsatzerfahrung in Berufsfeuerwehr und Freiwilliger Feuerwehr hing nur geringfügig mit der Beurteilung der FIRE-B-Skalen zusammen (-.05 ≤ r ≤ .09, .05 ≤ p ≤ .95). Alle Ergebnisse deuten auf divergente Validität des FIRE-B hin.

     

    Kriteriumsvalidität

    Die Beurteilungen der Ausbildung auf den fünf Prozess-Skalen des FIRE-B zeigten in Studie II mittlere bis hohe Zusammenhänge mit dem subjektivem Lernerfolg (.33 ≤ r ≤ .53, p < .001) sowie der globalen Benotung der Ausbildung (.40 ≤ r ≤ .72, p < .001).In Studie III zeigten sich moderate bis große Korrelationen der FIRE-B-Skalen mit der vergebenen Schulnote (.42 ≤ r ≤ .75, p < .001). Darüber hinaus gab es moderate bis große hochsignifikante Zusammenhänge mit den weiteren Items zur Erfassung der Gesamtzufriedenheit (.42 ≤ r ≤ .69, p < .001). Hinsichtlich des Lernerfolgs sind moderate bis hohe hochsignifikante Korrelationen zwischen den FIRE-B-Skalen und dem subjektiven globalen Lernzugewinn zu vermerken (.41 ≤ r ≤ .75, p < .001). Zusammenhänge zwischen den Evaluationsergebnissen und dem Bestehen der Prüfung konnten wegen fehlender Varianz in den Daten nicht sinnvoll untersucht werden. So wurde die Prüfung von 99 % der Befragten direkt, von nur 1 % nach einer Nachprüfung und von keiner Person gar nicht bestanden. Alle übrigen Ergebnisse untermauern die Kriteriumsvalidität des FIRE-B.


     

    Tabelle 9

    Korrelationen zwischen den einzelnen FIRE-B-Skalen und divergenten (Stimmung bis Einsatzerfahrung) und kriterienbezogenen (Gesamturteile und Lernerfolg) Validierungsindikatoren in Studie III

    Variable

    Struktur & Didaktik

    Unterstützung & Förderung

    Gruppe

    Praxis

    Material & Räumlichkeiten

    Kompetenzerwerb

    Stimmung

    -.21***

    -.23***

    -.16***

    -.17***

    -.14**

    -.21***

    Bildungsgrada

    -.11*

    -.12**

    -.06

    -.04

    -.11*

    -.17***

    Vorerfahrung (Dauer)

    -.09

    -.12*

    -.04

    -.06

    -.08

    -.01

    Einsatzerfahrung

    -.00

    -.01

    -.04

    -.00

    -.06

    -.09*

    Gesamturteil Schulnote

    (rekodiert)

    -.75***

    -.64***

    -.42***

    -.61***

    -.52***

    -.58***

    Gesamtzufriedenheit

    -.67***

    -.64***

    -.47***

    -.54***

    -.42***

    -.69***

    Subjektiver

    Lernerfolg

    -.63***

    -.58***

    -.41***

    -.49***

    -.40***

    -.75***

    Anmerkung. *p < .05, **p < .01, ***p < .001 (zweiseitig). a = Spearman-Rangkorrelation. N = 451.

     

    Deskriptive Statistiken (Normierung)

    Die Skalen weisen eine leicht schiefe Verteilung auf. Die Mittelwerte und Standardabweichungen der Skalen finden sich in Tabelle 10. Basis dieser Tabelle ist die Kombination der Daten aus Studie II und III. Die Interkorrelationen der Skalen liegen im mittleren bis hohen Bereich und finden sich in Tabelle 6.

     

    Tabelle 10

    Deskriptive Statistiken für die FIRE-B-Skalen

    FIRE-B-Skala

    M

    SD

    Schiefe

    Kurtosis

    Struktur & Didaktik

    5.33

    1.04

    -0.88 (0.09)

    0.94 (0.19)

    Unterstützung & Förderung

    5.57

    1.05

    -1.12 (0.09)

    1.65 (0.19)

    Gruppe

    5.59

    0.97

    -1.08 (0.09)

    1.66 (0.18)

    Praxis

    5.22

    1.17

    -0.81 (0.09)

    0.37 (0.18)

    Material & Räumlichkeiten

    5.27

    1.15

    -0.76 (0.09)

    0.29 (0.19)

    Kompetenzerwerb

    5.56

    0.99

    -1.09 (0.09)

    1.41 (0.19)

    Anmerkung. Skala von 1 (stimme gar nicht zu) bis 7 (stimme voll zu). Es wurden Daten aus Studie II und III kombiniert, 686 ≤ N ≤ 703; in Klammern stehen die Standardabweichungen von Schiefe und Kurtosis.

     

    Nebengütekriterien

    Die Testökonomie kann bezüglich des zeitlichen Aufwands als gut eingeschätzt werden. Mit 29 Items ist das FIRE-B in etwa vier bis fünf Minuten zu bearbeiten. Dennoch werden mit sechs Skalen umfassend verschiedene Aspekte der Ausbildung beurteilt. Auch die Nützlichkeit kann als hoch eingeschätzt werden. So konnte in Literaturrecherchen kein wissenschaftlich entwickeltes publiziertes Evaluationsinstrument für die feuerwehrtechnische Ausbildung auf Gemeinde- und Kreisebene gefunden werden, das eine Alternative darstellen könnte. Zudem haben die Ergebnisse praktische Relevanz, da aus den Evaluationsergebnissen der aktuelle Qualitätsstand der feuerwehrtechnischen Ausbildung ersichtlich wird und konkrete Maßnahmen zur Verbesserung der Ausbildung abgeleitet werden können.

     

     

    Weiterführende Literatur

    Schulte, N., & Thielsch, M. T. (in press). Evaluation of firefighter leadership trainings. International Journal of Emergency Services. https://doi.org/10.1108/IJES-03-2018-0020

    Thielsch, M. T., Busjan, J. N., & Frerichs, K. (2018). Feedback-Instrument zur Rettungskräfte-Entwicklung – Prüfungen (FIRE-P) [Feedback instrument for rescue forces education - Examinations]. Zusammenstellung sozialwissenschaftlicher Items und Skalen. https://doi.org/10.6102/zis260

     

    Danksagung

    Die Autoren möchten sich beim Institut der Feuerwehr Nordrhein-Westfalen, insbesondere bei Yannick Ngatchou, Thomas Löchteken und Berthold Penkert, für die umfassende Unterstützung bei dieser Instrumentenerstellung bedanken. Carsten Hahn, Heinz Kamphausen und Ferdinand Hintz von der Feuerwehrschule Düsseldorf danken wir für den Einblick in die Basisausbildung und die Unterstützung bei der Rekrutierung der Studien I und II.