Open Access Repositorium für Messinstrumente

AkkordeonDetailedScaleViews

Feedback-Instrument zur Rettungskräfte-Entwicklung - Seminare und Tagesveranstaltungen (FIRE-ST)

  • Autor/in: Roeseler, S., Felske, H. & Thielsch, M. T.
  • In ZIS seit: 2020
  • DOI: https://doi.org/10.6102/zis281
  • Zusammenfassung: Das Feedback-Instrument zur Rettungskräfte-Entwicklung – Seminare und Tagesveranstaltungen (FIRE-ST) erfasst die Qualität der Fortbildung von Rettungskräften im Kontext von ein- bis dreitägigen Tagesv ... mehreranstaltungen. Das Instrument ist eine adaptierte Version des Feedback-Instruments zur Rettungskräfte-Entwicklung (FIRE, Schulte & Thielsch, 2019), einem Fragebogen für die Evaluation mehrwöchiger Ausbildungslehrgänge für Führungskräfte im Rettungswesen. Die Validierung des FIRE-ST fand mithilfe von Seminarteilnehmenden am Institut der Feuerwehr Nordrhein-Westfalen statt (N = 247). Konfirmatorische Faktorenanalysen legten drei Faktoren auf Ebene der Lernprozesse (Dozentenverhalten, Anforderungsniveau und Struktur) und zwei Faktoren auf Ebene der Lernoutcomes (Kompetenzerwerb undTransfer) nahe. Die Skalen zeigen eine akzeptable bis gute interne Konsistenz und es liegen eindeutige Hinweise auf Konstrukt- und Kriteriumsvalidität vor. weniger
    Abstract: The Feedback Instrument for Rescue Force Development – Seminars and One-day Events (FIRE-ST) measures the quality of the training of rescue forces in the context of one-day to three-day seminars and w ... mehrorkshops. This instrument is an adapted version of the Feedback Instrument for Rescue Force Development (FIRE, Schulte & Thielsch, 2019), which is a questionnaire for the evaluation of multi-week leadership training courses for rescue forces. The FIRE-ST was validated on basis of 247 firefighters who participated in seminars at the Institute of the North Rhine-Westphalia Fire Brigade (IdF NRW). Confirmatory factor analyses suggested three factors at the level of learning processes (trainer, overextensionand structure) as well as two factors at the level of learning outcomes (competence and transfer). The scales show an acceptable to good internal consistency and there are clear indications of construct and criterion validity. weniger
  • Sprache Dokumentation: deutsch
  • Sprache Items: deutsch
  • Anzahl der Items: 23
  • Erhebungsmodus: Paper & Pencil
  • Bearbeitungszeit: 3 bis 5 Minuten (Schätzwert der Autoren)
  • Reliabilität: Cronbachs Alpha ≥.74,McDonalds Omega≥.76
  • Validität: Hinweise auf faktorielle, Konstrukt- und Kriteriumsvalidität liegen vor
  • Konstrukt: Feedback zur Rettungskräfteentwicklung im Kontext von Tagesveranstaltungen (Dozentenverhalten, Anforderungsniveau, Struktur, Kompetenzerwerb und Transfer)
  • Schlagwörter: Feuerwehr, Evaluation, Ausbildung, Seminare | fire service, evaluation, training, seminars
  • Item(s) in Bevölkerungsumfrage eingesetzt: nein
  • URL Webseite: https://www.uni-muenster.de/OWMS/bfo/projekte/fire/
  • Entwicklungsstand: validiert
    • Instruktion

      Liebe/r Lehrgangsteilnehmer/in,

       

      wir schätzen es sehr, dass Sie an unserer Befragung teilnehmen. Indem Sie das Seminar hinsichtlich verschiedener Aspekte bewerten, helfen Sie uns, die Qualität der Lehre zu beurteilen und gegebenenfalls zu verbessern. Bitte kreuzen Sie hierzu bei jeder der folgenden Aussagen das Kästchen an, das den Grad Ihrer Zustimmung am besten beschreibt. Es gibt bei dieser Befragung keine richtigen oder falschen Antworten. Vielmehr interessieren wir uns für Ihre ganz persönliche Meinung.

       

      Bitte beachten Sie:

      -       Machen Sie hinter jeder Aussage jeweils nur ein Kreuz in einem der dafür vorgesehenen Kästchen (und niemals zwischen oder neben den Kästchen).

      -       Bitte lassen Sie keine Aussagen aus. Wenn eine Aussage für Sie nicht sinnvoll beantwortbar ist, können Sie uns dies durch ein Kreuz in dem entsprechenden Kästchen mitteilen.

      -       Aus Gründen der besseren Lesbarkeit wird an einigen Stellen nur die männliche Form (Dozent/Teilnehmer) verwendet. Die weibliche Form ist dabei jeweils miteingeschlossen.

      -       Ihre Teilnahme an der Befragung ist freiwillig und anonym.

       

      Bitte teilen Sie uns bei den folgenden Aussagen mit, wie sehr Sie diesen zustimmen:

       

       

      [Instruktion für Item 18-20]

       

      Bitte beantworten Sie den folgenden Teil nur, wenn Ihr Seminar praktische Anteile wie z.B. Einsatz- oder Planübungen enthielt.


       

       

      Items

      Tabelle 1

      Items des FIRE-ST

      Nr.

      Item

      Subskala

      1

      Der Dozent / Die Dozentin fasste schwierige Sachverhalte prägnant zusammen.

      Dozentenverhalten

      2

      Der Dozent / Die Dozentin gab nützliches Feedback.

      Dozentenverhalten

      3

      Der Dozent / Die Dozentin motivierte mich, mich einzubringen.

      Dozentenverhalten

      4

      Der Dozent / Die Dozentin war am Lernerfolg der Teilnehmer interessiert.

      Dozentenverhalten

      5

      Der sprachliche Ausdruck des Dozenten / der Dozentin war verständlich.

      Dozentenverhalten

      6

      Der Dozent / Die Dozentin kannte sich mit den Inhalten der Lehre sehr gut aus.

      Dozentenverhalten

      7

      Der Umfang der zu lernenden Inhalte hat mich überfordert.           

      Anforderungsniveau

      8

      Das Tempo der Stoffvermittlung war zu hoch für mich.

      Anforderungsniveau

      9

      Die Inhalte der Lehrveranstaltung waren zu schwierig für mich.

      Anforderungsniveau

      10

      Ich finde, die Lehrveranstaltung war klar strukturiert.

      Struktur

      11

      Ich konnte im Verlauf der Lehrveranstaltung die Gliederung immer nachvollziehen.

      Struktur

      12

      Ich finde, die Lehrveranstaltung gab einen guten Überblick über das Themengebiet.

      Struktur

      13

      Durch meine Teilnahme am Seminar gelingt es mir jetzt besser, Gefahrenlagen frühzeitig zu erkennen.

      Kompetenzerwerb

      14

      Durch meine Teilnahme am Seminar fällt es mir jetzt leichter, Entscheidungen in kritischen Situationen zu treffen.

      Kompetenzerwerb

      15

      Durch meine Teilnahme am Seminar kenne ich meine persönlichen Grenzen besser.

      Kompetenzerwerb

      16

      Durch meine Teilnahme am Seminar traue ich mir besser zu, in stressigen Situationen ruhig zu bleiben.

      Kompetenzerwerb

      17

      Durch meine Teilnahme am Seminar kann ich korrektere und verständlichere Anweisungen geben.

      Kompetenzerwerb

      18

      Ich fühle mich auf meinen nächsten Einsatz, den ich leiten werde, sehr gut vorbereitet.

      Transfer

      19

      Durch die praktischen Übungen im Seminar habe ich die nötige Sicherheit gewonnen, einen Einsatz zu leiten.

      Transfer

      20

      Ich kann das Gelernte auf meine Heimatstelle übertragen.

      Transfer

      21

      Ich würde dem Seminar folgende Schulnote geben:

      Globalurteil 1 (optional)

      22

      Ich würde dieses Seminar weiterempfehlen.

      Globalurteil 2 (optional)

      23

      Platz für weitere Anmerkungen (Hier können Sie noch Lob, Kritik oder Anregungen zur Ausbildung äußern):

      Feedback (optional)

      Anmerkung. Alle Items sind positiv gepolt.

       

      Antwortvorgaben

      Item 1-20:

      7-stufiges Antwortformat mit den Optionen 1 = stimme gar nicht zu, 2 = stimme nicht zu, 3 = stimme eher nicht zu, 4 = neutral, 5 = stimme eher zu, 6 = stimme zu, 7 = stimme vollkommen zu. Ein zusätzliches Feld bietet die Möglichkeit anzugeben, dass das jeweilige Item nicht sinnvoll beantwortbar sei.

      Item 21:

      Sechsstufiges Antwortformat mit den Optionen 1 = sehr gut, 2 = gut, 3 = befriedigend, 4 = ausreichend, 5 = mangelhaft und 6 = ungenügend.

      Item 22:

      Dichotomes Antwortformat mit den Optionen ja/nein.

      Item 23:

      Offenes Antwortformat

       

      Auswertungshinweise

      Generelle Hinweise

      Für eine Online-Befragung empfehlen wir, die Items 1-20 als Pflichtfragen vorzugeben. Es ist darauf zu achten, dass die Auswertung anonym erfolgt. Dementsprechend sollten keine demographischen Variablen erhoben werden, anhand derer Rückschlüsse auf einzelne Personen gezogen werden können. Um Anonymität zu gewährleisten, empfehlen wir zudem, eine Auswertung erst vorzunehmen, wenn mindestens acht ausgefüllte Fragebögen vorliegen (bzw. in Veranstaltungen mit mehr als 9 aber weniger als 15 Teilnehmenden mindestens 50% an der Befragung teilgenommen haben; vgl. Thielsch & Weltzin, 2013). Die Auswertung des FIRE-ST erfolgt in mehreren Schritten:

       

      Schritt 1: Punkte für einzelne Antworten vergeben

      Für jede Antwort einer Person auf ein Item werden Punkte vergeben. Es wird 1 Punkt vergeben für stimme gar nicht zu, 2 Punkte für stimme nicht zu, 3 Punkte für stimme eher nicht zu, 4 Punkte für neutral, 5 Punkte für stimme eher zu, 6 Punkte für stimme zu und 7 Punkte für stimme vollkommen zu. Bei der Antwort nicht sinnvoll beantwortbar werden keine Punkte vergeben und das betreffende Item wird in der weiteren Auswertung für diese Person ignoriert. Für alle Skalen sind hohe Werte erstrebenswert, ausgenommen die Items der Skala Anforderungsniveau. Bei letzterer sind eher niedrige bis mittlere Werte erstrebenswert, da hohe Werte auf dieser Skala für eine Überforderung der Lehrgangsteilnehmenden sprechen würden. Zur Vereinheitlichung der Rückmeldung können die Angaben auf der Skala Anforderungsniveau invertiert kodiert werden (1 Punkt für stimme vollkommen zu, [...], 7 Punkte für stimme gar nicht zu), sodass auf allen Skalen eine positive Evaluation des Lehrgangs mit hohen Punktwerten einhergeht. Wir empfehlen, Personen aus der Auswertung herauszunehmen, die drei Items oder mehr komplett auslassen. Eine hohe Anzahl von fehlenden Werten bzw. viele „nicht sinnvoll beantwortbar“-Angaben bei vielen Personen kann durch eine mangelnde Passung des Fragebogens in dem jeweiligen Evaluationskontext begründet sein (hier sollte dann zukünftig ein anderes, passenderes Evaluationsinstrument verwendet werden).

       

      Schritt 2: Itemmittelwerte berechnen

      In diesem Schritt werden für alle Items die Mittelwerte berechnet, indem pro Item alle Punkte addiert werden (Punktsumme eines Items über alle Antwortenden hinweg). Diese Summe wird dann durch die Anzahl der Lehrgangsteilnehmenden, die auf das jeweilige Item geantwortet haben, dividiert. An dieser Stelle ist darauf hinzuweisen, dass die Anzahl der Antworten nicht notwendigerweise der Anzahl der Lehrgangsteilnehmenden entsprechen muss. Dies ist dann der Fall, wenn eine oder mehrere Personen Items nicht beantwortet haben oder als nicht sinnvoll beantwortbar klassifiziert haben. Diese Angaben sind als fehlende Werte zu behandeln.

       

      Schritt 3: Skalenmittelwerte berechnen

      Zur Berechnung der Mittelwerte der einzelnen Skalen des FIRE-ST werden die Mittelwerte der Items auf der betreffenden Skala addiert und durch die Anzahl der Items auf dieser Skala dividiert (siehe auch Tabelle 2). Hinsichtlich der Schulnote (Item 21) empfehlen wir, statt des Mittelwertes den Median zu bestimmen oder eine Häufigkeitstabelle zu erstellen, da Schulnoten typischerweise Ordinalskalenniveau aufweisen, d.h. nicht gleichabständig verteilt sind.

      Bei Papierbefragungen sollten die offenen Angaben in Item 23 zunächst durch eine neutrale Person digitalisiert werden, damit Befragte nicht an der Handschrift erkannt werden können. Ist dies nicht möglich, so muss in der Befragung auf dieses Problem hingewiesen werden.

       

      Tabelle 2

      Berechnung der Mittelwerte der Fünf FIRE-ST-Skalen

      Skala

      Itemnummern

      Berechnung des Skalenmittelwerts

      Dozentenverhalten

      1, 2, 3, 4, 5, 6

       

      Anforderungsniveau

      7, 8, 9

      Struktur

      10, 11, 12

      Kompetenzerwerb

      13, 14, 15, 16, 17

      Transfer

      18, 19, 20

      Anmerkung.  bezeichnet die Itemmittelwerte aus Schritt 2. Items 21 bis 23 bilden keine eigenständigen psychometrischen Skalen.

        

      Schritt 4: Rückmeldung und Nutzung der Ergebnisse

      Grundsätzlich sollte der subjektive Charakter einer solchen Evaluation berücksichtigt werden. Ein Feedback aus der FIRE-ST-Evaluation ist für die Dozentinnen und Dozenten von Tagesveranstaltungen eine Chance, wichtige Informationen über die eigene Lehrtätigkeit aus Sicht der Veranstaltungsteilnehmenden zu erhalten. Wenn zeitlich möglich, empfiehlt sich eine Evaluationsbesprechung mit den Befragten abzuhalten. In diesem Rahmen können (falls bereits vorliegend) Ergebnisse des FIRE-ST besprochen und mögliche Missverständnisse geklärt werden. Insbesondere bei stark heterogenen Rückmeldungen hilft eine Besprechung, die unterschiedlichen Einschätzungen der Teilnehmenden nachzuvollziehen. Die Fragebögen eignen sich dabei auch zum Vergleich mit früheren gleichartigen Veranstaltungen oder zwischen verschiedenen Lehrkonzepten. Wenn keine eigenen Vergleichsdaten vorliegen, können die deskriptiven Statistiken in Tabelle 8 (siehe unten) als Orientierung dienen. Von Seiten der verantwortlichen Organisation sollte die Evaluation technisch, aber auch inhaltlich unterstützt werden. Dies umfasst insbesondere Hilfestellungen, falls Evaluationen wiederholt Verbesserungspotentiale aufzeigen sollten, sowie Belobigungen für qualitativ gute Unterrichtstätigkeit.

       

      Anwendungsbereich

       

      Der FIRE-ST ist ein schriftlicher Fragebogen zur Bewertung und Evaluation der Führungsausbildung im Rettungswesen. Er wurde speziell für Seminare und Tagesveranstaltungen konzipiert. Diese Veranstaltungen unterscheiden sich von Führungslehrgängen im Rettungswesen hinsichtlich ihrer Dauer (in der Regel Termine nur zwischen einem und drei Veranstaltungstagen, ohne Übernachtung vor Ort), Gruppengröße (bis zu 120 Teilnehmende) und Rolle der Dozentinnen und Dozenten (vergleichsweise viel Frontalunterricht und aktive Unterrichtsgestaltung durch Dozentinnen und Dozenten, teilweise weniger Gruppenübungen). Der FIRE-ST erfasst Qualitätsmerkmale, die unabhängig vom konkreten Format der Kurzveranstaltung für diese Lehrform relevant sind. Der Fragebogen wurde im Feuerwehrkontext entwickelt. Theoriegeleitet ist davon auszugehen, dass die Qualitätsmerkmale guter Ausbildungen in Organisationen des Rettungswesens vergleichbar sind. Dennoch ist es unabdingbar, die Inhaltsvalidität der Skalen im Hinblick auf die konkret zu evaluierende Tagesveranstaltung zu beurteilen. Beim FIRE-ST handelt es sich um ein Evaluationsinstrument, bei dem die Bewertung durch die Lehrgangsteilnehmenden am Ende der entsprechenden Veranstaltung erfolgt. Er kann im Paper-Pencil-Format oder als Online-Fragebogen durchgeführt werden. Die Entwicklung und Überprüfung erfolgte im Paper-Pencil-Format. Bei einer Durchführung als Online-Fragebogen empfehlen wir, die Items 1 bis 20 als Pflichtitems vorzugeben (bzw. die Items 1 bis 17, falls die Subskala Transfer nicht erhoben wird, s.u.).

       

      Die Items des FIRE-ST teilen sich in fünf Subskalen (Dozentenverhalten, Anforderungsniveau, Struktur, Kompetenzerwerb und Transfer) und drei weitere optionale Items auf (siehe Tabelle 1). Die Items der Skala Transfer sind jedoch nur geeignet für Veranstaltungen, die auch praktische Anteile enthalten. Dies sollte im Vorfeld der Erhebung geprüft werden. Optional sind die Items 21 bis 23 (Globalurteil und Feedback). Item 21 orientiert sich an vergleichbaren Items aus etablierten Evaluationsinstrumenten (bspw. FEVOR, Staufenbiel, 2000; KIEL, Gediga et al., 2000; MFE-Sr, Thielsch & Hirschfeld, 2012a). Die Items zum Globalurteil sollten nicht zu einem Gesamtmaß zusammengefasst werden. Hinsichtlich der Interpretation der Globalurteile sowie des offenen Feedback-Items schlagen wir vor, diese lediglich in Form einer allgemeinen Rückmeldung zu nutzen, beziehungsweise die offenen Anmerkungen erst bei einer hohen Zahl von vergleichbaren Nennungen als handlungsleitend heranzuziehen. Die optionalen Items können dazu beitragen, die Akzeptanz und die Kommunizierbarkeit der Evaluationsergebnisse innerhalb und außerhalb der Ausbildungsorganisation zu erleichtern. Sie sollten aber stets nur als Ergänzung zu den validierten und nach psychometrischen Maßstäben entwickelten Subskalen des FIRE-ST behandelt werden.

      Eine englische Übersetzung der Items ist im Feedback-Instrument zur Rettungskräfte-Entwicklung (FIRE, Schulte & Thielsch, 2019) zu finden. Schriftliche Prüfungen im Rettungswesen können mittels des FIRE-P (Thielsch, Busjan & Frerichs, 2018) bewertet werden. Für eine Evaluation der Basis-Ausbildungen im Rettungswesen für Personen ohne Führungsverantwortung steht der FIRE-B (Thielsch, Kläpker & Streppel, 2019) zur Verfügung.

       

    Die Ausbildung von Rettungskräften erfordert aufgrund zum Teil extremer Arbeitsbedingungen hohe Lehr- und Trainingsstandards. Dies gilt besonders für Führungskräfte im Rettungswesen. Ihre Entscheidungen beruhen auf der Einschätzung der Einsatzsituation unter Zeitdruck und bergen mitunter einen hohen Grad an sozialer Verantwortung. Im Bereich der Feuerwehr kann die Führungsqualifikation zum Führen von Gruppen, Zügen oder Verbänden in mehrwöchigen Ausbildungslehrgängen erlangt werden (FwDV 2, 2012). Zusätzlich sind die Führungskräfte angehalten, regelmäßig Fortbildungsseminare zu besuchen, die Themen wie zum Beispiel Feuerwehrtechnik, Katastrophenschutz oder Einsatznachbesprechungen thematisieren. Solche Veranstaltungen können sowohl in Form praxisorientierter Seminare mit kleineren Gruppen, als auch in Form von Fachvorträgen vor größerem Publikum stattfinden. Das Feedback-Instrument zur Rettungskräfte-Entwicklung (FIRE) von Schulte und Thielsch (2019) ist ein Instrument zur Evaluation mehrwöchiger Ausbildungslehrgänge, welches in Kooperation mit dem Institut der Feuerwehr Nordrhein-Westfalen (IdF NRW) entwickelt wurde. Beim hier vorliegenden FIRE-ST handelt es sich um eine Adaption des FIRE für oben beschriebene Seminare und Tagesveranstaltungen.

    Als theoretische Grundlage für die Beurteilung der Güte von Ausbildungsmaßnahmen führt Kirkpatrick (1976) ein Evaluationsparadigma ein, das ebenfalls zur Erfassung der Lehrqualität in Seminaren verwendet werden kann. Dieses differenziert zwischen vier Ebenen von Evaluationsurteilen: Reaktion, Lernen, Verhalten und Ergebnis. (1) Auf der Reaktionsebene wird eine erste, affektive Beurteilung hinsichtlich der Nützlichkeit des Seminars durch die Teilnehmenden abgegeben (Alliger et al., 1997). Hier verwendete Items messen die Einschätzung hinsichtlich lernförderlicher und lernhindernder Faktoren (Noe, 2017). (2) Die Ebene des Lernens ergibt sich durch eine direkte Ableitung aus den vordefinierten Trainingszielen. Für die Erfassung von Wissens-, Fertigkeits- und Einstellungserwerb werden häufig Leistungstests (Tamkin, Yarnall, & Kerrin, 2002) aber auch direkte Bewertungen (bspw. “Nach dem Seminar fällt es mir leichter Entscheidungen in kritischen Situationen zu treffen.”) eingesetzt (vgl. Kirkpatrick & Kirkpatrick, 2006). (3) Die dritte Ebene zeigt sich in einer direkten Änderung des Verhaltens im Arbeitskontext. Produktivitätskennzahlen sowie Leistungsevaluationen und Verhaltensbeobachtungen liefern wichtige Informationen in der Trainingsevaluation (Tamkin et al., 2002). (4) In der vierten Ebene wird ein Training ebenfalls hinsichtlich seines Ergebnisses evaluiert. Hierbei werden allerdings vor allem langfristige ökonomische Kennzahlen in Betracht gezogen, die als Folge der Trainingsmaßnahmen zu verzeichnen sind (Kirkpatrick, 1976).

    Es empfiehlt sich, erste Evaluationen zunächst auf die Reaktions- und Lernebene durchzuführen, bevor höhere Ebenen betrachtet werden (Kirkpatrick & Kirkpatrick, 2006). Diese sollten zwischen Urteilen hinsichtlich der Prozesse während des Unterrichts und den erzielten Outcomes differenzieren (vgl. Blanchard & Thacker, 2013; Schulte & Thielsch, 2019). Durch diese Dichotomie kann einerseits zwischen der Qualität des Ablaufs des Seminars und dem Erreichen der Trainingsziele andererseits differenziert werden. Implikationen für die Verbesserung und die Aufdeckung von verfehlten Lernoutcomes können ebenfalls abgeleitet werden (Schulte & Thielsch, 2019).

    Die Evaluation von Seminaren durch den FIRE-ST Fragebogen schließt sowohl Prozessurteile als auch Urteile über das Lern-Outcome ein. Diese fungieren als Feedback für Dozentinnen und Dozenten und geben einen Einblick in die Lernentwicklung der Seminarteilnehmenden. Basierend auf dem FIRE (Schulte & Thielsch, 2019; Schulte et al. 2019) wurde der FIRE-ST explizit auf das Konstrukt effektiver Lehre im Seminarkontext angepasst.

     

     

    Der FIRE-ST ist im Rahmen einer Kooperation des Instituts der Feuerwehr Nordrhein-Westfalen (IdF NRW) und der Organisations- und Wirtschaftspsychologie der Westfälischen Wilhelms-Universität Münster entstanden. Das IdF NRW ist die zentrale Ausbildungs- und Weiterbildungsstätte für Feuerwehrangehörige und Mitglieder von Krisenstäben des Landes NRW. Alle statistischen Analysen im Rahmen der Entwicklung und Validierung des FIRE-ST wurden mithilfe der Statistiksoftware RStudio (Version 1.2.5001) durchgeführt.

     

    Itemkonstruktion und Itemselektion

    Der FIRE-ST ist die für Tagesveranstaltungen adaptierte Version des FIRE-Fragebogens von Schulte und Thielsch (2019). Die Autoren konnten eine sechs-faktorielle Struktur mit vier Prozess- und zwei Outcomefaktoren für die Ausbildungslehrgänge für Gruppen- und Zugführer bestätigen. Diese sind bereits umfassend auf ihre Reliabilität und Validität geprüft. Im Rahmen der Recherche zu Tagesveranstaltungen ergaben sich einige konzeptionelle Abweichungen zu den Ausbildungslehrgängen, die es für die Validierung im Seminarkontext zu berücksichtigen galt. Tagesveranstaltungen und Seminare unterscheiden sich von Ausbildungslehrgängen hinsichtlich ihrer Länge, Zahl der Teilnehmenden und der Rolle des/der Dozenten/-in. Tagesveranstaltungen sind auf Termine an ein bis drei Tagen beschränkt und somit wesentlich kürzer als die üblicherweise mehrwöchigen Ausbildungslehrgänge der Führungskräfteausbildung der Feuerwehr. Ihr Aufbau erinnert teilweise an Universitätsvorlesungen, da Tagesveranstaltungen mit bis zu 120 Teilnehmenden von ausgewählten Dozentinnen und Dozenten gehalten werden. Ausbildungslehrgänge unterscheiden sich diesbezüglich durch ihre beschränkte Gruppengröße und praktischen Anteile, die ein hohes Maß an Interaktion zwischen den Teilnehmenden erfordern. Aufgrund ihrer Ähnlichkeit zur Lehre an Hochschulen (Schulte & Thielsch, 2019), kommt dem/der Dozenten/-in eine entscheidende Rolle in der Beurteilung von Tagesveranstaltungen zu. Gruppenprozesse treten aufgrund der kurzen Dauer und des theoriebasierten Curriculums der Seminare in den Hintergrund (Frey, 1978). Entsprechend verwendet der FIRE-ST Fragebogen eine erweiterte Version der FIRE-Dozentenskala (vgl. Schulte & Thielsch, 2019; Schulte et al., 2019), welche aus inhaltlichen Gründen um zwei ursprünglich ausgeschlossene Items ergänzt wurde. Sie berücksichtigt außerdem den Faktor Gruppe des FIRE-Fragebogens nicht. Es ergibt sich eine adaptierte Fragebogenversion, für die die fünf Faktoren Dozentenverhalten, Anforderungsniveau, Struktur, Kompetenzerwerb und Transfer angenommen werden. Die ersten drei Faktoren bilden Prozess-, die letzten beiden Outcomefaktoren ab. Die Formulierung der Items wurde ebenfalls entsprechend für Tagesveranstaltungen angepasst. Die Dozentenitems aus dem Originalfragebogen (Items 1-4) wurden entsprechend für einzelne Dozenten/-innen (und nicht mehr für Dozententeams) umformuliert. Die ergänzten Items 5 und 6 beziehen sich bereits auf einzelne Dozenten/-innen. Alle Items, die das Wort „Lehrgang“ enthielten, wurden entsprechend für den Seminarkontext umformuliert. (Items 13-17, 19, 21-22). Es wurde darauf geachtet, dass die Items keine rein feuerwehrspezifischen Inhalte erfassen, sondern prinzipiell auch bei Ausbildungen in anderen Organisationen wie Rettungsdiensten, Polizei und Militär eingesetzt werden können.

     

    Stichprobe

    Im Rahmen von 13 Seminaren für Führungskräfte am IdF NRW im Jahr 2018 wurden die Seminarteilnehmenden gebeten, an der Validierungsstudie teilzunehmen. Dabei wurden sowohl Seminare zu reinen Führungsthemen (100 – 120 Seminarplätze) als auch Veranstaltungen zu feuerwehrtechnischem Fachwissen (10 – 25 Seminarplätze) einbezogen. Die Teilnahme an der Studie war freiwillig und wurde nicht vergütet. Die Erhebung erfolgte im Paper-Pencil-Format. Insgesamt nahmen 258 Personen teil, von denen zehn wegen fehlender Einwilligung zur Nutzung der Daten aus den Analysen ausgeschlossen wurden. Eine weitere Person wurde ausgeschlossen, da sie den Fragebogen nur etwa zur Hälfte ausgefüllt hatte. Somit bestand die für die Analysen genutzte Stichprobe aus 247 Seminarteilnehmenden. Somit bestand die für die Analysen genutzte Stichprobe aus 247 Seminarteilnehmenden. Diese waren zwischen 23 und 60 Jahre alt (M = 41.80, SD = 8.76) und 96.36% von ihnen waren männlich. Diese Geschlechterquote kann als repräsentativ für das betrachtete Berufsfeld angesehen werden (Ministerium des Innern des Landes Nordrhein-Westfalen, 2019). Insgesamt gehörten 38 der Seminarteilnehmenden der Berufsfeuerwehr an, 160 der freiwilligen Feuerwehr und 46 gaben an, in beiden Bereichen tätig zu sein. Drei Teilnehmende machten keine Angabe zu ihrem Tätigkeitsbereich. Die mittlere Berufserfahrung lag bei 21.15 Jahren (SD = 9.67).

     

    Itemanalysen

    Die Faktorstruktur des adaptierten Fragebogens wurde mithilfe konfirmatorischer Faktorenanalysen (confirmatory factor analysis, CFA) an oben beschriebener Stichprobe validiert (vgl. Schulte & Thielsch, 2019). Hierzu wurde das R-Paket lavaan (Rosseel, 2012) mit Maximum-Likelihood-Schätzer (MLR) verwendet. Sowohl für das Prozessmodell als auch für das das Outcome-Modell wurde jeweils eine CFA durchgeführt. Für das Prozessmodell wurde eine dreifaktorielle Struktur mit den Faktoren Dozentenverhalten, Anforderungsniveau und Struktur angenommen. Bezüglich der Lernoutcomes wurde ein zweifaktorielles Modell mit den Faktoren Kompetenzerwerb und Transfer angenommen. Teilnehmende, die eines oder mehrere der jeweiligen Items ausgelassen oder mit „nicht beantwortbar“ bewertet hatten, wurden von den CFAs ausgeschlossen. Beim Prozessmodell waren dies 17 Teilnehmende, sodass die eingehende Stichprobengröße bei 230 lag. Die CFA ergab einen guten Fit (χ²(51) = 72.40, p = .026, χ²/df = 1.42, CFI = .99, TLI = .98, RMSEA = .04 [.02, .06], SRMR = .04). Alle Faktorladungen sind signifikant und akzeptabel in der Höhe (> .50 in der standardisierten Lösung), wie sie aus vorherigen Studien zu erwarten waren (Schulte & Thielsch, 2019). Die Ergebnisse der CFA sind in Abbildung 1 zu finden.

     

    Abbildung 1. Ergebnisse der konfirmatorischen Faktorenanalyse der Prozessskalen, standardisierte Koeffizienten. Alle Faktorladungen sind signifikant mit p < .001. N = 230.

     

    Beim Outcome-Modell mussten 99 Teilnehmende aufgrund fehlender Werte von der CFA ausgeschlossen werden. Die hohe Anzahl ging vor allem auf viele „nicht-beantwortbar“-Antworten bei Items zum Faktor Transfer zurück (z.B. Item 20: „Durch die praktischen Übungen im Seminar habe ich die nötige Sicherheit gewonnen, einen Einsatz zu leiten“). Dies legt nahe, dass in einigen der untersuchten Seminare keine praktischen Transferübungen durchgeführt worden waren. Auf Basis einer Stichprobengröße von 148 Teilnehmenden ergab sich für das Outcome-Modell ein nur teilweise akzeptabler Fit (χ²(19) = 58.54, p < .001, χ²/df = 3.08, CFI = .93, TLI = .90, RMSEA = .12 [.09, .15], SRMR = .05) (siehe Schermelleh-Engel et al. 2003). Modifikationsindizes legten das Hinzufügen einer Korrelation zwischen den Items 13 und 14 sowie 14 und 16 nahe. Der sich überschneidende Inhalt – die drei Items beziehen sich auf Stresssituationen – kann als plausible Ursache für einen solchen über die durch den Faktor Kompetenzerwerb erklärte Kovarianz hinausgehenden Zusammenhang angesehen werden. Das resultierende Modell reproduziert die Daten signifikant besser (χ²Diff(1) = 16.37, p < .001). Es ist in Abbildung 2 dargestellt. Die Fit-Indizes liegen im akzeptablen Bereich (χ²(17) = 36.05, p = .005, χ²/df = 2.12, CFI = .97, TLI = .95, RMSEA = .09 [.05, .12], SRMR = .05).

    Abbildung 2. Ergebnisse der konfirmatorischen Faktorenanalyse der Outcome-Skalen, standardisierte Koeffizienten. Alle Faktorladungen sind signifikant mit p < .001. N = 148.

     

    Itemkennwerte

    Eine Übersicht der Kennwerte der finalen Items findet sich in Tabelle 3.

     

    Tabelle 3

    Mittelwert und Standardabweichung der manifesten Items

     Item

    n

    M

    SD

    Trenn-

    schärfe

    Schiefe

    Kurtosis

    Subskala

    1

    246

    6.22

    0.72

    .74

    -1.23

    4.23

    Dozentenverhalten

    2

    241

    6.28

    0.74

    .73

    -1.55

    5.43

    Dozentenverhalten

    3

    240

    5.95

    0.92

    .62

    -1.16

    1.95

    Dozentenverhalten

    4

    242

    6.27

    0.76

    .77

    -1.46

    4.69

    Dozentenverhalten

    5

    247

    6.40

    0.75

    .71

    -1.66

    4.96

    Dozentenverhalten

    6

    247

    6.59

    0.68

    .65

    -3.05

    18.08

    Dozentenverhalten

    7

    247

    1.88

    1.22

    .73

    2.20

    5.43

    Anforderungsniveau

    8

    246

    1.74

    1.09

    .79

    2.45

    7.69

    Anforderungsniveau

    9

    247

    1.61

    0.94

    .75

    2.67

    10.21

    Anforderungsniveau

    10

    247

    6.17

    0.82

    .68

    -1.15

    2.28

    Struktur

    11

    247

    6.13

    0.85

    .67

    -1.09

    1.52

    Struktur

    12

    247

    6.23

    0.81

    .51

    -2.17

    9.78

    Struktur

    13

    221

    5.80

    1.03

    .59

    -1.18

    2.09

    Kompetenzerwerb

    14

    230

    5.82

    0.94

    .73

    -1.01

    1.57

    Kompetenzerwerb

    15

    215

    5.30

    1.23

    .65

    -0.68

    0.30

    Kompetenzerwerb

    16

    220

    5.48

    1.10

    .77

    -0.71

    0.21

    Kompetenzerwerb

    17

    224

    5.69

    0.98

    .68

    -0.91

    0.95

    Kompetenzerwerb

    18

    217

    5.83

    0.92

    .62

    -0.55

    -0.15

    Transfer

    19

    161

    5.60

    1.18

    .58

    -0.84

    0.59

    Transfer

    20

    243

    6.08

    0.90

    .48

    -1.44

    4.15

    Transfer

    Anmerkung. Skala von 1 = „stimme gar nicht zu“ bis 7 = „stimme vollkommen zu“. Es werden korrigierte Trennschärfen berichtet. Faktorladungen finden sich in Abbildungen 1 und 2. N = 247.

                                                                              

    Objektivität

    Bei der Konstruktion des FIRE-ST-Fragebogens wurden keine expliziten Objektivitätskriterien überprüft. Es kann davon ausgegangen werden, dass die Standardisierung des Fragebogens, das gebundene Antwortformat, die oben beschriebene Auswertungsmethode und die Angabe von Vergleichsdaten eine hohe Durchführungs-, Auswertungs- und Interpretationsobjektivität ermöglichen (siehe Deskriptive Statistiken).

     

     

    Reliabilität

    Reliabilitätskoeffizienten für alle FIRE-ST-Skalen sind Tabelle 4 zu entnehmen. Da mit Ausnahme der Skala Dozentenverhalten bei jeder Skala ein kongenerisches Messmodell vorliegt, ist McDonalds ωH in diesen Fällen jeweils der adäquate Koeffizient für die interne Konsistenz. Er wird äquivalent zu Cronbachs α interpretiert. Die Skalen Dozentenverhalten, Anforderungsniveau und Kompetenzerwerb weisen eine gute, Struktur und Transfer eine akzeptable Reliabilität auf.

     

    Tabelle 4

    Reliabilitätskoeffizienten und Messmodelltests für die FIRE-ST-Skalen

    Skala

    Cronbachs α

    McDonalds ωH

    Dozentenverhalten

    .89

    .89

    Anforderungsniveau

    .87

    .88

    Struktur

    .78

    .79

    Kompetenzerwerb

    .86

    .87

    Transfer

    .74

    .76

     

     

    Validität

     

    Inhaltsvalidität. Basierend auf Untersuchungen zu den Originalitems von Schulte und Thielsch (2019) und der Einschätzung von Verantwortlichen des IdF NRW ist von einer angemessenen inhaltlichen Validität aller Skalen ausgenommen der Transfer-Skala auszugehen. Die Transfer-Skala kann nur dann als inhaltlich valide betrachtet werden, wenn Lehrveranstaltungen praktische Anteile einschließen. Dies wird von Sommer und Njå (2011) darin begründet, dass Rettungskräfte praktische Ausbildungselemente als anwendungsorientierter bewerten als theoriebasierte Weiterbildungen.

     

    Konstruktvalidität. Aufgrund mangelnder alternativer publizierter Instrumente, die sich mit der Evaluation der Rettungskräfteausbildung befassen, fand die Konstruktvalidierung des FIRE-ST auf Basis theoretisch verwandter Konstrukte statt. Als konvergente Maße dienten Instrumente zur Evaluation von Trainings bzw. Hochschullehre, während Biasvariablen als divergente Maße erhoben wurden. Biasvariablen sind solche Variablen, die Einfluss auf die Einschätzung der Lehrqualität durch die Urteiler nehmen, tatsächlich aber nicht mit ihr in Zusammenhang stehen (Spiel, 2001). Eine spezifische Validierung der zusätzlichen Items (21 – 23) erfolgte nicht. Derartige Items zu Globalurteilen und offenem Feedback sind allerdings in etablierten Evaluationsinstrumenten typisch (vgl. z.B. FEVOR, Staufenbiel, 2000; KIEL, Gediga et al., 2000 oder MFE-Sr, Thielsch & Hirschfeld, 2012a).

     

    Konvergente Validität. Basierend auf der strukturell-didaktischen Nähe der Führungskräfteausbildung der Feuerwehr zur Hochschullehre wurden Evaluationsinstrumente aus der Hochschullehre für eine konvergente Validierung der FIRE-ST-Skalen verwendet: Beide Versionen des Heidelberger Inventar zur Lehrveranstaltungsevaluation (HILVE-I, Rindermann, 2001; HILVE-II, Rindermann, 2009) sowie das Training Evaluation Inventory (TEI; Ritzmann, Hagemann & Kluge, 2014). Die Skalen des TEI wurden hierfür zunächst in die deutsche Sprache übersetzt. Zur Validierung der FIRE-ST-Skala Dozentenverhalten wurde die HILVE-I-Subskala Lehrkompetenz eingesetzt. Die Struktur-Skala des HILVE-II fungierte als konvergentes Validitätsmaß für die gleichnamige Skala des FIRE-ST. Zur Validierung der Anforderungsniveau-Skala des FIRE-ST wurde die Unterskala wahrgenommene Schwierigkeit des TEI genutzt. Zur Validierung der Skala Kompetenzerwerb wurde die Unterskala subjektiver Wissenszuwachs des TEI verwendet. Die Transfer-Skala des FIRE-ST wurde anhand der TEI Skala wahrgenommene Nützlichkeit validiert. Tabelle 5 zeigt eine Übersicht der Korrelationen der FIRE-ST-Skalen mit den anderen Evaluationsinstrumenten sowie divergenten Validitätsmaßen. Zusammenfassend lassen sich positive, teils sehr hohe Korrelationen zwischen konvergenten Evaluationsmaßen und dem FIRE-ST-Fragebogen feststellen.

     

    Divergente Validität. Zur divergenten Validierung sind im Kontext der Lehrveranstaltungsevaluation Biasvariablen von besonderem Interesse. Erfasst wurden jeweils anhand eines Items das Ausmaß an grundsätzlicher Arbeitszufriedenheit (Item aus Scarpello & Campbell, 1983), Job Commitment und Absicht des Verbleibs in der Tätigkeit als Rettungskraft (beide Items aus Lee & Olshfski, 2002). Einige dieser Biasvariablen können als theoretisch nicht völlig unabhängig von einzelnen FIRE-ST-Skalen erachtet werden. Eine valide Beurteilung der Lehrqualität in Seminaren der Rettungskräfteausbildung sollte dennoch nicht systematisch durch diese Maße beeinflusst werden.

    Die Ergebnisse zeigen überwiegend kleine Zusammenhänge (zwischen r =.04, n.s., und .22, p < .001).

     

    Tabelle 5

    Validitätsmaße des FIRE-ST

     

     

    Dozenten-verhalten

    Anforderungs-

    niveau

    Struktur

    Kompetenz-

    erwerb

    Transfer

     

    n

    r

    n

    r

    n

    r

    n

    r

    n

    r

    Konvergente Maße:

     

     

     

     

     

     

     

     

     

     

    Lehrkompetenz
      (HILVE I)

    227

     .43***

    239

     .11

    240

     .40***

    190

     .25***

    155

     .34***

    Wahrgen.
      Schwierigkeit (TEI)

    230

     .64***

    242

    -.41***

    243

     .64***

    193

     .26***

    156

     .43***

    Struktur (HILVE-II)

    230

     .63***

    245

    -.24***

    246

     .79***

    196

     .45***

    157

     .49***

    Subj. Wissens-
      zuwachs (TEI)

    229

     .64***

    243

    -.27***

    244

     .64***

    195

     .62***

    157

     .69***

    Wahrgen.
      Nützlichkeit (TEI)

    186

     .33***

    198

    -.10

    199

     .25***

    159

     .24**

    128

     .41***

    Divergente Maße:

     

     

     

     

     

     

     

     

     

     

    Arbeitszufriedenheit

    225

     .17*

    240

    -.02

    241

     .15*

    190

     .12

    152

     .22**

    Job Commitment

    213

     .22***

    228

    -.10

    229

     .22***

    184

     .16*

    148

     .15

    Absicht zum Verbleib

    224

     .16*

    239

    -.01

    240

     .10

    189

     .04

    152

     .20*

    Kriterienbez. Maß:

     

     

     

     

     

     

     

     

     

     

    Benotung des
      Seminars
    †

    216

    .51***

    231

     -.27***

    232

    .46***

    184

    .28***

    148

    .45***

    Anmerkung. Paarweiser Ausschluss bei fehlenden Daten (= Frage ausgelassen oder als nicht beantwortbar beantwortet, auch bereits bei zur Bildung eines Skalenwerts notwendigen Items). † Zur besseren Interpretierbarkeit wurde die hier erhobene Schulnote umgepolt, hohe Werte entsprechen somit einer positiven Benotung des Seminars; aufgrund des angenommenen Ordinalskalenniveaus der Schulnotenskala werden Spearman-Korrelationen berichtet.
    *p < .05, **p < .01, ***p < .001. N = 247.

     

    Kriteriumsvalidität. Angelehnt an Schulte und Thielsch (2019) wurde die Kriteriumsvalidität anhand der Bewertung des Seminars auf einer Schulnotenskala (siehe oben, Item Nr. 21) untersucht. Die FIRE-ST-Skalen zeigen ähnlich wie die FIRE-Skalen bei Schulte und Thielsch (2019) deutliche Korrelationen mit der Benotung des Seminars durch die Teilnehmenden (siehe Tabelle 5). Ein dichotomes Item zur Weiterempfehlung des Seminars (siehe oben, Item Nr. 22) wurde aufgrund eingeschränkter Aussagekraft von der Analyse der Kriteriumsvalidität ausgeschlossen, da nur zwei Teilnehmende angaben, ein Seminar nicht weiterempfehlen zu wollen.

     

    Deskriptive Statistiken

    Tabelle 6 zeigt einen Überblick der deskriptiven Statistiken der Skalenwerte, die anhand der Stichprobe erhoben wurden. In die Berechnung gingen nur Teilnehmende ein, die jeweils alle zur Berechnung des Skalenwerts notwendigen Items beantwortet hatten.

     

    Tabelle 6

    Mittelwerte, Standardabweichungen, Schiefe und Kurtosis der FIRE-ST-Skalen

    FIRE-ST-Skala

    n

    M

    SD

    Schiefe

    Kurtosis

    Dozentenverhalten

    231

    6.28

    0.62

    -2.18

    11.34

    Anforderungsniveau

    246

    1.74

    0.97

    2.39

    8.28

    Struktur

    247

    6.18

    0.69

    -0.89

    1.86

    Kompetenzerwerb

    196

    5.66

    0.84

    -0.52

    0.14

    Transfer

    158

    5.88

    0.80

    -0.45

    -0.30

    Anmerkung. Die Beantwortung der Items erfolgte mit einem 7-stufigen Antwortformat mit 1 = stimme gar nicht zu bis 7 = stimme vollkommen zu. N = 247.

     

    Nebengütekriterien

    Die FIRE-ST-Skalen erlauben eine sehr zeit- und kostenökonomische Erfassung der Teilnehmendenurteile über die Qualität der Fortbildungen von Führungskräften im Rettungsdienst. Die Durchführungsdauer darf mit etwa drei bis fünf Minuten (Schätzwert der Autoren) als zumutbar sowohl für Dozentinnen und Dozenten als auch für Teilnehmende gelten. Es besteht die mit der Verwendung von Rating-/Likertskalen stets einhergehende Möglichkeit zur Verfälschung der Antworten. Um die Motivation zum ehrlichen Antworten zu erhöhen, sollte den Teilnehmenden in jedem Falle Anonymität zugesichert werden.

     

     

    Weiterführende Literatur

    Schulte, N. & Thielsch, M. T. (2019). Evaluation of Firefighter Leadership Trainings. International Journal of Emergency Services, 8, 34–49. https://doi.org/10.1108/IJES-03-2018-0020

    Thielsch, M. T., Busjan, J. N., & Frerichs, K. (2018). Feedback-Instrument-zur Rettungskräfte Entwicklung – Prüfungen (FIRE-P) [Feedback instrument for rescue force development – examinations (FIRE-P)]. Zusammenstellung sozialwissenschaftlicher Items und Skalen. https://doi.org/10.6102/zis260

    Thielsch, M. T., Kläpker, L., & Streppel, L. (2019). Feedback-Instrument zur Rettungskräfte-Entwicklung – Basisausbildung (FIRE-B) [Feedback instrument for rescue force development – basic training (FIRE-B)]. Zusammenstellung sozialwissenschaftlicher Items und Skalen (ZIS). https://doi.org/10.6102/zis266

     

    Danksagung

    Die Autoren möchten sich herzlich beim Institut der Feuerwehr Nordrhein-Westfalen (IdF NRW), insbesondere bei Yannick Ngatchou und Johannes Zündorf für die umfassende Unterstützung dieser Instrumentenerstellung bedanken; Sarah Weber danken für ihr Feedback zu früheren Versionen dieses Dokuments. Dank gebührt ebenso den weiteren Beteiligten in der Psychologie: Guido Hertel und Niklas Schulte.

    • Stefan Röseler, M.Sc., Westfälische Wilhelms-Universität Münster, Institut für Psychologie, E-Mail: stefan.roeseler@uni-muenster.de
    • Hannah Felske, M.Sc., Technische Universität Berlin, Fakultät Verkehrs- und Maschinensysteme, E-Mail: hannah-felske@hotmail.de
    • Prof. Dr. Dipl.-Psych. Meinald T. Thielsch, Westfälische Wilhelms-Universität Münster, Institut für Psychologie, E-Mail: thielsch@uni-muenster.de