1 Überblick

                                                                                                          

Zusammenfassung

Das Instrument soll anhand zwölf situativer Items (Szenarien) erfassen, wie effektiv eine Person als Mitglied eines Teams oder einer Arbeitsgruppe agieren kann. Grundlage für die Konstruktion des Tests bildeten aktuelle Übersichtsarbeiten zu teamarbeitsbezogenen Kenntnissen, Fähigkeiten und Fertigkeiten. Der Test wurde bewusst für eine möglichst breite Anwendbarkeit in verschiedenen Teamarbeitskontexten entwickelt. Erste empirische Befunde liefern Hinweise auf eine plausible zwei-faktorielle Teststruktur, eine für das Testformat übliche interne Konsistenz sowie zufriedenstellende Werte für Konstrukt- und Kriteriumsvalidität.

 

Zitierung

Gatzka, T. & Volmer, J. (2017). Situational Judgment Test für Teamarbeit (SJT-TA). Zusammenstellung sozialwissenschaftlicher Items und Skalen. doi:10.6102/zis249

Titel: Situational Judgment Test für Teamarbeit (SJT-TA)

Autor/in: Gatzka & Volmer

In ZIS seit: 2017

Anzahl der Items: 12

Reliabilität: .62 bis .69

Validität: Zufriedenstellende Hinweise auf faktorielle, Konstrukt- und Kriteriumsvalidität

Konstrukt: Teamarbeitsverhalten

Schlagwörter: Teamarbeit, Teamfähigkeit

Sprache Dokumentation: deutsch

Sprache Items: deutsch

Item(s) in Bevölkerungsumfrage eingesetzt: nein

Entwicklungsstand: validiert

2 Instrument

 

Instruktion

Nachfolgend werden 12 Situationen beschrieben, wie sie im beruflichen Alltag von Teams oder Arbeitsgruppen vorkommen können. Zu jeder Situation sind vier verschiedene Handlungsmöglichkeiten angegeben.

 

Bitte wählen Sie für jede Situation die jeweils beste und schlechteste Handlungsoption aus.

 

Möglicherweise fällt Ihnen die Entscheidung manchmal schwer, da bestimmte Details nicht angegeben sind, Sie bestimmte Situationen so noch nicht erlebt haben oder Sie einige Optionen für sehr ähnlich halten. Wählen Sie bitte dennoch die zwei Alternativen aus, die Sie allgemein für die beste bzw. schlechteste Lösung halten.

 

Machen Sie pro Situation bitte genau zwei Kreuze:

Markieren Sie die beste Lösung bitte jeweils im Feld ( + ) .

Markieren Sie die schlechteste Lösung bitte jeweils im Feld ( − ) .

 

Bitte lassen Sie keine Situation aus und markieren Sie immer beide Lösungen.

 

Bitte kreuzen Sie nicht dieselbe Antwort als beste und schlechteste Lösung an.

 

 

 

Beispiel

Ihr Team erhält eine Aufgabe, die sich grundlegend von der vorherigen unterscheidet und komplett neue Teilbereiche beinhaltet. Zudem ist abzusehen, dass mittelfristig noch weitere Aspekte hinzukommen oder wegfallen könnten.

Was sollte das Team in so einer Situation tun und was nicht?

a) Einige Mitglieder erhalten vorerst keine Aufgaben, um eine flexible Reserve zu bilden.

( + )

( X )

b) Jeder Aufgabe werden zunächst mehrere geeignete Teammitglieder zugewiesen.

( + )

( − )

c) Das Team bittet den übergeordneten Vorgesetzen um eine faire Zuweisung.

( + )

( − )

d) Es werden regelmäßige Treffen vereinbart, um Aufgaben je nach Bedarf zu verteilen.

( X )

( − )

 

Items

Situation

Items

Antwortvorgaben

1

Sie sind vorübergehend einigen privaten Belastungen ausgesetzt, die Sie auch in Ihrer beruflichen Tätigkeit beeinträchtigen. Ein anderes Teammitglied, mit dem Sie eher flüchtig bekannt sind, fragt Sie nach dem Grund Ihres Leistungsabfalls und ob Sie Unterstützung bei Ihrer Aufgabe brauchen.

Was sollten Sie in so einer Situation tun und was nicht?

a)   Sie bestätigen eine erhöhte private Belastung und gehen auf das Hilfsangebot ein.

b)   Sie gehen nicht weiter auf Ihre Probleme ein, nehmen die Unterstützung aber an.

c)   Sie schildern die genauen Umstände und bitten um Hilfe bei der Aufgabenbewältigung.

d)   Sie nehmen die Rückmeldung dankend auf, lehnen das Angebot aber höflich ab.

2

Die Zuständigkeiten und Verantwortungsbereiche in Ihrem Team sind klar festgelegt. Zufällig bemerken Sie jedoch, dass einige Kolleginnen und Kollegen aus einem anderen Aufgabenbereich eine fachliche Herausforderung bewältigen müssen, mit der Sie selbst bereits Erfahrung haben.

Was sollten Sie in so einer Situation tun und was nicht?

a)   Sie erzählen von Ihren Erfahrungen und bieten Ihre beratende Unterstützung an.

b)   Sie sprechen Ihr Fachwissen an und stellen Ihre tatkräftige Mithilfe in Aussicht.

c)   Sie fragen nach, ob und wann Erfahrungsberichte oder Ratschläge erwünscht sind.

d)   Sie respektieren die Zuständigkeiten und halten sich aus fremden Bereichen raus.

3

Als Ihr Team bei der Bearbeitung einer komplexen Aufgabe bereits weit fortgeschritten ist, kommt es zu einer unvorhergesehenen Entwicklung. Dadurch entsprechen die bisher mühsam erarbeiteten Ergebnisse nicht mehr vollständig dem aktuellsten Stand der Dinge.

Was sollte das Team in so einer Situation tun und was nicht?

a)   Die geringen Mängel werden aufgrund der weit fortgeschrittenen Arbeit hingenommen.

b)   Das Team fragt die Auftrag gebende oder vorgesetzte Person nach ihrer Einschätzung.

c)   Die Teammitglieder besprechen in einem Treffen unverzüglich mögliche Konsequenzen.

d)   Die Veränderungen werden durch intensive Mehrarbeit rückwirkend umgesetzt.

4

Bei einem anderen Teammitglied, das Sie bisher als kompetent und zuverlässig erlebt haben, fällt Ihnen eine plötzliche und andauernde Leistungseinbuße auf. Aus anderer Quelle erfahren Sie, dass diese Person momentan offenbar einige private Probleme hat.

Was sollten Sie in so einer Situation tun und was nicht?

a)   Sie beraten mit dem übrigen Team, wie man die Person unterstützen sollte.

b)   Sie respektieren die Privatsphäre und mischen sich nicht in fremde Angelegenheiten ein.

c)   Sie gehen der betroffenen Person zur Hand, ohne weiter nachzufragen.

d)   Sie fragen das Teammitglied, ob es erzählen möchte, was es belastet.

5

Während einer Besprechung unterhalten sich einige Teammitglieder über verschiedene Aspekte der Teamaufgabe. Ihr Verantwortungsbereich steht dabei nicht im Mittelpunkt. Daher halten Sie sich mit eigenen Gesprächsbeiträgen weitestgehend zurück.

Was sollten Sie in so einer Situation tun und was nicht?

a)   Sie bereiten sich gedanklich auf die Punkte vor, die Sie selbst noch ansprechen wollen.

b)   Sie nutzen die Gelegenheit, um Ihren Überblick über die anderen Bereiche zu erweitern.

c)   Sie lenken das Gespräch behutsam auf ein Thema, an dem Sie sich beteiligen können.

d)   Sie suchen aufmerksam nach Informationen, die für Ihren Bereich wichtig sein könnten.

6

Sie werden in ein bereits bestehendes Team eingebunden. In einem knappen Begrüßungsgespräch erfahren Sie von Ihrer Ansprechperson, dass jedes Teammitglied einen eigenen Aufgabenbereich hat. Ohne näher darauf einzugehen, weist Ihr Gegenüber Sie in Ihren Verantwortungsbereich ein.

Was sollten Sie in so einer Situation tun und was nicht?

a)   Sie beschränken sich auf Fragen zu Ihrem Bereich, da der Rest nicht Ihre Sache ist.

b)   Sie zügeln Ihre Neugier und hören den Erläuterungen Ihres Gegenübers aufmerksam zu.

c)   Sie beschließen, die anderen Bereiche nach dem Gespräch selbstständig kennenzulernen.

d)   Sie fragen nach den grundlegenden Arbeitsabläufen und Zusammenhängen im Team.

7

Sie müssen ein anderes Teammitglied über einen komplizierten Sachverhalt aus Ihrem Aufgabenbereich informieren. Für den Erfolg des Teams ist sehr wichtig, dass die andere Person Ihre Nachricht sicher zur Kenntnis nimmt und keine Unklarheiten bestehen bleiben.

Was sollten Sie in so einer Situation tun und was nicht?

a)   Sie erstellen eine zeitsparende Zusammenfassung, die sie persönlich überreichen.

b)   Sie versenden eine detaillierte Ausarbeitung und bitten um eine Empfangsbestätigung.

c)   Sie vereinbaren mit dem Teammitglied ein persönliches Gespräch.

d)   Sie schicken eine Nachricht mit der ausdrücklichen Bitte, bei Unklarheiten nachzufragen.

8

Sie bemerken zufällig, dass ein anderes Teammitglied Probleme damit hat, seine Tätigkeiten fristgerecht abzuschließen. Ihre eigenen Aufgaben haben Sie bereits erledigt, allerdings wollten Sie vor dem nahenden Abgabetermin alles noch einmal überprüfen und eventuell Details verbessern.

Was sollten Sie in so einer Situation tun und was nicht?

a)   Sie fragen das Teammitglied in einem vertraulichen Gespräch, ob es Hilfe braucht.

b)   Sie halten sich zurück, um die andere Person nicht als unfähig dastehen zu lassen.

c)   Sie sprechen Ihre Beobachtung behutsam im nächsten Teamtreffen an.

d)   Sie beenden zunächst Ihre eigenen Aufgaben, bevor Sie Ihre Hilfe anbieten.

9

Gemeinsam mit Ihren Teamkolleginnen und -kollegen legen Sie die Ziele der einzelnen Teammitglieder für eine bevorstehende Aufgabe fest.

Was sollte das Team in so einer Situation tun und was nicht?

a)   Man formuliert Ziele, die positiv, klar definiert und leicht überprüfbar sind.

b)   Man formuliert Ziele, die spezifisch, anspruchsvoll und vom ganzen Team akzeptiert sind.

c)   Man formuliert Ziele, die auf das Team bezogen, mittelschwer und nachvollziehbar sind.

d)   Man formuliert Ziele, die leicht erreichbar, offen und zeitlich flexibel sind.

10

Sie bearbeiten eine Aufgabe, die hauptsächlich in Ihrem Verantwortungsbereich liegt. Als Sie in einer Besprechung Ihr geplantes Vorgehen vorstellen, äußern sich einige Teammitglieder aus anderen Bereichen und machen Vorschläge für Änderungen und Anpassungen.

Was sollten Sie in so einer Situation tun und was nicht?

a)   Sie nehmen die Anregungen zur Kenntnis und diskutieren sie mit allen Beteiligten.

b)   Sie überlegen, welche der Änderungen sinnvoll sind und fragen nach konkreten Details.

c)   Sie machen höflich klar, dass Sie durch Ihr Fachwissen einen besseren Überblick haben.

d)   Sie lassen möglichst viele der vorgeschlagenen Änderungen in Ihre Planung einfließen.

11

Ihrem Team ist es aufgrund äußerer Umstände nicht gelungen, eine wichtige Aufgabe fristgerecht zu erledigen. Die Enttäuschung ist groß, da alle ihr Bestes gegeben haben. Als eine neue Aufgabe ansteht, bemerken Sie, dass schlechte Moral und geringe Motivation das Team beeinträchtigen.

Was sollten Sie in so einer Situation tun und was nicht?

a)   Sie erinnern das Team an vergangene Erfolge, um die Motivation neu zu entfachen.

b)   Sie äußern Ihre Bedenken vor dem gesamten Team und regen zu einer Diskussion an.

c)   Sie bitten um eine gemeinsame Besprechung, um mit dem Misserfolg abzuschließen.

d)   Sie geben den anderen Teammitgliedern die nötige Zeit, um sich wieder zu fangen.

12

Gemeinsam mit den anderen Teammitgliedern planen Sie die Erledigung einer bevorstehenden Aufgabe. Der Erfolg des Teams bei der Bewältigung dieser Herausforderung hängt auch von einigen Faktoren ab, deren weitere Entwicklung sich schwer absehen lässt.

Was sollte das Team in so einer Situation tun und was nicht?

a)   Das Team diskutiert vorab mögliche Entwicklungen und erarbeitet für jede ein Vorgehen.

b)   Die Planung erfolgt in kleinen Etappen, um schnelle Anpassungen zu ermöglichen.

c)   Das Team wartet mit der weiteren Planung, bis die Unklarheiten beseitigt sind.

d)   Das Team konzentriert seine Planung vor allem auf die vorhandenen Fakten.

 

Auswertungshinweise

Als Antwortschema wurde ein Wahlzwangsverfahren (forced-choice) gewählt, bei der sowohl die jeweils beste als auch die jeweils schlechteste Lösung identifiziert werden muss. Folglich muss die Testperson bei jedem Szenario angeben, wie sie (oder das gesamte Team) sich jeweils verhalten bzw. nicht verhalten sollte. Für jedes Szenario gibt es eine eindeutig beste und schlechteste Lösung, die dem Lösungsschlüssel entnommen werden kann (siehe unten).

Die Testperson erhält einen Punkt, wenn sie die beste Lösung korrekt identifiziert. Selbiges gilt für die schlechteste Lösung. Für die Auswahl eines Distraktors wird kein Punkt vergeben. Wird indes die beste Lösung als schlechteste bzw. die schlechteste als beste benannt, wird jeweils ein Punkt abgezogen. Nach diesem Auswertungsschema können – abgestuft wie bei Ratingskalen – pro Szenario zwischen +2 und -2 Punkte erreicht werden. Die Punkte in den einzelnen Items werden abschließend zu einem Gesamtwert verrechnet, der Auskunft darüber gibt, wie effektiv sich eine Person als Mitglied eines Teams zu verhalten weiß.

 

Anwendungsbereich

Die Skala kann unabhängig von bestimmten Teamzusammensetzungen und Teamaufgabenstellungen eingesetzt werden. Bei den gezogenen Stichproben kam als Modus immer die Paper-und-Pencil Variante des Fragebogens zum Einsatz.

 

Hinweis zum Lösungsschlüssel

Den Lösungsschlüssel können Sie in berechtigten Fällen bei den Testautoren oder bei GESIS per unterzeichneter Datenschutzvereinbarung beantragen (ZIS-Datenschutzvereinbarung.pdf).

 

 

3 Theoretischer Hintergrund

 

Teamarbeit besteht aus einer Vielzahl adaptiv festgelegter Prozesse zur Erreichung gemeinsamer Ziele (Salas, Stagl, Burke & Goodwin, 2007). Die effektive Ausgestaltung dieser Prozesse macht eben jene Kompetenzen erforderlich, die sich unter dem Begriff der Teamfähigkeit subsummieren lassen. Teamfähigkeit wird folglich nicht als eindimensionales Konstrukt verstanden, sondern als Zusammenspiel komplexer Einzelfähigkeiten, die sich innerhalb der Domäne der sozialen Kompetenz verorten lassen (Bungard, 2000; Schuler & Barthelme, 1995; Seelheim & Witte, 2007). Die systematische Kategorisierung dieser Prozesse und Fähigkeiten resultierte in bislang über 138 theoretischen Modellen (Salas et al., 2007).

Als theoretische Grundlage für den vorliegenden Test wurden zunächst zwei integrative Überblicksarbeiten herangezogen, um die zentralen Elemente von Teamfähigkeit zu identifizieren. Salas, Sims und Burke (2005) gehen von fünf Kernkomponenten aus, die sie als zentrale Determinanten von Teameffektivität erachten, nämlich (1) Teamführung, (2) gegenseitige Leistungsüberwachung, (3) unterstützendes Verhalten, (4) Anpassungsfähigkeit und (5) Teamorientierung, die jeweils verschiedene Verhaltensweisen subsummieren. Rousseau, Aubé und Savoie (2006) beschreiben eine vergleichbare Systematik teamarbeitsrelevanter Verhaltensweisen, nämlich (1) die Vorbereitung der Aufgabenerfüllung, (2) aufgabenbezogene Zusammenarbeit, (3) Beurteilung der gemeinsamen Arbeit, (4) Teamanpassung, (5) psychologische Unterstützung und (6) integratives Konfliktmanagement umfasst. Berücksichtigt wurden ferner zwei Modelle, die bereits in Testverfahren umgesetzt wurden (O'Neil, Jr., Chung & Brown, 1997; Stevens & Campion, 1994) sowie weitere Übersichtsarbeiten zu Teamprozessen und Teameffektivität (Kozlowski & Ilgen, 2006; Marks, Mathieu & Zaccaro, 2001; Mathieu, Maynard, Rapp & Gilson, 2008). Die einzelnen Elemente der verschiedenen Modelle wurden vom Erstautor des vorliegenden Testverfahrens in ein Arbeitsmodell von Teamarbeitsverhalten integriert, wobei ähnliche oder identische Elemente zusammengefasst wurden. Das Ziel war dabei einerseits die Erfassung besonders erfolgsrelevanten Verhaltensweisen, andererseits aber auch eine möglichst breite inhaltliche Abdeckung des Zielkonstrukts. Daraus resultierte ein Arbeitsmodell mit insgesamt 30 verschiedenen Verhaltensweisen, die in sieben Bereiche zusammengefasst wurden:(1) Evaluation der operativen Rahmenbedingungen, (2) Planung und Organisation, (3) Kooperation, (4) Kommunikation, (5) Überwachung und Anpassung, (6) Hilfeverhalten und Unterstützung sowie (7) Motivation und Zusammenhalt.

Als Testformat wurde ein situativer Urteilstest (engl. situational judgment test; SJT) gewählt. Bei SJTs werden den Testpersonen üblicherweise hypothetische Situationen oder Szenarios dargeboten, die ein bestimmtes Problem oder Dilemma thematisieren. Zu jeder Situation wird eine Reihe von Alternativen vorgegeben, die unterschiedliche Herangehensweisen oder Lösungsansätze widerspiegeln. Die Aufgabe der Testperson besteht darin, die einzelnen Antwortoptionen zu evaluieren und eine Auswahl oder Beurteilung vorzunehmen. Die Antworten der Testpersonen werden anschließend mit einem vorab definierten Lösungsschlüssel verglichen (Weekley & Ployhart, 2006). SJTs sind valide und recht verfälschungsresistente Prädiktoren beruflicher Leistung (Christian, Edwards & Bradley, 2010). Aufgrund ihres simulationsorientierten Charakters können sie zur Erfassung komplexer Konstrukte eingesetzt werden, weisen als standardisierte Tests aber zugleich eine hohe Ökonomie und Objektivität auf. Ein Nachteil von SJTs ist hingegen die oftmals schon auf Item-Ebene vorherrschende Konstruktheterogenität und die damit einhergehenden Probleme bei der Bestimmung von Konstruktvalidität und Reliabilität (Whetzel & McDaniel, 2009).

 

4 Skalenentwicklung

 

Itemkonstruktion und Itemselektion

Entwicklung der Szenarien und Antwortalternativen. Für jede der oben genannten 30 Verhaltensweisen wurde von den Testautoren eine hypothetische Problem- oder Entscheidungssituation formuliert, mit der sich eine Person im Rahmen einer Teammitgliedschaft konfrontiert sehen könnte. Um eine möglichst breite Einsetzbarkeit des Tests zu gewährleisten, wurde dabei auf branchen- oder tätigkeitsspezifische Inhalte (z.B. Einzelhandel, Buchhaltung, Büroarbeit, etc.) verzichtet. Zudem wurden die Situationen so konstruiert, dass ihre Bewältigung keine Leitungsprivilegien oder Weisungsbefugnisse voraussetzt. Um angemessene Antwortalternativen zu generieren, wurden die Szenarios sieben Expertinnen und Experten mit Berufserfahrung im Bereich Coaching und Supervision vorgelegt (Methode der „subject matter experts“, SME). Das Durchschnittsalter der Stichprobe betrug 55.7 Jahre (SD = 10.3), die durchschnittliche Berufserfahrung 17.5 Jahre (SD = 7.6). Die Aufgabe bestand darin, zu jeder Situation in ein bis zwei kurzen Sätzen jeweils eine besonders gute bzw. schlechte Lösungsstrategie zu formulieren. Die insgesamt 357 eingereichten Lösungsvorschläge wurden qualitativ ausgewertet und zu jedem Item-Stamm sechs Antwortalternativen formuliert, wobei drei effektive und drei ineffektive Lösungen verfasst wurden. Dabei wurde besonders darauf geachtet, dass sich die einzelnen Antwortoptionen nicht bereits bei oberflächlicher Betrachtung als besonders gut oder schlecht identifizieren ließen. Insbesondere die ineffektiven Lösungen wurden daher so formuliert, dass sie plausible Handlungsalternativen darstellten, etwa indem ein augenscheinlich positiver Aspekt oder eine mögliche Rechtfertigung für ein an sich ineffektives Verhalten implementiert wurde.

 

Auswahl der endgültigen Antwortalternativen und des Lösungsschlüssels. Zur Auswahl der vier am besten geeigneten Antwortalternativen pro Szenario und zur empirischen Bestimmung der jeweils besten und schlechtesten Option wurden 109 weitere Expertinnen und Experten rekrutiert. Das Durchschnittsalter der Gesamtstichprobe betrug 50.4 Jahre (SD = 6.8), die durchschnittliche Berufserfahrung 15.8 Jahre (SD = 7.3). Eigene Erfahrung als Führungskraft hatten 78% der Personen. Um die zeitliche Belastung für die Expertinnen und Experten zu reduzieren, wurden drei Teilstichproben gebildet (n1 = 37, n2 = 37, n3 = 35). Jeder Teilstichprobe wurden 10 der 30 Szenarios mit den 6 dazugehörigen Antwortalternativen in randomisierter Reihenfolge dargeboten. Die Aufgabe bestand darin, jede Antwortoption anhand einer fünfstufigen Skala auf ihre allgemeine Effektivität im Kontext von Teamarbeit hin zu bewerten. Anschließend wurden für jedes Szenario eine jeweils beste und schlechteste Lösung sowie zwei Distraktoren ausgewählt. Um eine angemessene Item-Schwierigkeit zu gewährleisten, wurden möglichst geringe aber statistisch signifikante Unterschiede zwischen den Mittelwerten der besten bzw. schlechtesten Lösung und der beiden Distraktoren angestrebt. Zur Auswahl der endgültigen vier Antwortoptionen pro Szenario wurden entsprechend multiple Mittelwertvergleiche mit Bonferroni-Holm-Korrektur (Holm, 1979) gerechnet.  Die Ergebnisse des Experten-Ratings für die Items der Testendform sind in Tabelle 1 zusammengefasst.

 

Tabelle 1

Mittelwerte der Antwortoptionen für die Testendform gemäß Experten-Rating

 

N

Beste

Lösung

 

Distraktor

1

 

Distraktor

2

 

Schlechteste Lösung

Item 1

32

4.28

3.41

 

3.13

2.41

Item 2

29

4.14

3.45

2.72

2.10

Item 3

32

4.56

4.06

2.78

 

2.53

Item 4

32

3.84

2.59

 

2.50

 

2.09

Item 5

31

4.32

3.94

2.90

2.19

Item 6

35

4.49

3.60

 

3.11

1.91

Item 7

29

4.45

3.10

 

2.90

 

2.45

Item 8

32

4.16

3.22

 

3.16

1.66

Item 9

33

4.42

3.79

2.70

2.15

Item 10

32

4.59

3.34

2.75

1.97

Item 11

32

4.16

 

3.94

 

3.50

2.78

Item 12

33

4.27

3.18

 

2.94

2.21

Anmerkung. Fünf-stufige Antwortskala 1 bis 5. Die Vergleichszeichen symbolisieren statistisch signifikante Mittelwertunterschiede (p < .05).

 

Auswahl der Items für die Testendform. Die 30 Szenarios mit jeweils vier Antwortalternativen wurden 308 Personen einer deutschen Studierendenstichprobe aus verschiedenen Fachbereichen der Universität Tübingen zur Bearbeitung vorgelegt (Stichprobe 1). Die Auswahl der Szenarios für die vorläufige Testendform erfolgte in mehreren Schritten. Zunächst wurden zwölf Items entfernt, die mindestens eine negative Inter-Item-Korrelation aufwiesen. Anschließend wurden fünf Items aufgrund einer zu geringen Trennschärfe eliminiert. Die verbleibenden 13 Items wurden mittels einer Hauptkomponentenanalyse weiter untersucht. Sowohl der Minimum Average Partial Test (Velicer, Eaton & Fava, 2000) als auch die Parallelanalyse (Horn, 1965) resultierten in einem zu extrahierenden Faktor, der jedoch nur 22.3% der Varianz aufklärte. Zudem wiesen vier Faktoren einen Eigenwert grösser als Eins auf. Daher wurde die Promax-rotierte Hauptkomponentenanalyse mit zwei vorgegebenen Faktoren durchgeführt. Nach der Eliminierung eines weiteren Items ohne eindeutiges Ladungsmuster wurden schließlich 12 Items (verteilt auf zwei Komponenten) in die vorläufige Testendform aufgenommen.

 

Empirische Erprobung. Die Überprüfung der postulierten Faktorenstruktur mittels einer konfirmatorischen Faktorenanalyse erfolgte in Stichprobe 2 (324 deutsche Studierende). Zur Bestimmung der Konstruktvalidität wurde der Stichprobe zusätzlich zum SJT-TA der Teamwork Skills Questionnaire (TSQ; O'Neil, Jr., Wang, Lee, Mulkey & Baker, 2003) vorgelegt.

Die psychometrische Qualität der vorläufigen Testendform wurde in einer Stichprobe von 118 Angestellten aus verschiedenen Abteilungen eines mittelständischen Maschinenbauunternehmens untersucht (Stichprobe 3). Das Durchschnittsalter der Stichprobe betrug 37.5 Jahre (SD = 10.2), 18% waren weiblich. Die durchschnittliche Betriebszugehörigkeit lag bei 15.0 Jahren (SD = 10.9). Neben dem SJT-TA und TSQ kamen hierbei auch das NEO-Fünf-Faktoren-Inventar (NEO-FFI; Borkenau & Ostendorf, 2008) zum Einsatz. Für 107 Personen konnten zudem Vorgesetzteneinschätzungen zur Teamfähigkeit erhoben werden (siehe Gütekriterien).

 

Stichproben

Anhand folgender Stichproben wurde die Skala zwischen 2010 und 2013 entwickelt bzw. angewendet:

-       ExpertInnen: Stichprobe A: nA = 7 Expertinnen und Experten mit Berufserfahrung im Bereich Coaching und Supervision; Geschlecht: = 50% männlich; Alter M [min; max] = 55.7 [45; 75] Jahre, SD = 10.3; Berufserfahrung M = 17.5 Jahre, SD = 7.6.

-       ExpertInnen: Stichprobe B: nB = 109; Geschlecht: = 38% männlich; Alter M [min; max] = 50.4 [36; 63] Jahre, SD = 6.8 Berufserfahrung M = 15.8 Jahre, SD = 7.3; Erfahrung als Führungskraft P = 78%.

-       Studierende: Stichprobe 1: N1 = 308 Studierende der Universität Tübingen; Geschlecht: = 76% weiblich; Alter: M [min; max] = 23.7 [18; 53], SD = 4.3.

-       Studierende: Stichprobe 2: N2 = 324 Studierende der Universität Tübingen; Geschlecht: = 81% weiblich; Alter: M [min; max] = 24.1 [17; 56], SD = 4.7.

-       Angestellte: Stichprobe 3: N3 = 118 Angestellte eines mittelständischen Maschinenbauunternehmens in Süddeutschland; Geschlecht: = 18% weiblich; Alter: M [min; max] = 37.5 [19; 60], SD = 10.2; Betriebszugehörigkeit M = 15.0 Jahre, SD = 10.9.

 

Itemkennwerte

Die Kennwerteverteilungen deuten auf linksschiefe Verteilungen hin.

 

Tabelle 2

Mittelwerte (M), Standardabweichungen (SD) und Item-Trennschärfen (rit)

 

Stichprobe 2 (Studierende)

Stichprobe 3 (Angestellte)

 

M

SD

rit

M

SD

rit

Item 1

0.93

1.02

.26

1.06

0.92

.14

Item 2

1.14

0.69

.24

1.25

0.57

.23

Item 3

1.39

0.67

.25

1.17

0.75

.32

Item 4

0.66

0.93

.25

0.74

0.96

.16

Item 5

1.24

0.81

.26

1.21

0.77

.07

Item 6

1.37

0.84

.29

1.22

1.01

.20

Item 7

1.07

0.98

.38

1.30

0.67

.18

Item 8

0.94

0.84

.26

1.20

0.69

.16

Item 9

1.25

0.81

.19

0.98

0.91

.16

Item 10

1.34

0.70

.27

1.47

0.70

.04

Item 11

0.79

0.98

.18

0.67

0.87

.28

Item 12

1.31

0.80

.33

1.15

0.87

.07

Anmerkung. Fünf-stufige Antwortskala −2 bis +2.

 

5 Gütekriterien

 

Objektivität

Beim SJT-TA handelt es sich um ein standardisiertes psychologisches Testverfahren, bei dem allen Testpersonen dieselben Testinstruktionen, Items und Antwortoptionen vorgelegt werden. Die Auswertung des SJT-TA erfolgt stets anhand eines vorab festgelegten Lösungsschlüssels. Durchführungs- und Auswertungsobjektivität können daher als gegeben erachtet werden. Die Interpretationsobjektivität ist insofern gegeben, als dass zusätzlich zum Rohwert auch Prozentränge (aus der Kombination der Stichproben 1 und 2) zur Verfügung stehen, wodurch die objektive Einschätzung der Teamarbeitseffektivität einer Testperson über mehrere Testleitende hinweg gewährleistet wird.

 

Reliabilität

Zur Bestimmung der Reliabilität des SJT-TA wurde in allen Stichproben Cronbachs Alpha berechnet. Für Stichprobe 1 lag der Wert bei .67, für Stichprobe 2 bei .61. In Stichprobe 3 fiel die interne Konsistenz mit .44 deutlich niedriger aus. Bei der Interpretation dieser Werte sollte berücksichtigt werden, dass SJTs oftmals schon auf Ebene einzelner Items multiple Konstrukte, die sich kaum adäquat differenzieren lassen (Schmitt & Chan, 2006). Aufgrund dieser Konstruktheterogenität ist davon auszugehen, dass die berichteten Alpha-Werte die wahre Reliabilität des SJT-TA unterschätzen (Whetzel & McDaniel, 2009). Darüber sollte beachtet werden, dass auch das ordinale Skalenniveau und die linksschiefe Verteilung der Item-Rohwerte zu verzerrten Alpha-Werten führen können. Ergänzend wurden daher zwei weitere Reliabilitätsmasse berechnet, nämlich das ordinale Alpha auf Basis polychorischer Korrelationen (Zumbo, Gadermann, & Zeisser, 2007) sowie der Omega-Koeffizient nach Raykov (2001), der die Reliabilität auf Basis von Strukturgleichungsparametern schätzt. Eine Gegenüberstellung aller Reliabilitätsbefunde findet sich in Tabelle 3.

 

Tabelle 3

Reliabilitätskoeffizienten für den SJT-TA

Cronbachs Alpha

ordinales Alpha

Omega

Stichprobe 1 (N = 308 Studierende)

 

 

 

Faktor 1

.63

.64

.63

Faktor 2

.50

.55

.50

Gesamtwert

.67

.69

.69

Stichprobe 2 (N = 324 Studierende)

 

 

 

Faktor 1

.57

.61

.58

Faktor 2

.37

.40

.39

Gesamtwert

.61

.66

.62

Stichprobe 3 (N = 118 Berufstätige)

 

 

 

Faktor 1

.34

.58

.34

Faktor 2

.33

.36

.31

Gesamtwert

.44

.62

.46

Anmerkung. Reliabilitätsschätzung via R-packages semTools und psych.

 

Validität

Faktorielle Validität. Das Ladungsmuster der Hauptkomponentenanalyse aus Stichprobe 1 findet sich in Tabelle 4. Während der erste Faktor verschiedene Aspekte der Planung, Koordination und Kommunikation umfasst, ist der zweite Faktor durch Unterstützungsverhalten gekennzeichnet. Die konfirmatorische Faktorenanalyse in Stichprobe 2 zeigte akzeptable Fit-Indices für ein Modell mit zwei korrelierten Faktoren (Φ12 = .61; CFI = .91, TLI =.89, RMSEA = .03, SRMR = .04), wohingegen ein konkurrierendes Ein-Faktoren-Modell eine deutlich geringere Passung zu den Daten aufwies (CFI = .86, TLI =.83, RMSEA = .04, SRMR = .05). Im Hinblick auf die geringe Zahl an Items in Faktor 2 und die bisherigen Befunde zur internen Konsistenz sollte eine Interpretation der Testergebnisse auf Faktor-Ebene jedoch allenfalls unter Vorbehalt erfolgen.

 

Tabelle 4

Faktorladungen der SJT-TA-Items

Nr.

Szenario

Faktor 1 (F1)

Faktor 2 (F2)

9

Angemessene Zielsetzung

.678

 

7

Korrekte Nachrichtenübermittlung

.608

 

3

Anpassung an Veränderungen

.548

 

10

Berücksichtigung von Alternativen

.540

 

5

Effektives Zuhören

.483

 

2

Erteilen von Ratschlägen

.474

 

12

Erarbeiten von Ausweichplänen

.431

 

6

Erwerb von Wissen über Teamabläufe

.300

 

4

Unterstützung bei persönlicher Belastung

 

.768

8

Unterstützung bei beruflichen Problemen

 

.646

1

Annehmen von Unterstützung

 

.542

11

Aufrechthalten der Motivation

 

.456

Anmerkungen. N = 307 (Stichprobe 1). Hauptkomponentenanalyse mit Promax-Rotation. Ladungen <.30 sind der Übersicht nicht aufgeführt.

 

Konstruktvalidität. Zur Bestimmung der Konstruktvalidität wurde zusätzlich zum SJT-TA der Teamwork Skills Questionnaire (TSQ; O'Neil, Jr., Wang, Lee, Mulkey & Baker, 2003) vorgelegt. Dabei handelt es sich um einen Selbstberichtsfragebogen, der mit 36 Items teamarbeitsrelevante Fähigkeiten der Testperson auf den Dimensionen (1) Koordination, (2) Entscheidungsfindung, (3) Führung, (4) interpersonelle Fähigkeiten, (5) Anpassungsfähigkeit und (6) Kommunikation erfasst. Ein Beispielitem (für Koordination) lautet: „Wenn ich als Teil eines Teams arbeite, verfolge ich den Fortschritt anderer Teammitglieder“. Die Zusammenhänge zwischen SJT-TA und dem TSQ aus den Stichproben 2 und 3 sind in Tabelle 5 dargestellt. Insgesamt zeigen sich in beiden Stichproben plausible und erwartungskonforme Zusammenhänge, die als Hinweis auf die konvergente Konstruktvalidität des SJT-TA interpretiert werden können. Konventionell werden nach Cohen (1992) schwache (|r| ≥ .10), mittlere (|r| ≥ .30) oder starke (|r| ≥ .50) Zusammenhänge unterschieden. Die Zusammenhänge zwischen Test und Selbsteinschätzung sind schwach bis mittel ausgeprägt, mit der Tendenz zu stärkeren Korrelationen der Führungsaspekte bei im Berufsleben stehenden Personen.

 

Tabelle 5

Zusammenhänge zwischen SJT-TA und TSQ

TSQ-Skala

Stichprobe 2
(Studierende)

Stichprobe 3
(Angestellte)

TSQ-Gesamtskala

.23**

.31**

Koordination

.15**

.25**

Entscheidungsfindung

.26**

.25**

Führung

.02

.24**

Interpersonelle Fähigkeiten

.29*

.13

Anpassungsfähigkeit

.13*

.11

Kommunikation

.22**

.26*

Anmerkungen. N2 = 324, N3 = 118; * p < .05, ** p <.01 (zweiseitig).

 

Ferner wurde den Testpersonen das NEO-Fünf-Faktoren-Inventar (NEO-FFI; Borkenau & Ostendorf, 2008) vorgelegt, das die fünf grundlegenden Persönlichkeitsdimensionen Neurotizismus, Extraversion, Offenheit, Verträglichkeit und Gewissenhaftigkeit erfasst. Im Hinblick auf allgemeine Persönlichkeitsmerkmale zeigten sich in Stichprobe 3 keine signifikante Zusammenhänge zwischen dem SJT-TA und den NEO-FFI-Dimensionen Neurotizismus (r = -.15, p = .110), Extraversion (r = .18, p = .050), Offenheit (r = .04, p = .641), Verträglichkeit (r = .17, p = .073) und Gewissenhaftigkeit (r = .11, p = .244). Diese Befunde können als Beleg für die diskriminante Konstruktvalidität des SJT-TA interpretiert werden.

 

Kriterienbezogene Validität. Die kriterienbezogene Validität des SJT-TA wurde mittels Vorgesetzteneinschätzungen der Stichprobe 3 untersucht. Hierzu beurteilten die Führungskräfte der Testpersonen deren kontextuelle Leistung (d.h. Aktivitäten wie Hilfeverhalten, Kooperation oder die freiwillige Übernahme von Aufgaben, die formal nicht Bestandteil des eigenen Verantwortungsbereichs sind; Borman & Motowidlo, 1997) anhand von neun Items aus Morgeson, Reider und Campion (2005). Ein Beispielitem lautet: „Dieses Teammitglied arbeitet gut mit anderen zusammen“. Als kontrastierendes Kriterium wurde die aufgabenbezogene Leistung (d.h. die Erfüllung von Erwartungen, die Teil des formalen Vertrags zwischen Arbeitnehmer und Arbeitgeber sind; Sonnentag, Volmer & Spychala, 2008) anhand von sechs Items aus Williams und Anderson (1991) erfasst. Ein Beispielitem lautet: „Dieses Teammitglied kommt den mit der Arbeit verbundenen Anforderungen und Pflichten gut nach“. Darüber hinaus wurden die Führungskräfte gebeten, ein Globalurteil über die Teamfähigkeit der Testpersonen abzugeben.

In Stichprobe 3 zeigte sich ein signifikanter Zusammenhang zwischen SJT-TA-Ergebnis und kontextueller Leistung (r = .25, p = .009), nicht aber aufgabenbezogener Leistung (r = .10, p = .329). Dies ist erwartungskonform, da der SJT-TA ausschließlich teamarbeitsrelevantes Verhalten erfassen soll und nicht Leistungsverhalten bei der Bewältigung berufsspezifischer Tätigkeiten und Aufgaben. Darüber hinaus zeigte sich eine signifikante Korrelation zwischen dem SJT-TA und der Einschätzung der Teamfähigkeit durch die Führungskraft (r = .27, p = .004).

 

Weitere Gütekriterien

Die ungefähre Bearbeitungsdauer beträgt 15 Minuten, wodurch der SJT-TA als sehr ökonomisches Instrument zur Erhebung von Teamarbeitsverhalten erachtet werden kann. Darüber hinaus gilt das SJT-Format als relativ verfälschungsresistent – insbesondere im Vergleich zu anderen Selbstberichtverfahren (Hooper, Cullen & Sackett, 2006).

 

Normwerte

Die folgenden Normwerte basieren auf den Daten von 632 Studierenden (vgl. Stichprobe 1 und 2 im Abschnitt „Skalenentwicklung“).

 

Tabelle 6

SJT-TA Punkte (von <0 bis >20) und zugehöriger Prozentrang

SJT-TA Punkte

Prozentrang

 

SJT-TA Punkte

Prozentrang

< 0

2

 

11

26

0

2

 

12

34

1

3

 

13

43

2

4

 

14

54

3

5

 

15

64

4

5

 

16

74

5

6

 

17

85

6

8

 

18

91

7

9

 

19

97

8

12

 

20

99

9

16

 

> 20

100

10

20

 

 

 

 

 

6 Literatur und Datenquellen

 

Danksagung

Wir danken Frau Nicole Höper für die Daten aus den Studierendenstichproben.

 

Kontakt zu Autor(en)

-       Thomas Gatzka, Hochschule für Angewandte Psychologie, Olten (CH), thomas.gatzka@fhnw.ch

-       Judith Volmer, Universität Bamberg, judith.volmer@uni-bamberg.de

 

Literaturverzeichnis

Borkenau, P. & Ostendorf, F. (2008). NEO-Fünf-Faktoren-Inventar (NEO-FFI) nach Costa und McCrae. Göttingen: Hogrefe.

Borman, W. C. & Motowidlo, S. J. (1997). Task performance and contextual performance. The meaning for personnel selection research. Human Performance, 10(2), 99-109.

Bungard, W. (2000). Team- und Kooperationsfähigkeit. In W. Sarges (Hrsg.), Management-Diagnostik (S. 405-414). Göttingen: Hogrefe.

Christian, M. S., Edwards, B. D. & Bradley, J. C. (2010). Situational judgment tests. Constructs assessed and a meta-analysis of their criterion-related validities. Personnel Psychology, 63 (1), 83-117.

Cohen, J. (1992). A power primer. Psychological Bulletin, 112, 155-159.

Flanagan, J. C. (1954). The critical incident technique. Psychological Bulletin, 51(4), 327-358.

Holm, S. (1979). A simple sequentially rejective multiple test procedure. Scandinavian Journal of Statistics, 6(2), 65-70.

Hooper, A. C., Cullen, M. J. & Sackett, P. R. (2006). Operational threats to the use of SJTs: Faking, coaching and retesting issues. In J. A. Weekley & R. E. Ployhart (Eds.), Situational judgment tests: Theory, measurement, and application (pp. 205-232). Mahwah, NJ: Erlbaum.

Horn, J. L. (1965). A rationale and test for the number of factors in factor analysis. Psychometrika, 30(2), 179-185.

Kozlowski, S. W. J. & Ilgen, D. R. (2006). Enhancing the effectiveness of work groups and teams. Psychological Science in the Public Interest,  (3), 77-124.

Marks, M. A., Mathieu, J. E. & Zaccaro, S. J. (2001). A temporally based framework and taxonomy of team processes. Academy of Management Review, 26(3), 356-376.

Mathieu, J. E., Maynard, M. T., Rapp, T. & Gilson, L. (2008). Team effectiveness 1997-2007. A review of recent advancements and a glimpse into the future. Journal of Management, 34(3), 410-476.

Morgeson, F. P., Reider, M. H. & Campion, M. A. (2005). Selecting individuals in team settings. The importance of social skills, personality characteristics, and teamwork knowledge. Personnel Psychology, 58(3), 583-611.

O'Neil, H. F., Chung, G. K. W. K. & Brown, R. S. (1997). Use of networked simulations as a context to measure team competencies. In H. F. O'Neil, Jr. (Eds.), Workforce readiness. Competencies and assessment (pp. 411-452). Mahwah, NJ: Erlbaum.

O'Neil, H. F., Wang, S., Lee, C., Mulkey, J. R. & Baker, E. L. (2003). Assessment of teamwork skills via a teamwork questionnaire. In H. F. O'Neil, Jr. & R. S. Perez (Eds.), Technology applications in education. A learning view (pp. 283-304). Mahwah, NJ: Erlbaum.

Raykov, T. (2001). Estimation of congeneric scale reliability using covariance structure analysis with nonlinear constraints. British Journal of Mathematical and Statistical Psychology, 54, 315-323.

Rousseau, V., Aubé, C. & Savoie, A. (2006). Teamwork behaviors. A review and an integration of frameworks. Small Group Research, 37(5), 540-570.

Salas, E., Sims, D. E. & Burke, C. S. (2005). Is there a "Big Five" in Teamwork? Small Group Research, 36(5), 555-599.

Salas, E., Stagl, K. C., Burke, C. S. & Goodwin, G. F. (2007). Fostering team effectiveness in organizations. Toward an integrative theoretical framework of team performance. In B. Shuart, W. Spaulding & J. Poland (Eds.), Modeling complex systems. Nebraska Symposion on Motivation (Vol. 52, pp. 185-243). Lincoln, NE: University of Nebraska Press.

Schmitt, N. & Chan, D. (2006). Situational judgment tests. Method or construct? In J. A. Weekley & R. E. Ployhart (Eds.), Situational judgment tests. Theory, measurement, and application (pp. 135-155). Mahwah, NJ: Erlbaum.

Schuler, H. & Barthelme, D. (1995). Soziale Kompetenz als berufliche Anforderung. In B. Seyfried (Hrsg.), "Stolperstein" Sozialkompetenz. Was macht es so schwierig, sie zu erfassen, zu fördern und zu beurteilen? (S. 77-116). Bielefeld: Bertelsmann.

Seelheim, T. & Witte, E. H. (2007). Teamfähigkeit und Performance. Gruppendynamik und Organisationsberatung, 38(1), 73-95.

Sonnentag, S., Volmer, J. & Spychala, A. (2008). Job performance. In J. Barling & C. L. Cooper (Eds.), The SAGE handbook of organizational behavior. Micro approaches (Vol. 1, pp. 427-448). Los Angeles, CA: Sage.

Stevens, M. J. & Campion, M. A. (1994). The knowledge, skill, and ability requirements for teamwork. Implications for human resource management. Journal of Management, 20(2), 503-530.

Velicer, W. F., Eaton, C. A. & Fava, J. L. (2000). Construct explication through factor or component analysis. A review and evaluation of alternative procedures for determining the number of factors or components. In R. D. Goffin & E. Helmes (Eds.), Problems and solutions in human assessment. Honoring Douglas N. Jackson at Seventy (pp. 41-71). Boston, MA: Kluwer.

Weekley, J. A. & Ployhart, R. E. (Eds.). (2006). Situational judgment tests. Theory, measurement, and application. Mahwah, NJ: Erlbaum.

Whetzel, D. L. & McDaniel, M. A. (2009). Situational judgment tests. An overview of current research. Human Resource Management Review, 19(3), 188-202.

Williams, L. J. & Anderson, S. E. (1991). Job satisfaction and organizational commitment as predictors of organizational citizenship and in-role behaviors. Journal of Management, 17(3), 601-617.