Berufliche Leistung ist ein wichtiges Erfolgskriterium, das häufig herangezogen wird, um die prädiktive Validität von Leistungstests oder Assessment-Center Verfahren zu überprüfen (Stemmler, Hagemann, Amelang & Barttussek, 2011).  Berufliche Leistung bzw. Berufserfolg umfasst verschiedene Aspekte und kann unterschiedlich erfasst werden. Dette, Abele und Renner (2004) schlagen daher eine Klassifizierung nach Datenart (neutrale Kennzahlen, Erfolgsurteile, Zufriedenheitseinschätzungen),  Datenquelle (Akten, Fremdeinschätzung, Selbstbericht) und Bezugskriterium (spezifische Arbeit vs. Globale Laufbahn) vor. In Bezug auf diese Klassifikation bildet die Skala zur Beurteilung beruflicher Leistung Erfolgsurteile via Fremdeinschätzung in Bezug auf die globale Laufbahn ab.

Itemkonstruktion und Itemselektion

In einem ersten Schritt wurde ein Itempool bestehend aus 30 Items gebildet. Dazu wurde eine Literaturrecherche durchgeführt und neun Items von Goodman und Svyantek (1999), 12 Items von Higgings, Peterson, Pihl und Lee (2007), zwei Items von Littlepage, Bragg und Rust (1978),  drei Items von Tsui (1984), vier Items von Wayne und Liden (1995) übernommen. Die Items sind in Tabelle 1 dargestellt.

Tabelle 1

Itempool bestehend aus 30 Items

In einem zweiten Schritt wurden die Items in die deutsche Sprache übertragen und Items mit identischer Bedeutung zusammengefasst. Dadurch entstand ein Itempool bestehend aus 17 Items.

In einem dritten Schritt wurden die neun Items mit der höchsten Trennschärfe ausgewählt. Dazu wurden die 17 Items einer Stichprobe von N = 52 Führungskräften aus verschiedenen Unternehmen und Industrien (40% keine Angabe, 25% Bildung, 10% öffentliche Verwaltung, 8% Finanzinstitut, 8% Technik, 4% Sozialwesen, 2% Informatik, 2% Landwirtschaft, 2% Gesundheitswesen) vorgelegt. Die Führungskräfte bewerteten jeweils einen zufällig ausgewählten Mitarbeiter. Die Trennschärfen und Schwierigkeitsindizes der Items sind in Tabelle 2 dargestellt.

Tabelle 2

Trennschärfe und Schwierigkeitsindizes der 17 Items des Itempools

Anmerkung. P=100*M/6, N=52

In einem vierten Schritt wurden die fünf Items ausgewählt, die von einer zweiten Stichprobe von N = 18 Führungskräften aus verschiedenen Unternehmen und Industrien (28% keine Angabe, 28% öffentliche Verwaltung, 11% Finanzinstitut, 6% Bildung, 6% Technik, 6% Sozialwesen, 6% Gesundheitswesen, 6% beratungsnahe Dienstleistungen, 6% Tourismus) am aussagekräftigsten und geeignetsten bewertet wurden. Die Bewertungen der Items sind in Tabelle 3 dargestellt.

Tabelle 3

Bewertung der neun Items mit höchster Trennschärfe

Anmerkung. Skala von 1 (sehr ungeeignet) bis 6 (sehr geeignet), N = 18.

In einem fünften Schritt wurde die Dimensionalität der Skala überprüft, die Reliabilität geschätzt und die Validität beurteilt.

Stichproben

N = 138 Führungskräften aus verschiedenen Unternehmen und Industrien nahmen an der Studie teil. Es wurden keine Angaben zu Branche, Alter und Geschlecht der Führungskräfte erhoben. Jede Führungskraft bewertete einen Mitarbeiter. Die Mitarbeiter nahmen an einer psychologischen Studie an der Universität Heidelberg teil (vgl. Danner, Hagemann, Hager, Schankin & Funke, 2011). Das durchschnittliche Alter der Mitarbeiter betrug M = 43.16 Jahre, SD = 10.71, 72% der Mitarbeiter waren weiblich, 24% männlich, 4% machten keine Angabe zu ihrem Geschlecht.

Variablen und Auswertungsmethode

Die Dimensionalität der Skala wurde mit linearen Strukturgleichungsmodellen überprüft. Zur Beurteilung der Modelgüte der Root Mean Square of Approximation (RMSEA), der Comparative Fit Index (CFI) und der χ²-Wert berichtet. Ein RMSEA ≤ 0.05 und ein CFI ≥ 0.95 weisen auf eine gute Modellpassung hin (vgl. Bollen, 1989). Mit dem χ²-Wert kann getestet werden, ob sich zwei (geschachtelte) Modelle signifikant in Ihrer Modellpassung unterscheiden. Die Parameter des Models wurden mit dem Maximum-Likelihood Schätzer (Mplus 6.0) geschätzt. Der Datensatz enthielt keine fehlenden Werte.

Gewissenhaftigkeit wurde mit vier Items einer Kurzskala des Big-Five Inventorys (Rammstedt & John, 2005) gemessen. Auf latenter Ebene wurde Gewissenhaftigkeit mit einem tau-kongenerischen Messmodell mit ungleichen Pfadkoeffizienten und ungleichen Fehlervarianzen abgebildet.

Itemanalysen

Die Analyse der Daten weist auf die Eindimensionalität des gemessenen Konstrukts hin. Ein paralleles Messmodell mit gleichen Pfadkoeffizienten und gleichen Fehlervarianzen (Steyer & Eid, 2001) wies einen guten Modelfit auf, RMSEA = 0.05, CFI = 0.99,  χ²(13) = 17.72, p = .169. Die Varianz der latenten True-Score Variablen betrug σ² = 0.43, p < .001 und die Varianz der latenten Fehlervariablen σ² = 0.21, p < .001. Die Differenz zu einem tau-kongenerischen Messmodell mit ungleichen Pfadkoeffizienten und ungleichen Fehlervarianzen war nicht signifikant, Δχ²(8) = 12.35, p = .136.

Itemkennwerte

Die Itemkennwerte wurden in der Stichprobe bestehend aus N = 138 Vorgesetztenbeurteilungen bestimmt und sind in Tabelle 4 dargestellt.  Die standardisierten Faktorladungen der Items sind in Abbildung 2 dargestellt.

Tabelle 4

Itemkennwerte der Skala zur Beurteilung beruflicher Leistung

Anmerkung. Skala von 1 (trifft überhaupt nicht zu / sehr schlecht) bis 6 (trifft vollständig zu / sehr gut), P=100*M/6, N=138.

Objektivität

Die Skala wird von dem Vorgesetzten eines Mitarbeiters beantwortet. Daher kann nicht ausgeschlossen werden, dass die Skala ebenso Eigenschaften des Vorgesetzten abbildet. Dies ist besonders zu beachten, wenn verschiedene Vorgesetzte ihre Mitarbeiter bewerten.

Reliabilität

Die Reliabilitätsschätzungen der Skala liegen in einem sehr guten Bereich. Cronbachs Alpha beträgt α = 0.91, die Split-Half Korrelation (Spearman-Brown korrigiert) beträgt r = .89.

Validität

Die inhaltliche Validität der Skala ist gegeben. Die fünf Items der Skala wurden von N = 18 Führungskräften als sehr geeignet zur Beurteilung der beruflichen Leistung bewertet, M = 4.89 auf einer Skala von sehr ungeeignet (1) bis sehr geeignet (6).

Es gibt Hinweise auf die konvergente Validität der Skala. In der Stichprobe der N =138 Berufstätigen korreliert der Mittelwert der Skala zur Beurteilung beruflicher Leistung positiv mit dem Mittelwert der Skala Gewissenhaftigkeit,  r = .17, p = .041.

Weitere Hinweise für die prädiktive Validität finden sich bei Danner, Hagemann, Hager, Schankin und Funke (2011). Die Autoren zeigen einen signifikanten Zusammenhang zwischen beruflicher Leistung und der Leistung beim Lösen von komplexen Problemen. Die Teilnehmer Ihrer Studie bearbeiteten zu zwei Messzeitpunkten verschiede Computersimulationen, die das Problemlösen in alltagsnahen, komplexen, vernetzten, dynamischen und intransparenten Situationen erfasst. Mittels Latent State-Trait Modellen (Steyer, Schmitt & Eid, 1999) konnten die Autoren zeigen, dass ein signifikanter Zusammenhang zwischen Trait-Unterschieden im komplexen Problemlösen und der Beurteilung der beruflichen Leistungsfähigkeit besteht. Der Zusammenhang zwischen der Beurteilung beruflicher Leistung und Trait Unterschieden im komplexen Problemlösen deutet darauf hin, dass die Skala zur Beurteilung beruflicher Leistung allgemeine Leistungsunterschiede abbildet, die zeitlich stabil und transsituativ konsistent sind.

Deskriptive Statistiken (Normierung)

In der Stichprobe der N = 138 Vorgesetztenbeurteilungen betrug der Mittelwert der Skala M = 5.24 (SD = 0.69). Der Verteilung der Skala war leicht linksschief (Schiefe  -1.98).