1 Überblick

                                                                                                          

Zusammenfassung

Die Skala zur Beurteilung beruflicher Leistung bildet ein Vorgesetztenurteil der allgemeinen beruflichen Leistung von Mitarbeitern ab. Die Skala besteht aus 5 Items. Die geschätzte Reliabilität liegt in einem Bereich zwischen .87 und .92. Hinweise für die prädiktive Validität der Skala liegen vor.

 

Zitierung

Danner, D. (2014). Skala zur Beurteilung beruflicher Leistung. Zusammenstellung sozialwissenschaftlicher Items und Skalen. doi:10.6102/zis209

Titel: Skala zur Beurteilung beruflicher Leistung

Autor/in: Danner

In ZIS seit: 2014

Anzahl der Items: 5

Reliabilität: .89 bis .91

Validität: Hinweise auf prädiktive Validität

Konstrukt: Berufliche Leistung

Schlagwörter: Beruf, Leistung, Vorgesetztenbeurteilung

Sprache Dokumentation: deutsch

Sprache Items: deutsch

Item(s) in Bevölkerungsumfrage eingesetzt: ja, nein

Entwicklungsstand: validiert


 

2 Instrument

 

Instruktion

Bitte bewerten Sie, wie Sie Ihren Mitarbeiter im Allgemeinen einschätzen. Wenn Sie sich unsicher sind, kreuzen Sie bitte die Kategorie an, die am ehesten zutrifft. Im Text des Fragebogens wird der Einfachheit halber nur die männliche Form „Mitarbeiter“ verwendet. Die weibliche Form ist selbstverständlich immer mit eingeschlossen.

 

Beispiel

 

 

 

trifft über-

haupt nicht zu

trifft größten-

teils nicht zu

trifft eher nicht zu

trifft eher zu

trifft

größten-

teils

zu

trifft voll-

ständig zu

 

 

 

 

 

 

 

 

 

Der Mitarbeiter erscheint pünktlich zur Arbeit.

(x)

 

Kreuzen Sie die Kategorie „trifft eher nicht zu“ an, wenn Sie der Meinung sind, dass diese Aussage allgemein eher nicht zutrifft.

 

Items

Nr.

Item

1

Der Mitarbeiter erreicht vereinbarte bzw. vorgegebene Ziele.

2

Der Mitarbeiter verhält sich kompetent bei allen arbeitsbezogenen Aufgaben.

3

Der Mitarbeiter erfüllt meine Erwartungen hinsichtlich seiner Funktion und seines Verantwortungsbereichs.

4

Wie bewerten Sie die Qualität seiner Arbeit?

5

Wie bewerten Sie das Leistungsniveau, das Sie allgemein bei diesem Mitarbeiter beobachten können?

 

Antwortvorgaben

Die Antworten für Item 1-3 können auf einer sechsstufigen Ratingskala mit den folgenden Abstufungen gegeben werden: trifft überhaupt nicht zu, trifft größtenteils nicht zu, trifft eher nicht zu, trifft eher zu, trifft größtenteils zu, trifft vollständig zu. Die Antworten für Item 4 und Item 5 können auf einer sechsstufigen Ratingskala mit den folgenden Abstufungen gegeben werden: sehr schlecht, schlecht, eher schlecht, eher gut, gut, sehr gut.

 

Auswertungshinweise

In der vorliegenden Untersuchung wurden die Antwortkategorien wie folgt kodiert:

-       trifft überhaupt nicht zu / sehr schlecht = 1

-       trifft größtenteils nicht zu / schlecht = 2

-       trifft eher nicht zu / eher schlecht = 3

-       trifft eher zu / eher gut = 4

-       trifft größtenteils zu / gut = 5

-       trifft vollständig zu / sehr gut = 6

Der Mittelwert der Skala ist ein guter Indikator für die Beurteilung der beruflichen Leistung durch Vorgesetzte.  Die Items müssen nicht umkodiert oder gewichtet werden.

 

Anwendungsbereich

Die Skala ist für den Einsatz in verschiedenen Unternehmen und Industrien entwickelt. Die Skala wird üblicherweise im Rahmen einer schriftlichen Befragung eingesetzt.

 

 

3 Theoretischer Hintergrund

 

Berufliche Leistung ist ein wichtiges Erfolgskriterium, das häufig herangezogen wird, um die prädiktive Validität von Leistungstests oder Assessment-Center Verfahren zu überprüfen (Stemmler, Hagemann, Amelang & Barttussek, 2011).  Berufliche Leistung bzw. Berufserfolg umfasst verschiedene Aspekte und kann unterschiedlich erfasst werden. Dette, Abele und Renner (2004) schlagen daher eine Klassifizierung nach Datenart (neutrale Kennzahlen, Erfolgsurteile, Zufriedenheitseinschätzungen),  Datenquelle (Akten, Fremdeinschätzung, Selbstbericht) und Bezugskriterium (spezifische Arbeit vs. Globale Laufbahn) vor. In Bezug auf diese Klassifikation bildet die Skala zur Beurteilung beruflicher Leistung Erfolgsurteile via Fremdeinschätzung in Bezug auf die globale Laufbahn ab.

 

 

4 Skalenentwicklung

 

Itemkonstruktion und Itemselektion

In einem ersten Schritt wurde ein Itempool bestehend aus 30 Items gebildet. Dazu wurde eine Literaturrecherche durchgeführt und neun Items von Goodman und Svyantek (1999), 12 Items von Higgings, Peterson, Pihl und Lee (2007), zwei Items von Littlepage, Bragg und Rust (1978),  drei Items von Tsui (1984), vier Items von Wayne und Liden (1995) übernommen. Die Items sind in Tabelle 1 dargestellt.

 

Tabelle 1

Itempool bestehend aus 30 Items

Quelle

Items

Goodman und Svyantek (1999)

Achieves the objectives of the job, Meets criteria for performance, Demonstrates expertise in all job-related tasks, Fulfills all the requirements of the job, Could manage more responsibility than typically assigned, Appears suitable for a higher level role, Is competent in all areas of the job, handles tasks with proficiency, Performs well in the overall job by carrying out tasks as expected, Plans and organizes to achieve objectives of the job and meet deadlines

Higgins, Peterson, Pihl, und Lee (2007)

Please rate the employee’s quality, quantity, knowledge, versatility, judgment, communications, human relations, professionalism, responsiveness, punctuality, attendance, overall performance

Littlepage, Bragg und Rust (1978)

How would you rate this person’s performance in his present job? How would you rate this person’s potential for advencement?

Tsui (1984)

Overall, to what extent do you feel the manager is performing his job the way you would like it to be performed? To what extent has he (focal manager) met your own expectations in his managerial roles and responsibilities? If you entirely had your way, to what extent would you change the manager in which he is doing the job?

Wayne und Liden (1995)

This subordinate is superior (so far) to other new subordinates that I've supervised before, Rate the overall level of performance that you observe for this subordinate, What is your personal view of your subordinate in terms of his or her overall effectiveness? Overall, to what extent do you feel your subordinate has been effectively fulfilling his or her roles and responsibilities?

 

In einem zweiten Schritt wurden die Items in die deutsche Sprache übertragen und Items mit identischer Bedeutung zusammengefasst. Dadurch entstand ein Itempool bestehend aus 17 Items.

In einem dritten Schritt wurden die neun Items mit der höchsten Trennschärfe ausgewählt. Dazu wurden die 17 Items einer Stichprobe von N = 52 Führungskräften aus verschiedenen Unternehmen und Industrien (40% keine Angabe, 25% Bildung, 10% öffentliche Verwaltung, 8% Finanzinstitut, 8% Technik, 4% Sozialwesen, 2% Informatik, 2% Landwirtschaft, 2% Gesundheitswesen) vorgelegt. Die Führungskräfte bewerteten jeweils einen zufällig ausgewählten Mitarbeiter. Die Trennschärfen und Schwierigkeitsindizes der Items sind in Tabelle 2 dargestellt.

 

Tabelle 2

Trennschärfe und Schwierigkeitsindizes der 17 Items des Itempools

Item

Trenn-schärfe (rit)

Schwierigkeits-indizes (P)

Wie bewerten Sie das Leistungsniveau, das Sie allgemein bei diesem Mitarbeiter beobachten können?

0.91

76

Der Mitarbeiter erfüllt meine Erwartungen hinsichtlich seiner Funktion und seines Verantwortungsbereichs.

0.90

79

Der Mitarbeiter erledigt seine Aufgaben so, wie ich sie gerne erledigt habe.

0.88

74

Wie bewerten Sie seinen Nutzen für Ihr Unternehmen?

0.88

77

Wie bewerten Sie diesen Mitarbeiter im Vergleich zu anderen Mitarbeitern Ihres Unternehmens?

0.87

70

Wie bewerten Sie die Qualität seiner Arbeit?

0.86

77

Der Mitarbeiter verhält sich kompetent bei allen arbeitsbezogenen Aufgaben.

0.85

81

Wie bewerten Sie die Menge seiner Arbeit?

0.85

75

Der Mitarbeiter erreicht vereinbarte bzw. vorgegebene Ziele.

0.83

80

Der Mitarbeiter erfüllt geforderte Leistungskriterien.

0.81

81

Der Mitarbeiter wäre dafür geeignet, mehr Verantwortung zu übernehmen als ihm normalerweise übertragen wird.

0.80

63

Der Mitarbeiter erfüllt alle Anforderungen seines Jobs.

0.78

77

Der Mitarbeiter führt Aufgaben zuverlässig aus.

0.77

86

Ich würde gerne die Art und Weise ändern, wie der Mitarbeiter seine Arbeit erledigt.

0.77

69

Der Mitarbeiter erscheint mir geeignet für eine Position auf höherer Ebene.

0.76

57

Wie bewerten Sie sein Arbeitstempo?

0.73

68

Anmerkung. P=100*M/6, N=52

 

In einem vierten Schritt wurden die fünf Items ausgewählt, die von einer zweiten Stichprobe von N = 18 Führungskräften aus verschiedenen Unternehmen und Industrien (28% keine Angabe, 28% öffentliche Verwaltung, 11% Finanzinstitut, 6% Bildung, 6% Technik, 6% Sozialwesen, 6% Gesundheitswesen, 6% beratungsnahe Dienstleistungen, 6% Tourismus) am aussagekräftigsten und geeignetsten bewertet wurden. Die Bewertungen der Items sind in Tabelle 3 dargestellt.

 

Tabelle 3

Bewertung der neun Items mit höchster Trennschärfe

Item

Bewertung

Der Mitarbeiter erreicht vereinbarte bzw. vorgegebene Ziele.

5.61

Wie bewerten Sie die Qualität seiner Arbeit?

5.00

Der Mitarbeiter verhält sich kompetent bei allen arbeitsbezogenen Aufgaben.

4.94

Der Mitarbeiter erfüllt meine Erwartungen hinsichtlich seiner Funktion und seines Verantwortungsbereichs.

4.56

Wie bewerten Sie das Leistungsniveau, das Sie allgemein bei diesem Mitarbeiter beobachten können?

4.33

Wie bewerten Sie seinen Nutzen für Ihr Unternehmen?

4.22

Wie bewerten Sie diesen Mitarbeiter im Vergleich zu anderen Mitarbeitern Ihres Unternehmens?

3.72

Wie bewerten Sie die Menge seiner Arbeit?

3.44

Der Mitarbeiter erledigt seine Aufgaben so, wie ich sie gerne erledigt habe.

3.22

Anmerkung. Skala von 1 (sehr ungeeignet) bis 6 (sehr geeignet), N = 18.

 

In einem fünften Schritt wurde die Dimensionalität der Skala überprüft, die Reliabilität geschätzt und die Validität beurteilt.

 

Stichproben

N = 138 Führungskräften aus verschiedenen Unternehmen und Industrien nahmen an der Studie teil. Es wurden keine Angaben zu Branche, Alter und Geschlecht der Führungskräfte erhoben. Jede Führungskraft bewertete einen Mitarbeiter. Die Mitarbeiter nahmen an einer psychologischen Studie an der Universität Heidelberg teil (vgl. Danner, Hagemann, Hager, Schankin & Funke, 2011). Das durchschnittliche Alter der Mitarbeiter betrug M = 43.16 Jahre, SD = 10.71, 72% der Mitarbeiter waren weiblich, 24% männlich, 4% machten keine Angabe zu ihrem Geschlecht.

 

Variablen und Auswertungsmethode

Die Dimensionalität der Skala wurde mit linearen Strukturgleichungsmodellen überprüft. Zur Beurteilung der Modelgüte der Root Mean Square of Approximation (RMSEA), der Comparative Fit Index (CFI) und der χ²-Wert berichtet. Ein RMSEA ≤ 0.05 und ein CFI ≥ 0.95 weisen auf eine gute Modellpassung hin (vgl. Bollen, 1989). Mit dem χ²-Wert kann getestet werden, ob sich zwei (geschachtelte) Modelle signifikant in Ihrer Modellpassung unterscheiden. Die Parameter des Models wurden mit dem Maximum-Likelihood Schätzer (Mplus 6.0) geschätzt. Der Datensatz enthielt keine fehlenden Werte.

Gewissenhaftigkeit wurde mit vier Items einer Kurzskala des Big-Five Inventorys (Rammstedt & John, 2005) gemessen. Auf latenter Ebene wurde Gewissenhaftigkeit mit einem tau-kongenerischen Messmodell mit ungleichen Pfadkoeffizienten und ungleichen Fehlervarianzen abgebildet.

 

Itemanalysen

Die Analyse der Daten weist auf die Eindimensionalität des gemessenen Konstrukts hin. Ein paralleles Messmodell mit gleichen Pfadkoeffizienten und gleichen Fehlervarianzen (Steyer & Eid, 2001) wies einen guten Modelfit auf, RMSEA = 0.05, CFI = 0.99,  χ²(13) = 17.72, p = .169. Die Varianz der latenten True-Score Variablen betrug σ² = 0.43, p < .001 und die Varianz der latenten Fehlervariablen σ² = 0.21, p < .001. Die Differenz zu einem tau-kongenerischen Messmodell mit ungleichen Pfadkoeffizienten und ungleichen Fehlervarianzen war nicht signifikant, Δχ²(8) = 12.35, p = .136.

 

Itemkennwerte

Die Itemkennwerte wurden in der Stichprobe bestehend aus N = 138 Vorgesetztenbeurteilungen bestimmt und sind in Tabelle 4 dargestellt.  Die standardisierten Faktorladungen der Items sind in Abbildung 2 dargestellt.


 

Tabelle 4

Itemkennwerte der Skala zur Beurteilung beruflicher Leistung

 

Mittelwert (M)

Standard-abweichung

Schiefe

Kurtiosis

Trennschärfe (rit)

Schwierigkeits-index (P)

Item 1

5.17

0.78

-1.25

4.51

0.74

86

Item 2

5.24

0.79

-1.01

1.35

0.73

87

Item 3

5.32

0.86

-1.78

4.68

0.80

89

Item 4

5.28

0.78

-1.56

5.47

0.82

88

Item5

5.19

0.81

-1.37

4.36

0.80

86

Anmerkung. Skala von 1 (trifft überhaupt nicht zu / sehr schlecht) bis 6 (trifft vollständig zu / sehr gut), P=100*M/6, N=138.

 

 

5 Gütekriterien

 

Objektivität

Die Skala wird von dem Vorgesetzten eines Mitarbeiters beantwortet. Daher kann nicht ausgeschlossen werden, dass die Skala ebenso Eigenschaften des Vorgesetzten abbildet. Dies ist besonders zu beachten, wenn verschiedene Vorgesetzte ihre Mitarbeiter bewerten.

 

Reliabilität

Die Reliabilitätsschätzungen der Skala liegen in einem sehr guten Bereich. Cronbachs Alpha beträgt α = 0.91, die Split-Half Korrelation (Spearman-Brown korrigiert) beträgt r = .89.

 

Validität

Die inhaltliche Validität der Skala ist gegeben. Die fünf Items der Skala wurden von N = 18 Führungskräften als sehr geeignet zur Beurteilung der beruflichen Leistung bewertet, = 4.89 auf einer Skala von sehr ungeeignet (1) bis sehr geeignet (6).

Es gibt Hinweise auf die konvergente Validität der Skala. In der Stichprobe der N =138 Berufstätigen korreliert der Mittelwert der Skala zur Beurteilung beruflicher Leistung positiv mit dem Mittelwert der Skala Gewissenhaftigkeit,  = .17, = .041.

Weitere Hinweise für die prädiktive Validität finden sich bei Danner, Hagemann, Hager, Schankin und Funke (2011). Die Autoren zeigen einen signifikanten Zusammenhang zwischen beruflicher Leistung und der Leistung beim Lösen von komplexen Problemen. Die Teilnehmer Ihrer Studie bearbeiteten zu zwei Messzeitpunkten verschiede Computersimulationen, die das Problemlösen in alltagsnahen, komplexen, vernetzten, dynamischen und intransparenten Situationen erfasst. Mittels Latent State-Trait Modellen (Steyer, Schmitt & Eid, 1999) konnten die Autoren zeigen, dass ein signifikanter Zusammenhang zwischen Trait-Unterschieden im komplexen Problemlösen und der Beurteilung der beruflichen Leistungsfähigkeit besteht. Der Zusammenhang zwischen der Beurteilung beruflicher Leistung und Trait Unterschieden im komplexen Problemlösen deutet darauf hin, dass die Skala zur Beurteilung berulicher Leistung allgemeine Leistungsunterschiede abbildet, die zeitlich stabil und transsituativ konsistent sind.

 

Deskriptive Statistiken (Normierung)

In der Stichprobe der N = 138 Vorgesetztenbeurteilungen betrug der Mittelwert der Skala M = 5.24 (SD = 0.69). Der Verteilung der Skala war leicht linksschief (Schiefe  -1.98).

 

 

6 Literatur und Datenquellen

 

Kontakt zu Autor(en)

Daniel Danner, GESIS - Leibniz Institute for the Social Sciences,  Survey Design and Methodology, P.O. Box 12 21 55, 68072 Mannheim, Germany, daniel.danner@gesis.org

 

Literaturverzeichnis

Bollen, K. A. (1989). Structural Equations with Latent Variables. Oxford: John Wiley & Sons.

Danner, D., Hagemann, D., Schankin, A., Hager, M., & Funke, J. (2011). Beyond IQ: A latent state-trait analysis of general intelligence, dynamic decision making, and implicit learning. Intelligence, 39(5), 323-334.

 Dette, D. E., Abele, A. E., & Renner, O. (2004). Zur Definition und Messung von Berufserfolg: Theoretische Überlegungen und metaanalytische Befunde zum Zusammenhang von externen und internen Laufbahnerfolgsmaßen. Zeitschrift für Personalpsychologie, 3(4), 170-183.

Goodman, S. A., & Svyantek, D. J. (1999). Person–organization fit and contextual performance: Do shared values matter. Journal of Vocational Behavior, 55(2), 254-275.

Higgins, D. M., Peterson, J. B., Pihl, R. O., & Lee, A. G. M. (2007). Prefrontal cognitive ability, intelligence, Big Five personality, and the prediction of advanced academic and workplace performance. Journal of Personality and Social Psychology, 93(2), 298-319.

Littlepage, G. E., Bragg, D. M., & Rust, J. O. (1978). Relations between admission criteria, academic performance, and professional performance. Teaching of Psychology, 5(1), 16-20.

Rammstedt, B., & John, O. P. (2005). Kurzversion des Big Five Inventory (BFI-K): Entwicklung und Validierung eines ökonomischen Inventars zur Erfassung der fünf Faktoren der Persönlichkeit. Diagnostica, 51(4), 195-206

Raykov, T. (1997). Estimation of composite reliability for congeneric measures. Applied Psychological Measurement, 21(2), 173-184. doi: 10.1177/01466216970212006

Stemmler, G., Hagemann, D., Amelang, M., & Bartussek, D. (2011). Differentielle Psychologie und Persönlichkeitsforschung. Stuttgart: Kohlhammer.

Steyer, R., Schmitt, M., & Eid, M. (1999). Latent state–trait theory and research in personality and individual differences. European Journal of Personality, 13, 389-408.

Steyer, R. & Eid, M. (2001). Messen und Testen. Heidelberg: Springer.

Tsui, A. S. (1984). A role set analysis of managerial reputation. Organizational Behavior & Human Performance, 34(1), 64-96.

Wayne, S. J., & Liden, R. C. (1995). Effects of impression management on performance ratings: A longitudinal study. Academy of Management Journal, 38(1), 232-260.