Open Access Repository for Measurement Instruments

AkkordeonDetailedScaleViews

Skala zur Beurteilung beruflicher Leistung

  • Author: Danner, D.
  • In ZIS since: 2014
  • DOI: https://doi.org/10.6102/zis209
  • Abstract: The scale for assessing professional performance reflects a superior's judgement of the general professional performance of employees. The scale consists of 5 items. The estimated reliability lies in ... morea range between .87 and .92. There are indications for the predictive validity of the scale. less
  • Language Documentation: deutsch
  • Language Items: German
  • Number of Items: 5
  • Reliability: Split-half-Reliabilität = .89; Cronbachs Alpha = .91
  • Validity: Hinweise auf prädiktive Validität
  • Construct: Berufliche Leistung
  • Catchwords: Beruf, Leistung, Vorgesetztenbeurteilung | occupation, performance, appraisal by superiors
  • Item(s) used in Representative Survey: ja, nein
  • Status of Development: validiert
    • Instruktion

      Bitte bewerten Sie, wie Sie Ihren Mitarbeiter im Allgemeinen einschätzen. Wenn Sie sich unsicher sind, kreuzen Sie bitte die Kategorie an, die am ehesten zutrifft. Im Text des Fragebogens wird der Einfachheit halber nur die männliche Form „Mitarbeiter“ verwendet. Die weibliche Form ist selbstverständlich immer mit eingeschlossen.

       

      Beispiel

       

       

       

      trifft über-

      haupt nicht zu

      trifft größten-

      teils nicht zu

      trifft eher nicht zu

      trifft eher zu

      trifft

      größten-

      teils

      zu

      trifft voll-

      ständig zu

       

       

       

       

       

       

       

       

       

      Der Mitarbeiter erscheint pünktlich zur Arbeit.

      (x)

       

      Kreuzen Sie die Kategorie „trifft eher nicht zu“ an, wenn Sie der Meinung sind, dass diese Aussage allgemein eher nicht zutrifft.

       

      Items

      Nr.

      Item

      1

      Der Mitarbeiter erreicht vereinbarte bzw. vorgegebene Ziele.

      2

      Der Mitarbeiter verhält sich kompetent bei allen arbeitsbezogenen Aufgaben.

      3

      Der Mitarbeiter erfüllt meine Erwartungen hinsichtlich seiner Funktion und seines Verantwortungsbereichs.

      4

      Wie bewerten Sie die Qualität seiner Arbeit?

      5

      Wie bewerten Sie das Leistungsniveau, das Sie allgemein bei diesem Mitarbeiter beobachten können?

       

      Antwortvorgaben

      Die Antworten für Item 1-3 können auf einer sechsstufigen Ratingskala mit den folgenden Abstufungen gegeben werden: trifft überhaupt nicht zu, trifft größtenteils nicht zu, trifft eher nicht zu, trifft eher zu, trifft größtenteils zu, trifft vollständig zu. Die Antworten für Item 4 und Item 5 können auf einer sechsstufigen Ratingskala mit den folgenden Abstufungen gegeben werden: sehr schlecht, schlecht, eher schlecht, eher gut, gut, sehr gut.

       

      Auswertungshinweise

      In der vorliegenden Untersuchung wurden die Antwortkategorien wie folgt kodiert:

      -       trifft überhaupt nicht zu / sehr schlecht = 1

      -       trifft größtenteils nicht zu / schlecht = 2

      -       trifft eher nicht zu / eher schlecht = 3

      -       trifft eher zu / eher gut = 4

      -       trifft größtenteils zu / gut = 5

      -       trifft vollständig zu / sehr gut = 6

      Der Mittelwert der Skala ist ein guter Indikator für die Beurteilung der beruflichen Leistung durch Vorgesetzte.  Die Items müssen nicht umkodiert oder gewichtet werden.

       

      Anwendungsbereich

      Die Skala ist für den Einsatz in verschiedenen Unternehmen und Industrien entwickelt. Die Skala wird üblicherweise im Rahmen einer schriftlichen Befragung eingesetzt.

       

       

    Berufliche Leistung ist ein wichtiges Erfolgskriterium, das häufig herangezogen wird, um die prädiktive Validität von Leistungstests oder Assessment-Center Verfahren zu überprüfen (Stemmler, Hagemann, Amelang & Barttussek, 2011).  Berufliche Leistung bzw. Berufserfolg umfasst verschiedene Aspekte und kann unterschiedlich erfasst werden. Dette, Abele und Renner (2004) schlagen daher eine Klassifizierung nach Datenart (neutrale Kennzahlen, Erfolgsurteile, Zufriedenheitseinschätzungen),  Datenquelle (Akten, Fremdeinschätzung, Selbstbericht) und Bezugskriterium (spezifische Arbeit vs. Globale Laufbahn) vor. In Bezug auf diese Klassifikation bildet die Skala zur Beurteilung beruflicher Leistung Erfolgsurteile via Fremdeinschätzung in Bezug auf die globale Laufbahn ab.

     

     

    Itemkonstruktion und Itemselektion

    In einem ersten Schritt wurde ein Itempool bestehend aus 30 Items gebildet. Dazu wurde eine Literaturrecherche durchgeführt und neun Items von Goodman und Svyantek (1999), 12 Items von Higgings, Peterson, Pihl und Lee (2007), zwei Items von Littlepage, Bragg und Rust (1978),  drei Items von Tsui (1984), vier Items von Wayne und Liden (1995) übernommen. Die Items sind in Tabelle 1 dargestellt.

     

    Tabelle 1

    Itempool bestehend aus 30 Items

    Quelle

    Items

    Goodman und Svyantek (1999)

    Achieves the objectives of the job, Meets criteria for performance, Demonstrates expertise in all job-related tasks, Fulfills all the requirements of the job, Could manage more responsibility than typically assigned, Appears suitable for a higher level role, Is competent in all areas of the job, handles tasks with proficiency, Performs well in the overall job by carrying out tasks as expected, Plans and organizes to achieve objectives of the job and meet deadlines

    Higgins, Peterson, Pihl, und Lee (2007)

    Please rate the employee’s quality, quantity, knowledge, versatility, judgment, communications, human relations, professionalism, responsiveness, punctuality, attendance, overall performance

    Littlepage, Bragg und Rust (1978)

    How would you rate this person’s performance in his present job? How would you rate this person’s potential for advencement?

    Tsui (1984)

    Overall, to what extent do you feel the manager is performing his job the way you would like it to be performed? To what extent has he (focal manager) met your own expectations in his managerial roles and responsibilities? If you entirely had your way, to what extent would you change the manager in which he is doing the job?

    Wayne und Liden (1995)

    This subordinate is superior (so far) to other new subordinates that I've supervised before, Rate the overall level of performance that you observe for this subordinate, What is your personal view of your subordinate in terms of his or her overall effectiveness? Overall, to what extent do you feel your subordinate has been effectively fulfilling his or her roles and responsibilities?

     

    In einem zweiten Schritt wurden die Items in die deutsche Sprache übertragen und Items mit identischer Bedeutung zusammengefasst. Dadurch entstand ein Itempool bestehend aus 17 Items.

    In einem dritten Schritt wurden die neun Items mit der höchsten Trennschärfe ausgewählt. Dazu wurden die 17 Items einer Stichprobe von N = 52 Führungskräften aus verschiedenen Unternehmen und Industrien (40% keine Angabe, 25% Bildung, 10% öffentliche Verwaltung, 8% Finanzinstitut, 8% Technik, 4% Sozialwesen, 2% Informatik, 2% Landwirtschaft, 2% Gesundheitswesen) vorgelegt. Die Führungskräfte bewerteten jeweils einen zufällig ausgewählten Mitarbeiter. Die Trennschärfen und Schwierigkeitsindizes der Items sind in Tabelle 2 dargestellt.

     

    Tabelle 2

    Trennschärfe und Schwierigkeitsindizes der 17 Items des Itempools

    Item

    Trenn-schärfe (rit)

    Schwierigkeits-indizes (P)

    Wie bewerten Sie das Leistungsniveau, das Sie allgemein bei diesem Mitarbeiter beobachten können?

    0.91

    76

    Der Mitarbeiter erfüllt meine Erwartungen hinsichtlich seiner Funktion und seines Verantwortungsbereichs.

    0.90

    79

    Der Mitarbeiter erledigt seine Aufgaben so, wie ich sie gerne erledigt habe.

    0.88

    74

    Wie bewerten Sie seinen Nutzen für Ihr Unternehmen?

    0.88

    77

    Wie bewerten Sie diesen Mitarbeiter im Vergleich zu anderen Mitarbeitern Ihres Unternehmens?

    0.87

    70

    Wie bewerten Sie die Qualität seiner Arbeit?

    0.86

    77

    Der Mitarbeiter verhält sich kompetent bei allen arbeitsbezogenen Aufgaben.

    0.85

    81

    Wie bewerten Sie die Menge seiner Arbeit?

    0.85

    75

    Der Mitarbeiter erreicht vereinbarte bzw. vorgegebene Ziele.

    0.83

    80

    Der Mitarbeiter erfüllt geforderte Leistungskriterien.

    0.81

    81

    Der Mitarbeiter wäre dafür geeignet, mehr Verantwortung zu übernehmen als ihm normalerweise übertragen wird.

    0.80

    63

    Der Mitarbeiter erfüllt alle Anforderungen seines Jobs.

    0.78

    77

    Der Mitarbeiter führt Aufgaben zuverlässig aus.

    0.77

    86

    Ich würde gerne die Art und Weise ändern, wie der Mitarbeiter seine Arbeit erledigt.

    0.77

    69

    Der Mitarbeiter erscheint mir geeignet für eine Position auf höherer Ebene.

    0.76

    57

    Wie bewerten Sie sein Arbeitstempo?

    0.73

    68

    Anmerkung. P=100*M/6, N=52

     

    In einem vierten Schritt wurden die fünf Items ausgewählt, die von einer zweiten Stichprobe von N = 18 Führungskräften aus verschiedenen Unternehmen und Industrien (28% keine Angabe, 28% öffentliche Verwaltung, 11% Finanzinstitut, 6% Bildung, 6% Technik, 6% Sozialwesen, 6% Gesundheitswesen, 6% beratungsnahe Dienstleistungen, 6% Tourismus) am aussagekräftigsten und geeignetsten bewertet wurden. Die Bewertungen der Items sind in Tabelle 3 dargestellt.

     

    Tabelle 3

    Bewertung der neun Items mit höchster Trennschärfe

    Item

    Bewertung

    Der Mitarbeiter erreicht vereinbarte bzw. vorgegebene Ziele.

    5.61

    Wie bewerten Sie die Qualität seiner Arbeit?

    5.00

    Der Mitarbeiter verhält sich kompetent bei allen arbeitsbezogenen Aufgaben.

    4.94

    Der Mitarbeiter erfüllt meine Erwartungen hinsichtlich seiner Funktion und seines Verantwortungsbereichs.

    4.56

    Wie bewerten Sie das Leistungsniveau, das Sie allgemein bei diesem Mitarbeiter beobachten können?

    4.33

    Wie bewerten Sie seinen Nutzen für Ihr Unternehmen?

    4.22

    Wie bewerten Sie diesen Mitarbeiter im Vergleich zu anderen Mitarbeitern Ihres Unternehmens?

    3.72

    Wie bewerten Sie die Menge seiner Arbeit?

    3.44

    Der Mitarbeiter erledigt seine Aufgaben so, wie ich sie gerne erledigt habe.

    3.22

    Anmerkung. Skala von 1 (sehr ungeeignet) bis 6 (sehr geeignet), N = 18.

     

    In einem fünften Schritt wurde die Dimensionalität der Skala überprüft, die Reliabilität geschätzt und die Validität beurteilt.

     

    Stichproben

    N = 138 Führungskräften aus verschiedenen Unternehmen und Industrien nahmen an der Studie teil. Es wurden keine Angaben zu Branche, Alter und Geschlecht der Führungskräfte erhoben. Jede Führungskraft bewertete einen Mitarbeiter. Die Mitarbeiter nahmen an einer psychologischen Studie an der Universität Heidelberg teil (vgl. Danner, Hagemann, Hager, Schankin & Funke, 2011). Das durchschnittliche Alter der Mitarbeiter betrug M = 43.16 Jahre, SD = 10.71, 72% der Mitarbeiter waren weiblich, 24% männlich, 4% machten keine Angabe zu ihrem Geschlecht.

     

    Variablen und Auswertungsmethode

    Die Dimensionalität der Skala wurde mit linearen Strukturgleichungsmodellen überprüft. Zur Beurteilung der Modelgüte der Root Mean Square of Approximation (RMSEA), der Comparative Fit Index (CFI) und der χ²-Wert berichtet. Ein RMSEA ≤ 0.05 und ein CFI ≥ 0.95 weisen auf eine gute Modellpassung hin (vgl. Bollen, 1989). Mit dem χ²-Wert kann getestet werden, ob sich zwei (geschachtelte) Modelle signifikant in Ihrer Modellpassung unterscheiden. Die Parameter des Models wurden mit dem Maximum-Likelihood Schätzer (Mplus 6.0) geschätzt. Der Datensatz enthielt keine fehlenden Werte.

    Gewissenhaftigkeit wurde mit vier Items einer Kurzskala des Big-Five Inventorys (Rammstedt & John, 2005) gemessen. Auf latenter Ebene wurde Gewissenhaftigkeit mit einem tau-kongenerischen Messmodell mit ungleichen Pfadkoeffizienten und ungleichen Fehlervarianzen abgebildet.

     

    Itemanalysen

    Die Analyse der Daten weist auf die Eindimensionalität des gemessenen Konstrukts hin. Ein paralleles Messmodell mit gleichen Pfadkoeffizienten und gleichen Fehlervarianzen (Steyer & Eid, 2001) wies einen guten Modelfit auf, RMSEA = 0.05, CFI = 0.99,  χ²(13) = 17.72, p = .169. Die Varianz der latenten True-Score Variablen betrug σ² = 0.43, p < .001 und die Varianz der latenten Fehlervariablen σ² = 0.21, p < .001. Die Differenz zu einem tau-kongenerischen Messmodell mit ungleichen Pfadkoeffizienten und ungleichen Fehlervarianzen war nicht signifikant, Δχ²(8) = 12.35, p = .136.

     

    Itemkennwerte

    Die Itemkennwerte wurden in der Stichprobe bestehend aus N = 138 Vorgesetztenbeurteilungen bestimmt und sind in Tabelle 4 dargestellt.  Die standardisierten Faktorladungen der Items sind in Abbildung 2 dargestellt.


     

    Tabelle 4

    Itemkennwerte der Skala zur Beurteilung beruflicher Leistung

     

    Mittelwert (M)

    Standard-abweichung

    Schiefe

    Kurtosis

    Trennschärfe (rit)

    Schwierigkeits-index (P)

    Item 1

    5.17

    0.78

    -1.25

    4.51

    0.74

    86

    Item 2

    5.24

    0.79

    -1.01

    1.35

    0.73

    87

    Item 3

    5.32

    0.86

    -1.78

    4.68

    0.80

    89

    Item 4

    5.28

    0.78

    -1.56

    5.47

    0.82

    88

    Item5

    5.19

    0.81

    -1.37

    4.36

    0.80

    86

    Anmerkung. Skala von 1 (trifft überhaupt nicht zu / sehr schlecht) bis 6 (trifft vollständig zu / sehr gut), P=100*M/6, N=138.

     

     

    Objektivität

    Die Skala wird von dem Vorgesetzten eines Mitarbeiters beantwortet. Daher kann nicht ausgeschlossen werden, dass die Skala ebenso Eigenschaften des Vorgesetzten abbildet. Dies ist besonders zu beachten, wenn verschiedene Vorgesetzte ihre Mitarbeiter bewerten.

     

    Reliabilität

    Die Reliabilitätsschätzungen der Skala liegen in einem sehr guten Bereich. Cronbachs Alpha beträgt α = 0.91, die Split-Half Korrelation (Spearman-Brown korrigiert) beträgt r = .89.

     

    Validität

    Die inhaltliche Validität der Skala ist gegeben. Die fünf Items der Skala wurden von N = 18 Führungskräften als sehr geeignet zur Beurteilung der beruflichen Leistung bewertet, = 4.89 auf einer Skala von sehr ungeeignet (1) bis sehr geeignet (6).

    Es gibt Hinweise auf die konvergente Validität der Skala. In der Stichprobe der N =138 Berufstätigen korreliert der Mittelwert der Skala zur Beurteilung beruflicher Leistung positiv mit dem Mittelwert der Skala Gewissenhaftigkeit,  = .17, = .041.

    Weitere Hinweise für die prädiktive Validität finden sich bei Danner, Hagemann, Hager, Schankin und Funke (2011). Die Autoren zeigen einen signifikanten Zusammenhang zwischen beruflicher Leistung und der Leistung beim Lösen von komplexen Problemen. Die Teilnehmer Ihrer Studie bearbeiteten zu zwei Messzeitpunkten verschiede Computersimulationen, die das Problemlösen in alltagsnahen, komplexen, vernetzten, dynamischen und intransparenten Situationen erfasst. Mittels Latent State-Trait Modellen (Steyer, Schmitt & Eid, 1999) konnten die Autoren zeigen, dass ein signifikanter Zusammenhang zwischen Trait-Unterschieden im komplexen Problemlösen und der Beurteilung der beruflichen Leistungsfähigkeit besteht. Der Zusammenhang zwischen der Beurteilung beruflicher Leistung und Trait Unterschieden im komplexen Problemlösen deutet darauf hin, dass die Skala zur Beurteilung beruflicher Leistung allgemeine Leistungsunterschiede abbildet, die zeitlich stabil und transsituativ konsistent sind.

     

    Deskriptive Statistiken (Normierung)

    In der Stichprobe der N = 138 Vorgesetztenbeurteilungen betrug der Mittelwert der Skala M = 5.24 (SD = 0.69). Der Verteilung der Skala war leicht linksschief (Schiefe  -1.98).

     

     

    Prof. Dr. Daniel Danner, Hochschule der Bundesagentur für Arbeit (HdBA), Seckenheimer Landstraße 16, 68163 Mannheim, E-Mail: daniel.danner@hdba.de