Mittwoch, 2. Mai 2012

Ratings als menschliche Fähigkeit?

Das Gewicht eines Steins mit Hilfe einer Waage und entsprechender Messwerte zu bestimmen, ist sehr sinnvoll. Die Länge einer Strecke mit Hilfe eines Bandmaßes und allgemein anerkannter Maßeinheiten zu messen, ebenso. Kompetenzen von Menschen mit Ratingskalen zu erfassen - ist das angemessen?

Zitat: "Ratingverfahren haben - richtig angewandt - unschätzbare Vorteile und in vielen Fällen gibt es kaum eine Alternative, die dem Untersuchungsgegenstand angemessen wäre."

Der Satz soll von Langer und Schulz von Thun stammen und wird in einem Beitrag in der Wirtschaftspsychologie-aktuell als Argument für die Anwendung der allzu bekannten Methode, Mitarbeiterkompetenzen zu beurteilen, verwendet.

Ein zweites Argument, das ebenfalls von Langer und Schulz von Thun (2007: Messung komplexer Merkmale in Psychologie und Pädagogik) stammt: Das menschliche Gehirn ist zur "Indikatorenverschmelzung" fähig. Soll heißen: Beim Rating berücksichtigt es die vielen Einzelindikatoren einer komplexen Sache wie sie z.B. eine Kompetenz darstellt. Oder anders ausgedrückt: Man muss eine Kompetenz nicht erst in zahlreiche kleine Einzelkompetenzen zerlegen, um sie messen zu können, das macht schon unser Gehirn, wenn wir ihm eine solche Skala vorlegen. Und zwar ganz automatisch und zuverlässig
Was zur Schlussfolgerung führt: Der Skalenwert, den ein Gehirn in Sachen Kompetenz auswirft, stimmt.
Angeblich funktionieren wir alle so - sei es im Verkehr, wenn wir komplizerte Entfernungs- und Geschwindigkeitsverhältnisse abschätzen oder wenn wir die Vertrauenswürdigkeit anderer Menschen beurteilen.

Einen kleinen Einschub in dem Zitat von Langer und Schulz scheint mir der Autor übersehen zu haben: "richtig angewandt". Müssen wir also richtiges Rating doch lernen?

Ich glaube, dass hier fundamentale Denkfehler vorliegen. Tatsächlich funktioniert unser Gehirn so, wie Langer und Schulz von Thun schreiben. Wenn uns jemand fragt: "Wie gut beherrschen Sie die Sprache auf einer Skala von 1 bis 10?" oder "Wie weit von Ihrem Ziel sind Sie entfernt, beurteilt auf einer Skala von 1 bis 10?" dann können wir dies ganz gut beurteilen. Intuitiv, automatisch.
Aber wie gut sind wir, wenn wir externe Phänome einschätzen? Lassen Sie mal mehrere Leute eine Strecke von A nach B einschätzen - und das ist alles andere als komplex. Oder das Gewicht eines Paketes. Welch ein Glück, dass wir hierfür andere Messverfahren als das des Ratings haben.

Soll heißen: Zwingt man uns, unsere Eindrücke der eigenen Befindlichkeit oder Eindrücke in einer Zahl auszudrücken, dann kriegen wir das gut hin. Aber wie sieht es mit der Beurteilung der Fähigkeiten anderer aus?

Langer und Schulz von Thun schreiben ja, es funktioniert, wenn es richtig angewandt wird. Der Beitrag handelt offenbar nicht von der Beurteilung von Mitarbeiterkompetenzen, sondern der Messung komplexer Merkmale in der Psychologie oder Pädagogik. Ich will nicht in Abrede stellen, dass gut trainierte Fachleute zu einigermaßen reliablen Ergebnissen bei der Anwendung von Ratingskalen kommen. Allerdings habe ich auch hier meine erheblichen Zweifel, basierend auf eigenen Beobachtungen in Forschungsprojekten mit psychisch Kranken, deren Verhalten nach der Einnahme von Medikamenten von Forschern "geratet" wurden. Die Ergebnisse gingen in statistische Auswertungen der Wirkung von Psychopharmaka ein... ohne Worte...

Aber Führungskräfte, die so komplexe Kompetenzen wie Teamfähigkeit, Konfliktfähigkeit, Belastbarkeit u.ä. mit Ratingsskalen bewerten sollen? Wenn die Ergebnisse überhaupt etwas aussagen, dann maximal über das Verständnis der Führungskräfte der jeweiligen Kompetenz. Mit anderen Worten: Das Ergebnis von Ratings sagt einiges über den Rater aus - aber mehr auch nicht.

Rezension zum Thema:
Siegeszug trotz Kritik, Wirtschaftspsychologie-aktuell 1/2012

2 Kommentare:

Raik-Michael Meinshausen (GEMINI Executive Search GmbH) - Köln hat gesagt…

"Äpfel und Birnen" - können doch miteinander "verglichen" (d.h. in Beziehung zueinander gesetzt) werden, da es mindestens ein - und das ist für den Vergleich entscheidend - gemeinsames Merkmal gibt (es sind tatsächlich mehrere), das beiden zu eigen ist.

So ist es auch bei anderen mehr komplexen Dingen wie "Kompetenzen". Kompetenzen lassen sich mit diversen Methoden und Verfahren betrachten.

Messen (Zuordnung eines emirischen Sachverhaltes zu einem numerischen Relativ), Rating (Beurteilung), Schätzen, Entscheidung (als "Spezialform der Beurteilung") etc. können Methoden und Verfahren zum Einsatz kommen. Wichtig hierbei ist die "Angemessenheit" von Methoden und Verfahren an die zu beantwortende Fragestellung.

Rating (Bewerten) bedeutet, verfügbare (d.h. nicht immer alle) Informationen zu einem bestimmten Sachverhalt "mit persönlicher Wertschätzung" zu einem eigenen Urteil über den Sachverhalt zu verknüpfen.

Rating ist demnach einerseits nicht frei von subjektiven Einstellungen und Werthaltungen, Rating unterliegt jedoch andererseits auch keiner völligen Beliebigkeit, da es ebenso von sachlichen Informationen abhängt.

Insofern erkenne ich keinen Widerspruch, Herr Thönneßen, sondern sehe verschiedene Aspekte angesprochen. Irre ich?

Felix Wiesner hat gesagt…

Was verstehen wir unter "Kompetenz"?

A- Ist es die Tendenz eine komplexe Verhaltensweise auf natürliche Weise ohne viel Überlegung quasi mit schlafwandlerischer Sicherheit zum richtigen Zeitpunkt zu zeigen? (Autopilot) - Wenn dies gemeint ist, können wir diese Neigung ziemlich sicher skalieren - und die Skala wäre z.B. in wieviel Prozent der Fälle die Person dies wohl tun würde. Macht das ein Online Assessment? Ja, manche machen das. Manche sogar ziemlich gut und reliabel.

Ist "Kompetenz" eine Fähigkeit, in bestimmten Situationen ein komplexe Verhaltensweise ganz bewusst und mit Überlegung zu zeigen? (Also nicht die natürliche Variante) Wenn dies gemeint ist können wir dies ziemlich sicher nicht skalieren und messen, weil hier Wahrnehmungen und "schauspielerische" Fähigkeiten gemessen werden müssten, die mit der eigentlichen Kompetenz nicht viel zu tun haben.

Diesem Effekt widmen sich die Konstrukteure von Fragebögen, indem sie die Problematik des sozial erwünschten Antwortens berücksichtigen. Manche können das gut, anderen ist das scheinbar wurscht.

Wenn Sie mir sagen könnten, was Sie genau meinen oder wissen wollen, können wir feststellen, ob und wie Sie an diese Werte kommen. Richtig angewendet geht da in der Tat einiges, aber die Grundlage ist m.E. nicht die psychologische Ausbildung des Testlesers, sondern die Konstrukte des Tests.