Das mit dem Psychologie-Studium ist schon eine Weile her. Mag sein, dass ich wesentliche Erkenntnisse der Testtheorie verdrängt habe, aber dann werde ich sicher schnell korrigiert. Es geht um Folgendes: Da entwickeln Berater einen neuen Test, in diesem Fall eine Postkorb-Übung zum Einsatz im Assessment Center. In dem speziellen Fall geht es darum, 20 e-Mails zu verarbeiten, sie also zu löschen, zu delegieren, Kalendereinträge vorzunehmen etc. Eben das, was auch im klassischen Postkorb verlangt wird.
Ich kann mich erinnern, dass es so etwas wie "Augenschein-Validität" gibt. Der Kandidat kann auf Grund der gestellten Aufgabe erkennen, was gemessen werden soll, nämlich seine Fähigkeit, mit der Flut von e-Mails umzugehen. Ob er in der Praxis sich ähnlich verhält, steht ja wie immer bei solchen Simulationen auf einem anderen Blatt.
Dann gibt es Validitätsberechnungen, die das Testergebnis mit dem Verhalten bzw. dem Erfolg in der Praxis vergleichen. Führen diese zu einem hohen Zusammenhang, würde man von einem validen Test sprechen. Solche Vergleiche wurden hier nicht angestellt. Dafür wurden die Resultate mit dem Ergebnis eines numerischen Intelligenztests verglichen. Und hier versagt mein Erinnerungsvermögen. Was sagt es mir, wenn die Autorinnen schreiben: "Das Ergebnis ... zeigt in der Tat tendenziell einen Übereinstimmung zwischen der Höhe des Testergebnisses im Mailboxverfahren sowie im numerischen Test"?
Mal abgesehen davon, dass bei 30 Probanden eine "tendenzielle Übereinstimmung" mehr als fragwürdig ist - was wäre, wenn sie extrem hoch wäre? Dann wüsste ich doch, dass die Beherrschung des e-Mail-Chaos von der numerischen Intelligenz abhängt - dann brauche ich den Test nicht, sondern könnte es bei dem Intelligenztest belassen. Ist der Zusammenhang gleich Null, weiß ich, dass hier eine völlig andere Fähigkeit (bzw. ein Mix aus anderen Fähigkeiten) gefordert ist. Was aber weiß ich über die Aussagekraft (Validität) des neuen Verfahrens, wenn die Bewältigung der Aufgabe irgendwas mit numerischer Intelligenz zu tun hat?
Es ist schon ein Kreuz mit den diagnostischen Testverfahren zur Messung von Managementfähigkeiten, oder?
Rezension zum Thema:
Mit Grips gegen die Mail-Flut, Personalmagazin 9/2010
Montag, 4. Oktober 2010
Aussagekraft von Tests
Abonnieren
Kommentare zum Post (Atom)
2 Kommentare:
Ja, da unterscheidet sich tatsächlich das Gute vom Gutgemeinten.
Ein Test ist eben erst dann ein Test, wenn man die dahinter liegenden Gütekriterien (wissenschaftlich) geprüft hat.
Die Korrelation zu einem anderen "validierten" Test ist sicher ein Instrument, aber es sollten - speziell bei der Vorhersage von Berufserfolg - auch noch andere Außenkriterien herangezogen werden.
Ich verweise in diesem Zusammenhang auf die Doktorarbeit meines Kollegen Dr. Kristof Kupka: E-Assessment: Entwicklung und Güteprüfung von zwei internetbasierten Simulationsverfahren zur Messung der Planungs- und Problemlöseleistung von zukünftigen (pädagogischen) Führungskräften - zu finden unter:
http://blog.recrutainment.de/2009/11/04/dissertation-von-dr-kristof-kupka-e-assessment-entwicklung-und-guteprufung-von-internetbasierten-simulationsverfahren-zur-messung-der-planungs-und-problemloseleistung/
Ein weiteres Problem ist doch hier wie immer die Validität des "über den Kamm scheren". Das Instrument des ACs ist von vornherein "Gleichmache". Nix gegen KPI's, Controlling gehört auch bei mir zum Job. Doch gerade in Zeiten von Krisen, Wegsehen, Mitlaufen bedarf es eben Persönlichkeiten, die auch den Mund aufmachen, Courage zeigen, handeln und auch mal gegen den Strom schwimmen, wenn es denn im Sinne des Unternehmens ist, statt sich diesen rigiden Regeln zu unterwerfen. Hier kann die Weisheit der Masse schnell in Herdentrieb umschlagen und es mangelt dann an unabhängigen Denkern.
Von daher re: ACs -
Numerische Intelligenz, Schnelligkeit, Übersicht - ja.
Managementfähigkeiten - nur sehr bedingt.
Kommentar veröffentlichen