AC-Newsletter Ausgabe 17: Beobachtertraining mit neuer Qualität

Wahrnehmungs- und Beurteilungsfehler im Beobachtungsprozess
Alles AC-Profil kennen die klassischen Wahrnehmungs- und Beurteilungsfehler: Halo-Effekt, Reihenfolge-Effekte... In Beobachtertrainings werden diese meist erläutert und im Glauben an den guten Menschen damit die Hoffnung verbunden, dass die Beobachter nunmehr differenzierter vorgehen. Doch kann mit solchen Appellen das Menschenbild von Beobachter beeinflusst werden? Damit stellt sich die Fragen nach dem Nutzen des Beobachtertrainings überhaupt.

Das Beobachtertraining - eine Qualitätsanforderung an das AC
Die Rolle des Beobachters lebt aus der Sicht der AC-Konstrukteure aus einem Spannungsfeld. Einerseits ist der Einsatz von Beobachtern nur sinnvoll, wenn man ihnen ihre Erfahrungen und die Individualität ihrer Wahrnehmung belässt. Andererseits sind viele der oben beschriebenen verzerrenden Wahrnehmungsfehler nicht tolerierbar. Die Durchführung eines Beobachtungstrainings ist eine der Qualitätsanforderungen des Arbeitskreises AC e.V. Ziele eines Beobachtertrainings sind auf der einen Seite ein „vertraut machen" der Beobachter mit den eingesetzten Übungen und Beobachtungssystemen, zum anderen die Sensibilisierung hinsichtlich typischer Wahrnehmungsfehler.

Kein empirischer Nachweis des Nutzens
Die wichtigste Untersuchungen zum Thema ist nach wie vor die Metaanalyse zum AC von Gaugler, Rosenthal, Thornton & Bentson (1987). Darin werden AC mit und ohne Beobachtertrainings im Hinblick auf Kennziffern der externen Validität verglichen. Ergebnis: AC mit Beobachtertraining erweisen sich keinesfalls als überlegen gegenüber AC ohne spezielles Beobachtertraining. Allerdings: Was ist ein Beobachtertraining? Hinter dem Begriff eines Beobachtertrainings dürften sich auch sehr unterschiedliche Qualitäten verbergen, wie auch an den zitierten Untersuchungen deutlich wird. Das Mitlaufen in einem AC oder die faktenorientierte Erläuterung der Übungsinhalte dürfte wenig Einfluss auf die Beobachterqualität besitzen.

Beobachtertrainings als Informationsveranstaltung bringen wenig
Häufige Bestandteile von Beobachtertrainings sind das Durchspielen von AC-Übungen und die mündliche Erläuterung der klassischen Wahrnehmungseffekte (Halo-Effekt etc.). In der Erhebung zum Praxisstand der amerikanischen AC (Spychalski et al., 1997) geben 87,7 % der Organisationen an, dass ihr Beobachtertraining dieses Modul enthält. Spezielle Studien aus der umfangreicheren Forschung zu Beurteiler- und Performance Management Systemen ergeben jedoch, dass die Schulung von Beurteilern in typischen solcher Fehler keine Effekte in der Beurteilungsgenauigkeit erbringt (Woehr & Huffcutt, 1994; Goodstone & Lopez, 2001).

Daher weist die bisherige Datenlage zusammenfassend darauf hin, dass Beobachtertrainings, die eher Informationsveranstaltungen darstellen, wenig Nutzen bringen. Lernen bedeutet ja bekanntermaßen dauerhafte Einstellungs- und Verhaltensänderung. Daher sollten Bestandteile eines Beobachtertrainings auch Elemente sein, die beim Beobachter tatsächlich Einfluss auf den Prozess der Beobachtung nehmen: Beobachtungsfähigkeit nach Anforderungen entwickeln oder Differenzierbarkeit zwischen Dimensionen verbessern.

Optimiertes Beobachtertraining
In Anbetracht der oben aufgeführten wissenschaftlichen Erkenntnisse schlagen wir ein optimiertes Beobachtertraining vor, das über Appelle hinausgeht. Der einzelne Beobachter soll Lernimpulse erhalten. Kernpunkt ist der Abgleich mit einem Benchmark oder Expertenurteil. „Experten" in diesem Sinn sind entweder der (interne) Auftraggeber, der die Zielkultur festlegt oder die AC-Profis aus der Personalabteilung.

Das Video- und computerunterstützte Beobachtertraining in vier Schritten
Um das optimierte Beobachtertraining zu erstellen und durchzuführen, gehen wir in vier Schritten vor: Im ersten Schritt werden die wichtigsten Übungen des Assessment Centers professionell auf Video aufgezeichnet. Im zweiten Schritt wird das differenzierte Expertenurteil gemeinsam mit Personalabteilung und Führungskräften erstellt. In der Beobachterschulung wird das Video präsentiert und die Beobachter bewerten das gesehene Verhalten. Im vierte Schritt erfolgt dann der Abgleich von Beobachter- und Expertenurteil sowie der Reflexion der eigenen Beurteilungstendenzen.

Schritt 1: Professionelles Aufzeichnen der wichtigsten Übungen auf Video

Im ersten Schritt werden die zentralen Übungen professionell aufgezeichnet. Dabei wird nicht die perfekte Lösung, sondern ein mögliches Verhalten präsentiert, das zwischen den Dimensionen und auch innerhalb der Verhaltensanker variiert. Dadurch wird ein häufiger Wahrnehmungsfehler, der sogenannte Halo-Effekt, deutlich sichtbar. Der Halo-Effekt oder Überstrahlungseffekt beschreibt, wie eine grundsätzlich positive oder negative Beurteilung einer Person implizit auf die Bewertung anderer Eigenschaften und Merkmale Einfluss nimmt.

Schritt 2: Erstellung einer differenzierten Expertenbewertung

Im zweiten Schritt werden die aufgezeichneten Simulationen anhand der Beobachtungsinstrumente von Experten bewertet. Dadurch entsteht eine standardisierte Einschätzung, die den Beobachtern als Orientierung dient. Idealerweise sind an dieser Einschätzung neben erfahrenen Wirtschaftspsychologen auch interne Mitarbeiter aus dem Bereich Personal und Führungskräfte aus der Linie beteiligt. Dadurch kann die unternehmensspezifische Erwartung hinsichtlich „richtigem Verhalten" in die Entwicklung des Standards mit einfließen und die Akzeptanz des vereinbarten Standards wird deutlich erhöht.

Schritt 3: Beobachtertraining: Darbietung des Videos / Individuelle Beobachtung

Während des Beobachtertrainings wird im Schritt 3 die aufgezeichnete Rollenübung vorgeführt. Die Beobachter füllen parallel den Beobachtungsbogen aus, mit dem Ziel pro übergeordneter Dimension 4-6 zentrale Zitate bzw. Beobachtungen zu dokumentieren. Ob eine Beobachtung positiv oder negativ im Hinblick auf die Dimension eingestuft wird, wird durch ein vorangestelltes + oder - gekennzeichnet. Im Anschluss erfolgt dann die numerische Bewertung der einzelnen Verhaltensanker - häufig auf einer Skala von 1 bis 5. Diese Bewertungen werden in ein speziell angefertigtes Excel-Tool eingegeben.

Schritt 4: Abgleich Expertenurteil / Beobachterurteil - Reflexion der persönlichen Beurteilungstendenzen

Im vierten Schritt werden nun die Beobachterurteile mit den Expertenurteilen verglichen. Dabei ist es möglich den Vergleich zum Gruppenmittelwert, die Streuungen innerhalb der Beobachter, sowie die einzelnen Beobachter-einschätzung im Vergleich zum Expertenurteil zu visualisieren. Zur Unterstützung der anschließenden Diskussion werden die zentralen Szenen im Video, die entscheidend für die Bewertung eines Verhaltensanker sind, im Vorfeld zusammengeschnitten. Dadurch wird das Expertenurteil nachvollziehbar. Durch den Vergleich der eigenen Einschätzung mit denen der Anderen, werden individuelle Beurteilungs-tendenzen, wie z. B. Tendenz zur Mitte, deutlich.