Was bringen Beobachtertrainings? Empirische Untersuchung
Dr. Stefan Höft ist als Psychologe beim DLR in Hamburg für die umfangreichen Auswahlprogramme für Piloten u.a. für die Lufthansa tätig. In diesem Rahmen wird nach einer umfangreichen Testbatterie auch ein AC eingesetzt. Als Beobachtertraining werden für die Senior-Piloten, die als Beobachter an dem AC teilnehmen, Videosequenzen durchgeführt, in die Akteure nach einem festgelegten Drehbuch agieren und unterschiedliches anforderungsrelevantes Verhalten zeigen. Die Beobachtungs- und Bewertungsgenauigkeit der Beobachter wird vor und nach dem Training erhoben (womit?). Maßstab ist der Zusammenhang zu einem vorher definierten Expertenmaßstab. Eine Erkenntnis: Durch dieses Training konnte die Verbesserung der Bewertungsgenauigkeit empirisch bestätigt werden (Verbesserung durch Video? Wurde der Effekt aufgeschlüsselt? Schlussfolgerung für Anwender?).
Eine zweite Fragestellung betraf den Vergleich von zwei verschiedenen Systemen der AC-Beobachtung. Zum einen wird das klassische System eingesetzt, bei dem die Beobachter auf einem freien Blatt Beobachtungen festhalten und dann nach der AC-Übung die Notizen durchgehen und mit einem Zeichen markieren, zu welcher Anforderungsdimensionen dieses Verhalten zuzuordnen ist. Das zweite System ist auch dasjenige, was Obermann Consulting in seinen ACs verwendet. Dabei erhalten die Beobachter einen Bezugsrahmen: Sie schreiben ihre Aufzeichnungen zum Verhalten direkt in der passenden Anforderungskategorie auf. In der Untersuchung wurde jedes der Systeme von jeweils 65 Versuchspersonen (in der Beobachterrolle)angewendet. Es konnte gezeigt werden, dass das bezugsrahmenorientierte Training zu einer präziseren Beschreibung der Personen führt.
Quelle: Beobachtung trainieren oder Bewertung coachen? Eine empirische Studie zur Effektivität unterschiedlicher Trainingskonzepte für Assessment-Center Beobachter. Höft, Stefan, Lüth, Nina & Steinbrecher, Ulrich (2005)
Wie kann die Konstruktvalidität von ACs erhöht werden?
Seit langem plagt die wissenschaftliche Auseinandersetzung mit ACs ein Problem: Sie sind zwar sehr valide bezüglich praktischer Kennwerte wie Arbeitsleistung, beruflichen Erfolg etc., ihre Konstruktvalidität ist jedoch gering. Dies ist daraus erkennbar, dass ein und die gleiche Anforderungsdimensionen eines Teilnehmers (z. B. „Kommunikative Fähigkeiten“) in verschiedenen Übungen (z. B. Rollenübung und Gruppendiskussion) von den Beobachtern unterschiedlich bewertet werden.
Der mittlerweile in Zürich tätige Professor Martin Kleinmann hat hier schon Mitte der 90er Jahre die Erkenntnisse vorangetrieben. Er hat herausgefunden, dass es eine interindividuelle unterschiedlich ausgeprägte Fähigkeit der Kandidaten gibt, hinter die Kulissen des ACs zu schauen und die jeweils erhobenen Anforderungskriterien zu entdecken oder nicht. Nur wenn die Kandidaten die Anforderungsdimensionen erkennen und sich in den verschiedenen Übungen danach gleichmäßig ausrichten, entsteht Konstruktvaldität. Diese Fähigkeit der Kandidaten wird mittlerweile ATIC (Ability dot Identify Criteria) bezeichnet.
In einer neuen Untersuchung konnte nachgewiesen werden, dass auch in Interviews durch diese Fähigkeit (ATIC) die Leistungen von Bewerbern teilweise erklärt werden können. Zudem korrelieren die ATIC-Werte der Kandidaten im AC mit denen im Interview.
Was genau ist ATIC? Die Korrelationen mit numerischer oder verbaler Intelligenz im AC ist gering. Somit ist das ATIC eine eigenständige Fähigkeit von Kandidaten im AC, in intransparenten Situationen die relevanten Anforderungen zu erkennten. Die Forscher arbeiten weiter daran herauszufinden, was diese Fähigkeit von Intelligenz unterscheidet.
Quelle: Die Fähigkeit, relevante Anforderungsdimensionen zu erkennen und ihr Bezug zu kognitiven Fähigkeiten: Befunde aus dem Assessment Center und Strukturierten Interviews. Klehe, Ute-Christine, Melchers, Klaus G., Richter, Gerald, Kleinmann, Martin, König, Cornelius, J. & Harstein, Thomas (2005)
Notwendigkeit der Beobachter-Rotation – Einfluss der Beobachter
In ACs werden die Teilnehmer in der Regel auf mehreren relevanten Anforderungsdimensionen beurteilt. Werden für die Beurteilung unterschiedlicher Dimensionen die selben Beurteiler eingesetzt, kann dies die Korrelationen der Dimensions-Beurteilungen verzerren. Wenn es einen Beobachter gibt, der immer milder oder kritischer beurteilt, so hat dies zur Folge, dass die Korrelationen zwischen den beurteilten Dimensionen künstlich erhöht werden. Dieser Effekt wird als die „Common Source-Varianz“ bezeichnet. Kritischer wird es noch, wenn der gleiche Kandidat von einem anderen Beobachter in einer weiteren Übung eingeschätzt wird. Angenommen, dieser zweite Beobachter hat wieder einen anderen Wahrnehmungsstil und beurteilt in dieser Übung die dort relevanten Dimensionen bei dem Kandidaten relativ ähnlich aber anders als der erste Beobachter in der ersten Übung.
Das Ergebnis ist wiederum als methodischer Artefakt eine geringe Konstruktvalidität des ACs: Die – von unterschiedlichen Beurteilern – erhobenen gleichen Dimensionen in unterschiedlichen Übungen korrelieren nur wenig miteinander. Die Antwort darauf ist wiederum eine möglichst hohe Standardisierung in dem Beobachtungssystem und eine konsequente Beobachterrotation sowie eine systematische Beobachterschulung zu Beginn.
Quelle: Die Fähigkeit, relevante Anforderungsdimensionen zu erkennen und ihr Bezug zu kognitiven Fähigkeiten: Befunde aus dem Assessment Center und Strukturierten Interviews. Melchers, Klaus G , Richter, Gerald, M. Kleinmann, Martin, König, Cornelius, J. & Harstein, Thomas, Klehe, Ute-Christine (2005)
Der Einfluss von Technik auf die Beobachtungsergebnisse im AC
Neue Techniken durchdringen auch die Potenzialdiagnostik. Das sind etwa Web-Assessments, PC-Postkörbe oder die Aufzeichnung von ACs auf Video. Dies betrifft auch die Administration von ACs. Bei Obermann Consulting werden z. B. zunehmend die Erfassung von Beobachtungen auf dem papiernen Beobachtungsbogen ersetzt durch die direkte Eingabe im Laptop und die automatische Weiterverarbeitung.
Eine neue Variante sind die sogenannten Tablet-PC´s als Eingabemedium. Diese werden etwa bei ACs von Microsoft eingesetzt. Dabei hat jeder Beobachter einen solchen Tablet-PC. Er macht dort direkt die Eingabe, kreuzt entsprechende Ratingskalen an und sendet diese Daten per WLAN an den PC im Backoffice. Der Vorteil liegt offensichtlich darin, dass jederzeit aktuelle Daten von allen Beobachtern vorliegen. Der Nachteil ist neben den Hardware-Kosten der Betreuungsaufwand im AC dahingehend, dass auch die Technik einwandfrei funktionieren muss.
In einer Studie wurden nun beide Erfassungsvarianten verglichen (Papier und Tablet-PC). Dabei wurde der Einfluss des Mediums auf die Inter-Rater Reliabilität und Validität untersucht. Erwartungsgemäß korrelierten die Beobachterurteile auf die gleichen Kandidaten im hohem Maße. Es gibt allerdings eine Überraschung: Die Beobachter mit Tablet-PC bewerten die gleichen Kandidaten wesentlich milder. Möglicherweise löst das Gefühl der eigenen Beanspruchung durch die Technik eine Nachsicht bei weniger guten Teilnehmerleistungen aus.
Quelle: Beeinflusst die Verwendung eines Tablet PCs die Gütekriterien eines Assessment Centers? Harks, Carolin & Holtmeier, Stephan.
Anforderungsanalyse über die Critical-Incident Methode – ist das alles?
Anforderungsanalysen sind die notwendige Grundlage hochwertiger Personaldiagnostik. Es hat sich mittlerweile herumgesprochen, dass lediglich das Sammeln von immer gleichen Anforderungslisten wenig bringt. Die resultierenden Anforderungsprofile sind von Unternehmen zu Unternehmen und Job zu Job sehr ähnlich. Sie reflektieren eher noch die Geschmacksunterschiede der jeweiligen Autoren. In der anspruchsvolleren Personalarbeit hat sich die Critical Incident Technique von Flanagan (1954) durchgesetzt. Diese hat den Vorteil, dass auch die jeweilige Anforderungssituation systematisch betrachtet wird. Der Nachteil der CIT-Methode ist jedoch, dass von den Merkmalen des derzeitigen Stelleninhabers auf die zukünftigen Anforderungen geschlossen wird (Bottom up Vorgehen). Im Negativfall wird damit die Historie der Jobanforderungen für die Zukunft zementiert.
Die Autoren der u.g. Studie haben anhand von Anforderungsanalysen bei 43 Stelleninhabern und Führungskräften demgegenüber zusätzlich das Top-down Vorgehen einsetzt. Dabei werden Anforderungen aus strategischen Unternehmenszielen und -werten abgeleitet, die Trends und Entwicklungen der Arbeitstätigkeit Rechnung tragen. Interessantes Ergebnis: 50% der ermittelten Anforderungen resultieren ausschließlich aus dem Bottom-up Vorgehen. Wesentliche Inhalte kommen jedoch auch aus dem Top-down Ansatz, einzelne Anforderungen sogar ausschließlich daraus. Die Studie empfiehlt daher für die Unternehmenspraxis dringend die Kombination beider Vorgehensweisen.
Quelle: Top-Down Vorgehen bei Anforderungsanalyen als notwendige Ergänzung zum Bottom-up Vorgehen: Empirische Befunde und Praxiserfahrungen. Koch, Anna, Strobel, Anja & Westhoff, Karl.