Online Assessment im offenen Antwortformat

29
Mrz

Online Assessment im offenen Antwortformat

Alle Online-Tests leiden bisher unter einer großen Einschränkung: Soziale Erwünschtheit. Meist lautet das Antwortformat: „Welche der vier Entscheidungsalternativen würden Sie wählen?“. Als Ergebnis hat man häufig nur sozial erwünschte Antworten. Die künstliche Einschränkung der Verhaltensvielfalt gilt in diesem Zusammenhang als zentraler Kritikpunkt. Online Assessment

Erfassung von maximaler Verhaltensbandbreite

Unser Online Assessment begegnet dieser Kritik mit einem neuen Format: Die Antworten können mit E-Mails oder Videonachrichten erstmals frei formuliert werden. In unserem Online-Assessment sind die Aufgaben z. B. Beschwerden von Kunden, Auswertung von Geschäftstabellen oder Konflikte im Team. Die Kandidaten werden dann gebeten, sich in einer auf eine Minute begrenzten Antwort an den Kunden oder das Team zu wenden. Im Unterschied zu bisherigen

Online Assessment - Videobotschaften

Beispielaufgabe: Chefin möchte Auswertung zu Benchmarkanalyse formuliert?

Online-Tests kann eine ganz andere Verhaltensbandbreite bewertet werden: Wie geschickt werden Konflikte angesprochen? Wie wendet sich der Kandidat an einen kritischen Kunden? Wie werden Aufträge an Mitarbeiter formuliert.

Das Erreichen maximaler, beziehungsweise hoher Punktzahl fordert eine intensive Auseinandersetzung mit der Fallstudie – dazu zählt sowohl das Stimulus Material an sich, als auch die ergänzenden Fact-Sheets. Zu den Fact-Sheets zählen beispielhaft ein Office Benchmarking, ein Cost Overview oder auch diverse Projektdokumentationen. Die Herausforderung besteht zunächst in der Erfassung und anschließend in der Reduzierung und Interpretation des Materials.

Asynchrone Auswertung

Frei formulierte Antworten bedürfen einer gesonderten Auswertung – diese erfolgt im Unterschied zu einem klassischen Assessment Center jedoch nicht parallel zu der Durchführung, sondern unabhängig / später („asynchron“). Die Software sieht dazu Bewertungsmasken vor, in denen genau vorgegeben ist, welche Antwort welchen Punktwert ergibt. Standardisierte Auswertungsschemata garantieren während des gesamten Prozesses maximale Auswertungsobjektivität.

Onlien Assessment - Auswertung

Auswertungen der einzelnen Teilnehmer (Für eine Großansicht bitte anklicken)

Auswertung der Vorgänge

Online Assessment - Online Fallstudie Auswertung

Differenzierter Ergebnisbericht

 

 

 

 

 

 

 

Neben der Vergabe von Punktwerten können vom Auswerter beispielhafte Zitate als Belege aus den Antwort-Mails der Teilnehmer herauskopiert werden. So entsteht am Ende des Auswertungsprozesses ein etwa 10-seitiger Ergebnisbericht. Aussagen gibt es zu den Kompetenzen: Mastering Complexity, Customer Orientation, Communication, Diligence, Analytical Skills, Leadership und Driving Business. Das Online-Assessment als Zwischending zwischen Online-Test und Assessment-Center bietet den Vorteil aus beiden Welten: Neben Belegen und beispielhaften Zitaten gibt es einen Normwert, der auswertungsobjektiv die Leistung des Teilnehmers im Vergleich zu anderen Teilnehmern ausweist. Das ist so im bisherigen Assessment Center nicht möglich.

nterkorrelationen Online Assessment und Life-Assessment

Interkorrelationen Online Assessment und Life-Assessment (Quelle: Kriebel, 2016)

Validität nahe an der Qualität eines kompletten Assessment Center

In einer Validierungsstudie (Kriebel, 2016 wurden N=30 Teilnehmer gebeten, einmal das Online-Assessment zu bearbeiten und anschließend ein komplettes, klassisches Assessment-Center zu durchlaufen (IV=Interview, RÜ=Rollenübung, PK=Postkorb). Die Tabelle zeigt die Zusammenhänge. Erwartungsgemäß korrelieren die Leistungen in der Kompetenz Leadership (LS) und Kundenorientierung (CM) mit den Ergebnissen in der Rollenübung, die Leistung in Analytischer Kompetenz (AS) mit dem Postkorb des Life-AC und das Interview mit passsenden Kompetenzen. Insgesamt ergab sich ein außergewöhnlich hoher Zusammenhang von r=.864** zwischen Online-Assessment und Assessment Center. Bewertet wurde auch die Zuverlässigkeit des Verfahrens mit einem Split-Half-Koeffizienten von .936.

Anwendung: Kombination Online Assessment mit Assessment Center

Der Durchführungsaufwand liegt bei etwa 90 Minuten und die Auswertung bei 60 Minuten. In Aufwand und Qualität liegt das Online-Assessment zwischen herkömmlichen Online-Tests und dem Assessment Center. Dies ermöglicht neue Vorgehensweisen, z. B. hybride AC, also die Verkürzung des herkömmlichen AC oder DC.

Ergebnisse im Online-Assessment lassen eine vorläufige Potenzialeinschätzung zu, der Nutzen besteht hier in einer deutlichen Aufwands-und Kostenersparnis: Möglicherweise nicht qualifizierte Kandidaten werden vorab identifiziert, sodass eine Einladung zum Life-AC nicht mehr ausgesprochen wird. Am Tag des klassischen Verfahrens gewinnt man durch die Auslagerung außerdem wertvolle Zeit.

Mit Blick auf Employer Branding (zu dt. „Arbeitgebermarke“) etabliert sich das Online-Assessment als attraktivitätssteigerndes Instrument – das ästhetisch ansprechende Design, die modernen Visualisierungen und das unkonventionelle Aufgabenformat zahlen in hohem Maße auf die Arbeitgeberattraktivität ein.

Leistungen von Obermann Consulting

  • Bereitstellung und Verwaltung von Links zur Online-Fallstudie
  • Auswertung durch einen geschulten Consultant
  • Customizing Online – Assessment mit eigenen Inhalten
  • Kürzen des Life – AC – Herauslagern von einzelnen Verfahrenselementen

 

Weitere Artikel dieser Newsletterausgabe: