Online Assessment

Online Assessment

Zwei Varianten des digitalen Assessments

Herkömmliche Online-Tests leiden bisher unter einer großen Einschränkung: Soziale Erwünschtheit. Meist lautet das Antwortformat: „Welche der vier Entscheidungsalternativen würden Sie wählen?“. Als Ergebnis hat man häufig sozial erwünschte Antworten. Die künstliche Einschränkung der Verhaltensvielfalt gilt in diesem Zusammenhang als zentraler Kritikpunkt.

Erfassung von maximaler Verhaltensbandbreite
Unser Online Assessment begegnet dieser Kritik mit einem neuen Format: Die Antworten können mit E-Mails oder Videonachrichten erstmals frei formuliert werden. In unserem Online Assessment sind die Aufgaben z. B. Beschwerden von Kunden, Auswertung von Geschäftstabellen oder Konflikte im Team. Die Kandidaten werden dann gebeten, sich in einer auf eine Minute begrenzten Antwort an den Kunden oder das Team zu wenden. Im Unterschied zu bisherigen Online-Tests kann eine ganz andere Verhaltensbandbreite bewertet werden: Wie geschickt werden Konflikte angesprochen? Wie wendet sich der Kandidat an einen kritischen Kunden? Wie werden Aufträge an Mitarbeiter formuliert?

Das Erreichen maximaler, beziehungsweise hoher Punktzahl fordert eine intensive Auseinandersetzung mit der Fallstudie – dazu zählt sowohl das Stimulus Material an sich, als auch die ergänzenden Fact-Sheets. Zu den Fact-Sheets zählen beispielhaft ein Office Benchmarking, ein Cost Overview oder auch diverse Projektdokumentationen. Die Herausforderung besteht zunächst in der Erfassung und anschließend in der Reduzierung und Interpretation des Materials.

Asynchrone Auswertung
Frei formulierte Antworten bedürfen einer gesonderten Auswertung – diese erfolgt im Unterschied zu einem klassischen Assessment Center jedoch nicht parallel zu der Durchführung, sondern unabhängig / später („asynchron“). Die Software sieht dazu Bewertungsmasken vor, in denen genau vorgegeben ist, welche Antwort welchen Punktwert ergibt. Standardisierte Auswertungsschemata garantieren während des gesamten Prozesses maximale Auswertungsobjektivität.

Neben der Vergabe von Punktwerten können vom Auswerter beispielhafte Zitate als Belege aus den Antwort-Mails der Teilnehmer herauskopiert werden. So entsteht am Ende des Auswertungsprozesses ein etwa 10-seitiger Ergebnisbericht. Aussagen gibt es zu den Kompetenzen: Mastering Complexity, Customer Orientation, Communication, Diligence, Analytical Skills, Leadership und Driving Business. Das Online Assessment als Zwischending zwischen Online-Test und Assessment Center bietet den Vorteil aus beiden Welten: Neben Belegen und beispielhaften Zitaten gibt es einen Normwert, der auswertungsobjektiv die Leistung des Teilnehmers im Vergleich zu anderen Teilnehmern ausweist. Das ist so im bisherigen Assessment Center nicht möglich.

Validität nahe an der Qualität eines kompletten Assessment Center
In einer Validierungsstudie (Kriebel, 2016) wurden N=30 Teilnehmer gebeten, einmal das Online Assessment zu bearbeiten und anschließend ein komplettes, klassisches Assessment Center zu durchlaufen (IV=Interview, RÜ=Rollenübung, PK=Postkorb). Die Tabelle zeigt die Zusammenhänge. Erwartungsgemäß korrelieren die Leistungen in der Kompetenz Leadership (LS) und Kundenorientierung (CM) mit den Ergebnissen in der Rollenübung, die Leistung in Analytischer Kompetenz (AS) mit dem Postkorb des Life-AC und das Interview mit passsenden Kompetenzen. Insgesamt ergab sich ein außergewöhnlich hoher Zusammenhang von r=.864** zwischen Online Assessment und Assessment Center. Bewertet wurde auch die Zuverlässigkeit des Verfahrens mit einem Split-Half-Koeffizienten von .936.

Online-gestütztes Auswertungstool


Interkorrelationen Online Assessment und Life-Assessment (Quelle: Kriebel, 2016)

 

 

 

Anwendung: Kombination Online Assessment mit Assessment Center
Der Durchführungsaufwand liegt bei etwa 90 Minuten. In Aufwand und Qualität liegt das Online Assessment zwischen herkömmlichen Online-Tests und dem Assessment Center. Dies ermöglicht neue Vorgehensweisen, z. B. hybride AC, also die Verkürzung des herkömmlichen AC

Auswertung und Detailanalyse einzelner Vorgänge

oder DC. Ergebnisse im Online Assessment lassen eine vorläufige Potenzialeinschätzung zu, der Nutzen besteht hier in einer deutlichen Aufwands- und Kostenersparnis: Möglicherweise nicht qualifizierte Kandidaten werden vorab identifiziert, sodass eine Einladung zum Life-AC nicht mehr ausgesprochen wird. Am Tag des klassischen Verfahrens gewinnt man durch die Auslagerung außerdem wertvolle Zeit.

Mit Blick auf Employer Branding (zu dt. „Arbeitgebermarke“) etabliert sich das Online Assessment als attraktivitätssteigerndes Instrument – das ästhetisch ansprechende Design, die modernen Visualisierungen und das unkonventionelle Aufgabenformat zahlen in hohem Maße auf die Arbeitgeberattraktivität ein.

Die innovative Online Case Study vereint die Vorteile von Situational Judgement Test sowie kognitiven Testverfahren, indem der Teilnehmer durch ein Intro-Video in die Position des Head of Office eines fiktiven Beratungsunternehmen „Brooklyn Max Consulting“ versetzt wird. Innerhalb von 70 Minuten sind 10 E-Mails und Video-Messages zu bearbeiten, die jeweils vier Teilaufgaben beinhalten. Hierbei handelt es sich um alltagstypische Problemstellungen, die branchenübergreifend an eine Führungs- oder Nachwuchskraft herangetragen werden: Anfragen und Beschwerden von Kunden, Konflikte zwischen Kollegen, die Auswertung von Benchmarks und Unternehmenszahlen. Nach ein paar Minuten „fliegt“ jeweils eine neue E-Mail oder Video-Message herein, die dann zu bearbeiten ist.

Insgesamt sind auf diese Weise 40 Items zu bearbeiten, bei denen jeweils in einem Multiple Choice Format die beste und die schlechteste Antwort aus vier möglichen Antwortalternativen auszuwählen ist.

Fakten Online Case Study / Online-Postkorb:

  1. Bearbeitungsdauer: 70 Min.
  2. Anzahl Items / Vorgänge: 4 x 10 = 40
  3. Anzahl Antwortalternativen: 4 x 40 = 120
  4. Bewertungskriterien: Komplexitätsverständnis, Analysefähigkeit, Kundenorientierung, Unternehmerisches Handeln und Leadership
  5. Auswertung: Gesamtergebnis auf 5-er Skala, Einzelergebnisse
  6. Sprachen: Deutsch, Englisch
  7. Einsatzmöglichkeiten: Bewerbervorauswahl, Pre-Assessment für AC / DC

Eine Beispielsaufgabe ist eine E-Mail der Chefin an den Teilnehmer mit der Fragestellung: „Im Office Benchmarking ist erkennbar, dass die Beratung viele Projekte an die Konkurrenz verloren hat. Was sind auf Basis der Zahlen geeignete und weniger geeignete Maßnahmen, um das Business wieder nach vorne zu bringen?“. Für die Beantwortung der Frage müssen dann mehrere Tabellen angemessen ausgewertet werden. Die Online Case Study ermöglicht eine valide und reliable Kompetenzmessung auf fünf Dimensionen: Komplexitätsverständnis, Analysefähigkeit, Unternehmerisches Handeln, Kundenorientierung und Leadership. Jede der Kompetenzen wird durch 8 Items abgedeckt, so dass Zufallstendenzen reduziert werden.

Im Unterschied zum papierbezogenen Postkorb bzw. Fallstudie ist die Auswertung auswertungsobjektiv und abgesichert anhand von Vergleichsnormen (aktuell für Absolventen / Young Professionals und bestehende Führungskräfte). Durch die Auswertung der Ergebnisse in Relation zu einer umfangreichen Normstichprobe ist eine objektive Aussage über den Leistungsstand des Teilnehmers möglich.

Durch die vollständig computergestützte Anwendung wird der administrative Aufwand auf ein Minimum reduziert und die zeit- bzw. ortsunabhängige Durchführung der Online Case Study ermöglicht. Im Vergleich zu klassischen Intelligenztests wird die Bearbeitung der Online Case Study durch den Business-Bezug und die Einbettung in ein realitätsnahes Szenario als interessant und anregend wahrgenommen.

Die Einsatzmöglichkeiten sind vielfältig:  in der Rekrutierung zur Vorauswahl von Trainees, Young Professionals und angehenden Führungskräften; in AC / DC bei internen Potenzialträgern oder Bewerbern zur Reduzierung der Life-Bearbeitungszeit und Vorverlegung in ein Pre-Assessment.

Hinsichtlich ihrer Aussagekraft ist die Online Case Study gleichauf mit klassischen AC-Übungen. Die Validierungsstudien haben hohe Korrelationen von bis zu 0,736** in der Vorhersage der Ergebnisse von ein- bis dreitägigen Development Center oder Potenzialanalysen ergeben.

Leistungen

  • Bereitstellung und Verwaltung von Links für die Durchführung der Fallstudie
  • Customizing Online Assessment mit eigenen Inhalten
  • Auswertung automatisch (Online Case Study) oder durch geschulten Consultant (Online Assessment)
  • Kürzen des Live-AC durch Vorab-Bearbeitung einzelner Verfahrenselementen

Fakten zur Online Case Study

  1. Bearbeitungsdauer: 70 Min.
  2. Anzahl Items / Vorgänge: 4 x 10 = 40
  3. Anzahl Antwortalternativen: 4 x 40 = 120
  4. Bewertungskriterien: Komplexitätsverständnis, Analysefähigkeit, Kundenorientierung, Unternehmerisches Handeln und Leadership
  5. Auswertung: Gesamtergebnis auf 5-er Skala, Einzelergebnisse
  6. Sprachen: Deutsch, Englisch
  7. Einsatzmöglichkeiten: Bewerbervorauswahl, Pre-Assessment für AC / DC

Fakten zum Online Assessment

  1. Bearbeitungsdauer: 90 Min.
  2. Anzahl Items / Vorgänge: 4 x 14 = 56
  3. Bewertungskriterien: Komplexitätsverständnis, Analysefähigkeit, Kundenorientierung, Unternehmerisches Handeln, Leadership, Gewissenhaftigkeit und Kommunikation
  4. Auswertung: Gesamtergebnis auf 5-er Skala, Einzelergebnisse
  5. Sprachen: Deutsch, Englisch
  6. Einsatzmöglichkeiten: Bewerbervorauswahl, Pre-Assessment für AC / DC

Projektbeispiele

Artikel