Es gibt sie, es gibt sie nicht! Die aktuelle Befundlage zur Konstruktvalidität von Assessment Centern - Dr. Natalia Merkulova
←
→
Transkription von Seiteninhalten
Wenn Ihr Browser die Seite nicht korrekt rendert, bitte, lesen Sie den Inhalt der Seite unten
Es gibt sie, es gibt sie nicht! Die aktuelle Befundlage zur
Konstruktvalidität von Assessment Centern Dr. Natalia Merkulova
Seite 1 28. Juni 2018
Agenda.
1 Hintergrund Assessment Center
2 Kriteriumsvalidität von Assessment Centern
3 Konstruktvalidität von Assessment Centern
4 Moderatoren der Konstruktvalidität
5 Ein neues Modell
6 Evaluation des neuen Modells
7 Ausblick
Seite 2 28. Juni 2018
Kurzprofil Dr. Natalia Merkulova.
2001 – 2008 Universität Zürich
Studium Arbeits- und Organisationspsychologie / BWL
2009 – 2010 Wilhelm Kaderselektion
Rekrutierung und Selektion von Kadermitarbeitenden im Banken- und Versicherungswesen
2010 – 2012 Schweizer Armee
Organisationsanalyse zur Optimierung der Personalbindungsmassnahmen im Berufskader
Evaluation von Assessment Centern
Trainerin
2011 – 2014 Universität Zürich
Wissenschaftliche Assistentin & Doktorat zum Thema Assessment Center und Leadership
Development
2014 – heute assess + perform ag
Senior Consultant
1 Hintergrund Assessment Center
Hintergrund Assessment Center.
Verbreitung und Verwendung von ACs:
Sehr verbreitetes Instrument der beruflichen Eignungsdiagnostik
von 133 befragten Unternehmen: 57.6% Anwender (Schuler et al.,
2003)
DAX100-Unternehmen: 70.7% Anwender (Obermann et al., 2008)
Einsatzzwecke vor allem Personalauswahl und
Personalentwicklung
Seite 4 28. Juni 2018
2 Kriteriumsvalidität von Assessment Centern
Vorhersage von beruflichem Erfolg und Leistung durch Acs.
Metaanalytische Kriteriumsvaliditäten:
Berufliche Leistung: .28 – .36 (Gaugler et al., 1989; Hermelin
et al., 2007)
Trainingserfolg: .35 (Hardison & Sackett, 2007)
Karriereerfolg: .27 – .36 (Gaugler et al., 1989; Hardison &
Sackett, 2007)
Vorhersage von Karriereerfolg im Längsschnitt:
.44 bis .50 über 8 Jahre (Bray & Grant, 1968)
.35 über 7 Jahre (Jansen & Stoop, 2001)
bis .44 über 5-9 Jahre (Melchers & Kleinmann, in prep.)
Seite 5 28. Juni 2018
2 Kriteriumsvalidität von Assessment Centern
Übungen und Dimensionen im Assessment Center.
Gruppen- Fall-
Präsentation Rollenspiel
diskussion Analyse
Analytische
Fähigkeiten
Entscheid.-
vermögen
Führung
Kooperation
Kommunikat.
Fähigkeiten
Konzeption.
Fähigkeiten
6 28. Juni 2018
3 Konstruktvalidität von Assessment Centern
Konstruktvalidität von ACs in MTMM-Analysen.
Wunschergebnis: Metaanalytisches Ergebnis:
(Melchers et al., 2007)
Seite 7 28. Juni 2018
3 Konstruktvalidität von Assessment Centern
Befunde zur Konstruktvalidität: Ergebnisse aus CFAs.
Wunschergebnis:
Dim 1 Dim 2 Dim 3 Dim 4 Dim 5
Ü1D1 Ü1D2 Ü1D3 Ü1D4 Ü2D1 Ü2D3 Ü2D5 Ü3D1 Ü3D2 Ü3D3 Ü3D4 Ü3D5
Üb 1 Üb 2 Üb 3
Seite 8 28. Juni 20183 Konstruktvalidität von Assessment Centern
Befunde zur Konstruktvalidität: Ergebnisse aus CFAs.
Metaanalytisches Ergebnis von Lance et al. (2004):
G-Faktor
Ü1D1 Ü1D2 Ü1D3 Ü1D4 Ü2D1 Ü2D3 Ü2D5 Ü3D1 Ü3D2 Ü3D3 Ü3D4 Ü3D5
Üb 1 Üb 2 Üb 3
Seite 9 28. Juni 20183 Konstruktvalidität von Assessment Centern
Warum ist der Nachweis von Dimensionen in ACs wichtig?
Konzeptionell:
Lassen sich Dimensionen als ein zentrales Bestimmungsstück von
ACs in den Beurteilungen wieder finden?
Neben der Situation sollten auch Eigenschaften der Person
Verhalten in Situationen beeinflussen – auch in ACs (Melchers,
Wirz, & Kleinmann, 2012)
Praktisch:
Information über Dimensionen wird verwendet für:
Feedback
Personalentwicklungsempfehlungen
Selektionsentscheidungen
Seite 10 28. Juni 20183 Konstruktvalidität von Assessment Centern
Warum ist Konstruktvalidität wichtig?
Chance zur Verbesserung der Kriteriumsvalidität:
Verbesserungen der Konstruktvalidität wirken sich günstig auf die
Kriteriumsvalidität aus (Melchers & König, 2008; Melchers et al.
2010)
Seite 11 28. Juni 20183 Konstruktvalidität von Assessment Centern
Moderatoren der Konstruktvalidität von ACs.
Beobachtertraining (z. B. Lievens, 2001)
Psychologen als Beobachter (Woehr & Arthur, 2003)
Information der Teilnehmer über die beobachteten Dimensionen
(Kleinmann et al., 1996)
Weniger Dimensionen (Gaugler & Thornton, 1989)
Weniger Teilnehmer, die gleichzeitig beobachtet werden müssen
(Melchers et al., 2010)
Beobachter-Rotation (Kolk et al., 2002)
Seite 12 28. Juni 20183 Konstruktvalidität von Assessment Centern
Zwischenfazit.
ACs sagen berufliche Leistung voraus
ACs messen die intendierten Dimensionen jedoch anscheinend
nur mässig
Moderator-Variablen haben nur überschaubare Effekte auf
Konstruktvalidität
Forderung, von Dimensionsbeurteilungen in ACs abzukommen
(z. B. Lance, 2008)
Seite 13 28. Juni 20183 Konstruktvalidität von Assessment Centern
Erfassung der Ähnlichkeit von Dimensionen.
Mögliche Ursache für Befunde zur Konstruktvalidität: Unangemessene
Modellierung der Dimensionen
Odermatt, Melchers et al. (2011):
Erstellung einer Ähnlichkeitskarte der AC-Dimensionen
Sammlung von 94 Dimensionen aus Unternehmens-ACs
Einschätzung der Ähnlichkeit dieser Dimensionen durch erfahrene
AC-Experten
Durchführung einer nonmetrischen Multidimensionalen Skalierung
(nMDS)
Seite 14 28. Juni 2018Merkmale der Persönlichkeit
Karriereorientierung
Karrieremotivation bzw. Selbstkompetenz
Arbeitsmotivation Selbstvertrauen
Motivation/ Tatkraft
Antrieb Stresstoleranz
Ausgeglichenheit
Realistische Selbstwahrnehmung Soziale
Offenheit Anpassungsfähigkeit
Ausdauer Ausdauer InitiativeFlexibilität
Eigenständigkeit
Kompetenz
BeharrlichkeitBelastbarkeitLernbereitschaft Integrität
Hartnäckigkeit Aggressivität Umgänglichkeit
Originalität Umgang mit Stress
Arbeitsverhalten Unabhängigkeit von anderen
Toleranz für Unsicherheit Einfühlungsvermögen
Risikobereitschaft Durchsetzungsfähigkeit Kompromissbereitschaft
Streben nach Verbesserungen
Gründlichkeit Gewissenhaftigkeit Fähigkeit, sich soz. Situationen anzupassen
Arbeitsqualität Kreativität
Soziale Sensitivität
Krisenmanagement Kooperation
Kontaktfähigkeit Bewusstsein für das soziale Umfeld
Organisation Zielflexibilität
Zusammenarbeit
Interpersonelle Fähigkeiten
Detailorientierung Entschlussfreudigkeit Pflege einer offenen Kommunikation
& Planung Ergebnisorientierung Überzeugungs-
Beziehungen zu
Teamorientierung
Innovatives Denken vermögen
Führungskräften Teamfähigkeit
Zeitmanagement Teamentwicklung
Administrative Fähigkeit Verhandlungskompetenz
PräsentationsfähigkeitEinfluss auf andere
Organisatorische Fähigkeiten Kommunikationsfähigkeit
Dienstleistungsorientierung Mündliche Kommunikation
Entscheidungsverhalten Schriftliche Kommunikation
Zeitliches Planungsverhalten Kontrollverhalten
Anziehung und Entwicklung von Talenten
Planungsverhalten Interpretation von Informationen Zielorientierte Kommunikation
Urteilsvermögen Führungskompetenz
Verkaufsorientierung Empowerment
Erkennen von Prioritäten
Problemlösefähigkeit Systematisches Denken und Handeln Delegationsverhalten Führung von Gruppen
Coaching
Kommunikation
Geschäftssinn
Kundenorientierung Führung anderer
Taktisches Planen Erkennen von Problemen
Bewusstsein für organisatorische Zusammenhänge
Kognitive Fähigkeiten Analytische Fähigkeit
Problemanalyse Strategisches Planen Führung
Problemlöse Strategisches Denken
Unternehmerisches Denken
Verhalten ggü. Dritten/
-fähigkeit/
Analysefähig Unternehmensorientierung Zwischenmenschliche Kompetenz
keit
Analyse- und Problemlösefähigkeit &
Strategisches & strategisch-konzeptionelles Arbeiten Stress NMDS: 0.162
unternehmerisches Denken3 Konstruktvalidität von Assessment Centern
Konsequenz für Modellierung von AC-Dimensionen in CFAs.
Dim 1 Dim A Dim 2 Dim B
3 Dim 4 Dim C Dim 5
Ü1D1 Ü1D2 Ü1D3 Ü1D4 Ü2D1 Ü2D3 Ü2D5 Ü3D1 Ü3D2 Ü3D3 Ü3D4 Ü3D5
Üb 1 Üb 2 Üb 3
Seite 16 28. Juni 20184 Ein neues Modell
Ein neues Modell (Hoffmann, Melchers et al., 2011).
17
Model: 1 – Genereller Faktor,
BD – Breite Dimensionen, Ü - Übungen
G-Faktor
D1 BD1 D2 D3 BD2 D4 BD D
3 5
E1D1 E1D2 E1D3 E1D4 E2D1 E2D3 E2D5 E3D1 E3D2 E3D3 E3D4 E3D5
Ü1 Ü2 Ü3
Seite 17 28. Juni 20185 Evaluation des neuen Modells
Studie:
Merkulova, Melchers, Kleinmann, Annen & Szvircsev Tresch (2016).
18
Ziele:
Generalisierbarkeit des neuen Modells in einer grossen Schweizer
Stichprobe nachweisen
Nomologisches Netzwerk der Faktoren analysieren
Die prädiktive Validität aller Faktoren analysieren
Seite 18 28. Juni 20185 Evaluation des neuen Modells
Das Assessment Center.
19
N = 936 Kandidaten für die Position Berufsoffizier in der Schweizer Arme
6 Übungen:
Kurze Selbstpräsentation
Kurze Fallbeispiele
Gruppendiskussion
Motivationsgespräch
Streitgespräch
Vortrag
Seite 19 28. Juni 20185 Evaluation des neuen Modells
Das Assessment Center.
20
7 Dimensionen:
Leistungs-
Leistungsmotivation orientierung
Persönliche Grundhaltung
Umgang mit Konflikten
Umgang mit anderen Soziale
Fähigkeiten
Kommunikationsverhalten
Strukturierungsvermögen
Beeinflussungsvermögen
Führung
Seite 20 28. Juni 20185 Evaluation des neuen Modells
Resultate.
21
H1: Ein Modell mit einem generellen
Faktoren, mit breiten Dimensions-
faktoren und mit Aufgabenfaktoren
erklärt die Varianz in PEDRs besser
als bisherige konventionelle Modelle.
G-Faktor
Leistungs- Soziale
orientierung Fähigkeiten Führung
ED ED ED ED ED ED ED ED ED ED ED ED ED ED ED ED ED ED ED ED
Selbst.P. Kurzfälle Gr.D. Mot.G. Debatte Vortrag
Seite 21 28. Juni 20185 Evaluation des neuen Modells
Resultate.
Kognitive Leistungsfähigkeit.
22
H2: Dimensionen mit einem Bezug zu
kognitiven Fähigkeiten werden mit
GMA
der kognitiven Leistungsfähigkeit
korrelieren.
r = .20**
G-Faktor
Leistungs- Soziale
Fähigkeiten Führung
orientierung
ED ED ED ED ED ED ED ED ED ED ED ED ED ED ED ED ED ED ED ED
Selbst.P. Kurzfälle Gr.D. Mot.G. Debatte Vortrag
Seite 22 28. Juni 20185 Evaluation des neuen Modells
Resultate.
Extraversion.
23
H3: Dimensionen mit einem Bezug zu
Extraversion interaktiven Fähigkeiten werden positiv
mit Extraversion korrelieren.
r = .17*
G-Faktor r = .19
Soziale
Leistungs-
Fähigkeiten Führung
orientierung
ED ED ED ED ED ED ED ED ED ED ED ED ED ED ED ED ED ED ED ED
Selbst.P. Kurzfälle Gr.D. Mot.G. Debatte Vortrag
Seite 23 28. Juni 20185 Evaluation des neuen Modells
Resultate.
Kontrollüberzeugungen.
24 Selbstwert-
H4: Dimensionen mit einem Bezug zu
gefühl
Selbswirk- r = .32**
interaktiven Fähigkeiten und Führung
samkeit
r = .40** werden positiv mit den Kontrollüber-
Locus of zeugungen korrelieren.
control
G-Faktor
r = .12 r = .49**
Soziale
Leistungs-
Fähigkeiten Führung
orientierung
ED ED ED ED ED ED ED ED ED ED ED ED ED ED ED ED ED ED ED ED
Selbst.P. Kurzfälle Gr.D. Mot.G. Debatte Vortrag
Seite 24 28. Juni 20185 Evaluation des neuen Modells
Resultate.
Kriteria.
25
Militärische
H5: Die breiten Dimensionsfaktoren, der
Leistung generelle Faktor und die Aufgaben-
faktoren korrelieren positiv mit dem
Kriterium.
r =.25**
G-Faktor
r =.19**
Soziale
Leistungs-
Fähigkeiten Führung
orientierung
ED ED ED ED ED ED ED ED ED ED ED ED ED ED ED ED ED ED ED ED
r =.21* r =.16* r =.22* r =.10 r =.11 r =.32**
Selbst.P. Kurzfälle Gr.D. Mot.G. Debatte Vortrag
Seite 25 28. Juni 20185 Evaluation des neuen Modells
Resultate.
Aufgeklärte Varianz militärische Leistung.
26
β =.13 Gr.D. Mot.G. β =.13**
Kurzfälle Debatte
Militärische Leistung
Selbst.P. Vortrag
R2 ∆R2
Aufgaben .14** .14** Militärische Leistung
Seite 26 28. Juni 20185 Evaluation des neuen Modells
Resultate.
Aufgeklärte Varianz militärische Leistung.
27
β =.13 Gr.D. Mot.G. β =.13**
Kurzfälle Debatte
Militärische Leistung
Selbst.P. Vortrag
R2 ∆R2
Aufgaben .14** .14** Militärische Leistung
G-Faktor .06** .20**
G-Faktor
β =.22**
Seite 27 28. Juni 20185 Evaluation des neuen Modells
Resultate.
Aufgeklärte Varianz militärische Leistung.
28
β =.13 Gr.D. Mot.G. β =.13**
Kurzfälle Debatte
Militärische Leistung
Selbst.P. Vortrag
R2 ∆R2
Aufgaben .14** .14** Militärische Leistung
G-Faktor .06** .20**
G-Faktor
BD .04** .24**
Leistungs-
Führung
orientierung Soziale
β =.22** Fähigkeiten
β =.21**
Seite 28 28. Juni 20185 Evaluation des neuen Modells
Fazit: Es gibt sie doch!
29
Die Konstruktvalidität von Assessment Centern kann optimiert werden
Aufgaben UND Dimensionen sind die Bausteine von Assessment Centern
Wenn Assessment Center auf Basis von validen Konstrukten entwickelt und umgesetzt
werden, kann sich dies positiv auf ihre prognostische Validität auswirken
Seite 29 28. Juni 20185 Evaluation des neuen Modells
Praktische Implikationen
30
Konstruktvalidität:
Die in ACs gemessenen Dimensionen sollten beim Design, bei der Durchführung und bei
der Interpretation von ACs um die empirisch belegten breiten Dimensionen organisiert
werden
Die AC-Aufgaben sollten idealerweise die Realität des in Frage stehenden Jobs
widerspiegeln
Feedback, Entwicklungsmassnahmen und Selektionsentscheidungen:
Sollten auf breiten Dimensionen basieren
Sollten auch Informationen über die Gesamtleistung der KandidatInnen (General
Performance) und über die Leistung in einzelnen Aufgaben enthalten
Seite 30 28. Juni 20185 Evaluation des neuen Modells
Praktische Implikationen.
Empirisch nachgewiesene breite Dimensionen.
31
Mögliche Klassifikationen von breiten Dimensionen:
2 breite Kategorien: Shore et al. (1990)
Interpersonal Style vs. Performance Style
3 breite Kategorien: Odermatt, Melchers et al. (2011)
Verhalten ggü. Dritten/Zwischenmenschliche Kompetenz
Strategisches & Unternehmerisches Denken
Merkmale der Persönlichkeit bzw. Selbstkompetenz
4 breite Kategorien: Borman & Brush (1993)
Zwischenmenschliche Fähigkeiten und Kommunikation
Führung und Aufsicht
Technische Fähigkeiten und das Management-Handwerk
Nützliches persönliches Verhalten und Fähigkeiten
Seite 31 28. Juni 20185 Evaluation des neuen Modells
Praktische Implikationen.
Empirisch nachgewiesene breite Dimensionen.
32
Mögliche Klassifikationen von breiten Dimensionen:
7 breite Kategorien: Arthur et al. (2003)
Rücksicht/Bewusstsein für andere
Kommunikation
Leistungsorientierung (Drive)
Andere beeinflussen
Organisieren und planen
Problemlösen
Seite 32 28. Juni 20186 Dank und Ausblick Fragen? Seite 33 28. Juni 2018
6 Dank und Ausblick
Ende.
Besten Dank!
Dr. Natalia Merkulova
nmerkulova@sunrise.ch
Seite 34 28. Juni 2018Natalia Merkulova Albisriederstrasse 166b 8003 Zürich +41 76 424 44 24 nmerkulova@sunrise.ch Dr. Natalia Merkulova Seite 35 28. Juni 2018
Sie können auch lesen
