Evaluation von Maßnahmen aktiver Arbeitsmarktpolitik in der Bundesagentur für Arbeit
←
→
Transkription von Seiteninhalten
Wenn Ihr Browser die Seite nicht korrekt rendert, bitte, lesen Sie den Inhalt der Seite unten
Evaluation von Maßnahmen aktiver
Arbeitsmarktpolitik in der
Bundesagentur für Arbeit
Susanne Rässler
Kompetenzzentrum Empirische Methoden, IAB
Produkt- und Programmanalyse, Bundesagentur für Arbeit
Professur für Computational Statistics, Frankfurt School of Finance & Management
„Reformbilanz der aktiven Arbeitsmarktpolitik“, Bonn, 21.03.2007
Seite 0Gliederung
¾ Einleitung
¾ Evaluationsprobleme und ihre klassische Lösung
¾ Wirkungsanalyse in der Bundesagentur für Arbeit
¾ Operationalisierungen und Daten
¾ Beispielhafte empirische Auswertungen
¾ Fazit
Seite 1Gliederung
¾ Einleitung
¾ Evaluationsprobleme und ihre klassische Lösung
¾ Wirkungsanalyse in der Bundesagentur für Arbeit
¾ Operationalisierungen und Daten
¾ Beispielhafte empirische Auswertungen
¾ Fazit
Seite 2Einleitung
„Angesichtes immenser Ausgaben für die aktive Arbeitsmarktpolitik ist ihre
wissenschaftlich fundierte und aussagekräftige Evaluation seit längerer
Zeit mehr als überfällig.“ (Wolfgang Franz, 2005, AStA 88, 155)
¾ Aufwendungen Bundesagentur und Bund im Jahr 2006 für
¾ Leistungen der aktiven Arbeitsförderung für SGBIII: 11,1 Mrd. Euro
¾ Arbeitslosengeld I: 23,0 Mrd. Euro
¾ Arbeitslosengeld II und Sozialgeld: 26,4 Mrd. Euro
¾ Wie das Gesetz (§282 SGB III, §55 SGB II) es befiehlt: Ist aktive
Arbeitsmarktpolitik effektiv?
¾ Verbessert sie die Vermittlungsaussichten?
¾ Erhöht sie die Beschäftigungsfähigkeit?
¾ Wie hoch sind die volkswirtschaftlichen Nettoeffekte?
Seite 3Gliederung
¾ Einleitung
¾ Evaluationsprobleme und ihre klassische Lösung
¾ Wirkungsanalyse in der Bundesagentur für Arbeit
¾ Operationalisierungen und Daten
¾ Beispielhafte empirische Auswertungen
¾ Fazit
Seite 4Evaluation: Wenn das so einfach wäre...
¾ Enorme Heterogenitäten: Teilnehmer, Maßnahmen, Träger, Regionen
¾ Kausalität: Vielzahl parallel durchgeführter gesetzlicher Änderungen
¾ Selektionsprozesse: Selbst- und Fremdselektion
¾ Endogenität: Arbeitsmarktlage und Arbeitsmarktpolitik
¾ Datenverfügbarkeit und Datenqualität: Aufbau geeigneter Datenbasen nötig
Seite 5Klassisches Vorgehen
¾ Sei Y (0) das Ergebnis bei Nichtteilnahme, Y (1) bei Teilnahme
¾ Rubins Kausalmodell der potentiellen Ergebnisse: Individueller kausaler
Teilnahme-Effekt ergibt sich aus Differenz τi = Yi (1) – Yi (0)
¾ Matching: „Das Arbeitspferd der Evaluationsforschung“
¾ Teilnehmer- und Kontrollgruppe: Suche zu jedem Teilnehmer einer
Maßnahme einen in Charakteristika X identischen oder möglichst ähnlichen
Nichtteilnehmer
¾ Üblich: Schätzung des durchschnittlichen Maßnahmeneffekts
für die Maßnahmenteilnehmer (ATET = Average Treatment Effect on the
Treated)
¾ Exaktes ~, Propensity Score ~, Mahalanobis-Distanz Matching
Seite 6Gliederung
¾ Einleitung
¾ Evaluationsprobleme und ihre klassische Lösung
¾ Wirkungsanalyse in der Bundesagentur für Arbeit
¾ Operationalisierungen und Daten
¾ Beispielhafte empirische Auswertungen
¾ Fazit
Seite 7Wirkungsanalyse in der Bundesagentur für Arbeit
Das Projekt „TrEffeR“ (Treatment Effects and PRediction): Wirkungsanalyse zur
Unterstützung der operativen Steuerung in der Bundesagentur für Arbeit (BA)
¾ Kooperation von BA, IAB und der amerikanischen Universität Harvard
¾ Leitung: Rässler / Rubin
¾ Ziel 1: Möglichst zeitnahe und umfassende retrospektive Wirkungsanalyse /
Evaluation aller Instrumente der aktiven Arbeitsmarktpolitik
¾ Ziel 2: Entwicklung eines Targeting-Tools zur Unterstützung der Vermittler
Seite 8Problematik durchschnittlicher Fördereffekte
¾ Matching-Diskrepanzen: Teilnehmer und Kontrollpersonen sind in ihren X
Variablen im Durchschnitt weitestgehend „ausgeglichen“, aber nicht
notwendigerweise die individuellen Paare
¾ Problematik der Matching-Diskrepanzen: Aussagen lediglich für die
jeweiligen Gruppen statistisch valide
¾ Ergebnisse müssen auf disaggregierter Ebene verfügbar sein für
Aggregationen beliebiger Art, z.B. Analysen für Jugendliche, Personen mit
Migrationshintergrund, Geringqualifizierte, Ältere,…
⇒ Schätzung individueller Maßnahmeeffekte unbedingt nötig!
Seite 9Idee: Potentielle Ergebnisse sind „Missing Data“
¾ Schätzung individueller kausaler Effekte
Ungeförderte
Maßnahme Arbeitslosigkeit
Beschäftigung
Arbeits-
losigkeit
Potentielle Ergebnisse: Was wäre die potentielle Dauer
derPotentielle Ergebnisse:
Arbeitslosigkeit Was wäre die potentielle Dauer
ohne Maßnahme?
derPotentielle Ergebnisse:
Arbeitslosigkeit Was wäre die potentielle Dauer
ohne Maßnahme?
der Arbeitslosigkeit ohne Maßnahme?
indiv. kausaler Eff.
indiv. kausaler Eff.
indiv. kausaler Eff.
¾ Schätzung von Yi(0)| Ti=1, X=x, der Dauer der Arbeitslosigkeit einer
Person i ohne Maßnahme bei gegebenen X Variablen
¾ Berücksichtigung von Kosten geplant
Seite 10Die Lösung des Statistikers
¾ Schätzung individueller kausaler Effekte in zwei Schritten:
¾ Schritt 1: Matching zur Selektionskontrolle
¾ Schritt 2: Parametrischer Bayes-Ansatz zur Schätzung der potentiellen
Ergebnisse
¾ Mittels statistischer Simulation können auch Bandbreiten/Varianzen
geschätzt werden
¾ King et al. (2000). Making the Most of Statistical Analyses: Improving Inter-
pretation and Presentation, American Journal of Political Sciences, 44, 341-355.
¾ Rubin, D.B. (2007). The Design versus the Analysis of Observational Studies for
Causal Effects: Parallels with the Design of Randomized Trials, Statistics in
Medicine, forthcoming.
Seite 11Schritt 1: Matching
¾ Matching in hoch differenzierten Untergruppen
¾ Schätzung der Teilnahmewahrscheinlichkeiten: der Propensity Scores
p(X) = P(T=1 | X=x)
¾ Innerhalb der Gruppen Matching nach dem Verfahren des Nächsten
Nachbarn mit caliper 0,25 · s (pT) und mit Zurücklegen
¾ Mahalanobis-Distanz Matching auf
¾ die linearen propensity scores
¾ die zu den linearen propensity scores orthogonalisierten erklärenden
Variablen X
¾ Verwendung des Ergebnisses einer Gruppe nur, wenn
¾ mindestens 50% der Teilnehmer und
¾ mindestens 20 Teilnehmer absolut gematcht werden konnten.
Seite 12Schritt 2: Parametrisches Modell
¾ Erneutes Schätzen der Propensity Scores von TN und Kontrollpersonen (KP)
¾ Klassifikation: Einteilen der KP anhand der neuen Propensity Score
Verteilung in Subgruppen
¾ Modellbasierte Ergänzung der potentiellen Ergebnisse über geeignetes
Regressionsmodell innerhalb jeder Klasse der KP:
YC(0) = XCβ + ε , ε ~ N(0;σ2)
¾ Bestimmung von β̂ und σ̂ mittels OLS
¾ Innerhalb der zugehörigen Klassen der TN Simulation (250 mal) von YT(0)
durch
1) β ~ N( βˆ ; σˆ (X C X C ) )
2 ' −1
2) ŶT (0) = X T β
Seite 13Ergebnis: Nulldatensatz
¾ Bildung eines Nulldatensatzes ausgehend von den zuvor ermittelten
Matching-Ergebnissen
¾ Nulldatensatz enthält für jeden Maßnahmeteilnehmer i
¾ sein beobachtetes Ergebnis bei Maßnahmeteilnahme Yi(1)
¾ sein geschätztes potentielles Ergebnis bei Nichtteilnahme Ŷi(0)
¾ Verteilung der individuellen kausalen Effekte der Maßnahmeteilnehmer:
τik = Yi(1) - Ŷik(0) für k = 1, , 250
Seite 14Vorteile dieses Ansatzes
¾ Bereitstellung von individuellen Fördereffekten für die Maßnahmeteilnehmer
¾ Ermöglicht Auswertungen auf beliebiger Ebene
¾ Ausschließlich Verwendung von Informationen von gematchten
Nichtteilnehmern, die dem jeweiligen Teilnehmer bzgl. der Propensity Scores
ähnlich sind.
¾ Wenig Annahmen bzgl. der funktionalen Form nötig, da das
Imputationsmodell für jede Klasse gesondert gerechnet wird.
¾ Berücksichtigung der Unsicherheit durch 250malige Wiederholung und
Simulation einer Verteilung von YT(0)
Seite 15Gliederung
¾ Einleitung
¾ Evaluationsprobleme und ihre klassische Lösung
¾ Wirkungsanalyse in der Bundesagentur für Arbeit
¾ Operationalisierungen und Daten
¾ Beispielhafte empirische Auswertungen
¾ Fazit
Seite 16Operationalisierungen
¾ Geförderte: Maßnahmeteilnahmen 2001 bis 2005
¾ Maßnahmen: Hochdifferenziert bis auf Maßnahmenummer möglich
¾ X Variablen:
¾ Aktuelle sozio-ökonomische Merkmale
wie Alter, Nationalität, Geschlecht, Schulbildung, Berufsausbildung,
Wunsch BKZ (einstellig), …
¾ 18-Monate-Historie
mit Informationen zu vergangenen Arbeitslosigkeitsperioden,
Maßnahmeteilnahmen, Leistungsbezügen, Sperrzeiten, …
¾ regionale Arbeitsmarktsituation
mit Informationen zu Arbeitslosen, offenen Stellen und Einstellungen für
die 3stellige BKZ
Seite 17Ergebnisvariablen
¾ Vier Ergebnisvariablen zur Abbildung der Integrationsleistung bzw. der
Vermeidung von Arbeitslosigkeit
¾ Verbleibsrisiko in Arbeitslosigkeit (inkl. Maßnahmeteilnahme):
Verbleib in faktischer Arbeitslosigkeit (VifA)
¾ Verbleibschancen in (geförderter und ungeförderter)
sozialversicherungspflichtiger Beschäftigung:
Verbleib in sozialversicherungspflichtiger Beschäftigung (VisvB)
¾ Kumulierte Dauer der Arbeitslosigkeit (inkl. Maßnahmeteilnahme):
kumulierte Dauer faktischer Arbeitslosigkeit (kDfA)
¾ Kumulierte Dauer der (geförderter und ungeförderter)
sozialversicherungspflichtiger Beschäftigung:
kumulierte Dauer sozialversicherungspflichtiger Beschäftigung (kDsvB)
Seite 18Anforderungen an Kontrollpersonen
¾ Die Arbeitslosigkeitsdauer der Kontrollperson ist mindestens so lang wie die
des Maßnahmeteilnehmers bei Eintritt in die Maßnahme.
¾ Teilnehmer und Kontrollperson haben dasselbe Geschlecht.
¾ Teilnehmer und Kontrollperson gehören zur selben Altersklasse.
¾ Die Anfangszeitpunkte der Arbeitslosigkeit von Teilnehmer und
Kontrollperson liegen nicht mehr als 60 Tage auseinander.
¾ Keine Maßnahmeteilnahme der Kontrollperson in der betrachteten Episode.
Seite 19Aufbau der „Match-Pakete“ & Automatisierung
Stichprobe 100%
über alle AA
aa m
Agenturen
AA Aachen AA Zwickau
m sd _ v o
Maßnahmeeintritt
1. Hj 2001 2. Hj 2005
m s d _i
Maßnahme
EGZ 107xx FbW 140xx TM 141xx Andere M.
m s d_ da
m sd _ d a
sd _ d a
Maßnahmedauer
0 - 30 Tage 31 - 92 Tage 93 - 183 Tage 184 - 365 Tage > 365 Tage
Seite 20Zwischen Traum und Alptraum
¾ Datenbasis
¾ 17 Mio. Arbeitslosen-Episoden ohne Maßnahmen
¾ 7 Mio. Maßnahmeteilnahmen
¾ 115 differenzierte Maßnahmen
¾ 178 Agenturbezirke
¾ Über 43.000 Match-Pakete nach
¾ Maßnahmeart, Agentur, Dauer der Maßnahme
¾ 10 Halbjahresschnitte: 1. Halbjahr 2001,…, 2. Halbjahr 2005
¾ aktueller Beobachtungszeitraum bis Ende Oktober 2006
¾ Laufzeit: etwa 3 Wochen auf 20 PCs mit Server
Seite 21Gliederung
¾ Einleitung
¾ Evaluationsprobleme und ihre klassische Lösung
¾ Wirkungsanalyse in der Bundesagentur für Arbeit
¾ Operationalisierungen und Daten
¾ Beispielhafte empirische Auswertungen
¾ Fazit
Seite 22Fördereffekte für ein ausgewähltes Beispiel
¾ Überbrückungsgeld in einer ausgewählten Arbeitsagentur
¾ Fördereffekte:
¾ Am Stichtag in Arbeitslosigkeit oder Maßnahme
¾ Kumulierte Dauer in Arbeitslosigkeit oder Maßnahme
120% 300
Verbleib in faktischer Arbeitslosigkeit
100%
250
kumulierte Dauer faktischer
80%
200
60%
Arbeitslosigkeit
150
40%
in %
20% 100
0%
50
0
60
120
180
240
300
360
420
480
540
600
660
720
-20%
0
-40%
0
60
120
180
240
300
360
420
480
540
600
660
720
-60% -50
-80% -100
Tage nach Maßnahmebeginn Tage nach Maßnahm ebeginn
Maßnahmeteilnehmer Kontrollgruppe Förderwirkung Maßnahmeteilnehmer Kontrollgruppe Förderwirkung
Seite 23Förderwirkung VifA360 für FbW - berufliche Weiterbildung
Qualifikationserweiterung im Jahr 2004
-0,10 -0,08 -0,06 -0,04 -0,02 0,00 0,02 0,04 0,06 0,08 0,10
gesamt
Männer Ost
Frauen Ost
2 bis 3 Monate Männer West
Frauen West
4 bis 6 Monate
Seite 24Anteil positiver Effekte gemäß VifA360 für FbW -
berufliche Weiterbildung Qualifikationserweiterung
60%
50%
40%
30%
20%
10%
0%
2001/1 2001/2 2002/1 2002/2 2003/1 2003/2 2004/1 2004/2
2-3 Monate 4-6 Monate
Seite 25Beispiel des Analysepotentials
¾ Maßnahme: Förderung der beruflichen Weiterbildung (Qualifikationserweiterung)
mit einer Dauer von 4 bis 6 Monaten
¾ Gesucht: Beste Fördereffekte auf die Vermeidung von Arbeitslosigkeit 1 Jahr
nach Maßnahmebeginn im Jahr 2004
¾ Ergebnis: Verheiratete Deutsche in Fertigungsberufen mit einem Schulabschluss
bis Fachoberschule, die in den 18 Monaten vor Maßnahmebeginn zwischen 1 und
117 Tage arbeitslos waren:
*)
Ausbildung
keine Ausbildung Berufsausbildung
regionale unter 10% 0.13 0.02
Arbeitslosen- 10% bis unter 30% 0.06 0.24
quote 30% und mehr 0.07 0.13
*) wegen zu geringer Fallzahlen ohne die Ausprägung „Studium“
Seite 26Gliederung
¾ Einleitung
¾ Evaluationsprobleme und ihre klassische Lösung
¾ Wirkungsanalyse in der Bundesagentur für Arbeit
¾ Operationalisierungen und Daten
¾ Beispielhafte empirische Auswertungen
¾ Fazit
Seite 27Fazit
¾ Ist aktive Arbeitsmarktpolitik generell effektiv?
¾ Hängt vom Erfolgskriterium Y ab
¾ Hängt vom Kontrollgruppenkonzept ab
⇒ Variiert stark individuell und maßnahmenspezifisch
¾ Enormes Analyse- und Lernpotential: Ergebnisse stehen den
Arbeitsagenturen dezentral und bis auf einzelne Maßnahmen auswertbar
zur Verfügung
⇒ Für welche Individuen wirken welche Maßnahmen am besten?
⇒ Was ist „Good bzw. Best Practice“?
¾ Prognose: Die zu erwartenden Maßnahmeeffekte werden auf Grundlage
dieser Erkenntnisse für neue Kunden geschätzt!
¾ Antwort an Wolfgang Franz: Rässler, S. (2006). Der Einsatz von Missing
Data Techniken in der Arbeitsmarktforschung des IAB, AStA
Seite 28Vielen Dank!
Seite 29„Ist also die aktive Arbeitsmarktpolitik nicht „gut“ und verschleiert
sie die „Wahre“? Einmal abgesehen davon, dass vor einem
gültigen Urteil die angesprochenen Evaluationsergebnisse
abgewartet werden sollten, empfiehlt es sich, folgenden Aspekt
nicht völlig aus den Augen zu verlieren. Soll die Gesellschaft
beispielsweise arbeitslose Jugendliche letztlich ihrem Schicksal
überlassen und ihrem Weg in den Drogenkonsum, die Kriminalität
und den politischen Radikalismus ebnen?“ (Wolfgang Franz, 2005,
AStA 88, 156)
Seite 30Förderung durch arbeitsmarktpolitische Instrumente
- Bestand der Geförderten in Mio. -
1.60
Eingliederungszuschüsse
1.40
Kurzarbeit
1.20
Personal-Service-Agenturen
1.00 Überbrückungsgeld
in Mio.
0.80 "Ich-AG"
0.60 Einstiegsgeld
ABM und AGH
0.40
§428 SGB III / Altersteilzeit
0.20
Qualifizierung (FbW , TM)
0.00
Jan 2002 Jan 2003 Jan 2004 Jan 2005 Jan 2006
Quelle: BA-Statistik
Seite 31Förderwirkung VifA720 für ausgewählte Maßnahmen - Personen über 50
-0,45 -0,35 -0,25 -0,15 -0,05 0,05 0,15 0,25
12
EGZ
M
Seite 320%
10%
20%
30%
40%
50%
60%
70%
80%
ABM
TM - AM / VvK
TM - AM / ÜdV
TM - BM / VvK
TM - BM / ÜdV
EGZ / Einarb.
FbW - GM mit
Abschluss
FbW - berufsp.
Maßnahmen
WB. gesamt
FbW - berufsp.
WB. 0-3 M
FbW - berufsp.
WB. 4-6 M
FbW - berufsp.
WB >6 M
Anteil positiver Effekte nach kDfA360 für ausgewählte
FbW - EM mit
Abschluss
2004/1
2003/1
2002/1
2001/1
§37
ÜG
2004/2
2003/2
2002/2
2001/2
Seite 33Sie können auch lesen
