Auf gesunde Nachbarschaft! - Programm III - Präsentation der externen Evaluation Andrea Reiter
←
→
Transkription von Seiteninhalten
Wenn Ihr Browser die Seite nicht korrekt rendert, bitte, lesen Sie den Inhalt der Seite unten
Auf gesunde Nachbarschaft! – Programm III
Präsentation der externen Evaluation
Andrea Reiter
28.03.2019
www.prospectgmbh.at
Titelmasterformat
Inhalt durch Klicken bearbeiten
der heutigen Präsentation
Kurzsteckbrief - prospect
Zur Beauftragung der Evaluierung
Evaluation der Startaktivitäten
Spezifische Erhebungs-Tools der Evaluation:
Tool 1: Aktivitäten- und Teilnahme-Monitoring AGN!
Tool 2: Wirkmodell AGN!
Nächste Schritte der Evaluation
2
www.prospectgmbh.atTitelmasterformat durch Klicken bearbeiten
Kurzsteckbrief - prospect
Team aus 8 Personen
Seit der Gründung 1999 über 130 Forschungs-, Beratungs- und Entwicklungsprojekten
Die Evaluation von Projekten und Programmen ist ein zentrales Angebot. Inhaltliche Schwerpunkte sind die
Schnittstelle Arbeit-Gesundheit sowie Gesundheitsförderung (betrieblich, kommunal).
Spezialisierung auf Problemstellungen, die standardisierte Befragungen (online, telefonisch) sowie
qualitative Interviews/Fokusgruppen erfordern
Die gewonnenen Daten und Informationen werden kontext- und handlungsorientiert interpretiert, um das in
den Befragungen generierte Wissen optimal nutzbar zu machen.
Die Erkenntnisse werden verständlich und praxisnah aufbereitet an jene zurückgespielt, die das
Projekt/Programm managen, verwalten und umsetzen.
Auswahl einschlägiger Evaluationen: BGF-Evaluierungen (z.B. Bundesforste, Coca-Cola, AUA), Auf
gesunde Nachbarschaft!-Phase II (Familien und Kleinkinder), FuN – Familienunterstützende Nachbarschaft
in Kapfenberg, Neu wohnen – Gesund leben (Stadterweiterungsgebiet Nordbahnviertel Wien), ….
Aktuelle Evaluationen: Programm „Gesunde Bezirke“ in Wien, Auf gesunde Nachbarschaft von klein auf
(Vlb.), AGIL-Aktiv und gesund im Leben bleiben (ältere Frauen und Männer mit und ohne Demenz/5
Gemeinden der Stmk), Nachbarschaft zusammen leben (Lieboch bei Graz), Get out – Raus ins Freie (4
Gemeinden in der Stmk.)
3
www.prospectgmbh.atTitelmasterformat durch Klicken bearbeiten
Eckpunkte zur Evaluierung
4
www.prospectgmbh.atTitelmasterformat
Zur durch
Beauftragung der Klicken
externen bearbeiten
Evaluation
Die Evaluation startete im Jänner 2019 und endet im Oktober 2022. Sie wird auf Basis von vier
Einzelaufträgen mit zeitlichen Unterbrechungen vergeben.
Aktuelle Evaluation I (= Evaluation der Startaktivitäten): Jänner 2019 bis Oktober 2019
Evaluation II: Februar 2020 bis Dezember 2020
Evaluation III: April 2021 bis Dezember 2021 (Ende der Einzelprojekte)
Evaluation IV: Juni 2022 bis Oktober 2022 (eventuell etwas kürzer)
In den Zeiträumen dazwischen können keine Erhebungen bei den Projekten durchgeführt werden. Das
bedingt eine gute zeitliche Planung der Evaluationserhebungen mit den Einzelprojekten.
Der Vorteil der Einzelbeauftragungen ist, dass die jeweiligen Evaluationsaufträge sehr bedarfsorientiert
konzipiert werden können und sich der Entwicklung der Initiative praxisnah anpassen.
Weiters ist eine Evaluation der Nachhaltigkeit der Initiative möglich, da Phase IV zur Gänze in den
Nachbeobachtungszeitraum fällt.
5
www.prospectgmbh.atTitelmasterformat
Akteurs-Ebenen derdurch Klicken
Initiative bearbeiten
„Auf gesunde Nachbarschaft!“
6
www.prospectgmbh.at Basis: Darstellung prospectTitelmasterformat durch Klicken bearbeiten
Evaluationsansatz
Evaluationsgegenstand: Die Evaluation fokussiert die einzelnen Förderprojekte und die Gesamtinitiative
inklusive der Begleitaktivitäten durch queraum und FGÖ.
Vergleichbare und niederschwellige Erhebungsinstrumentarien: Die Förderprojekte werden einzeln
betrachtet, wobei diese auch – soweit sinnvoll – miteinander verglichen werden sollen, um wechselseitiges
Lernen zu unterstützen. Daher sollen, soweit möglich, auch einheitliche Erhebungsinstrumente/Frage-
batterien zum Einsatz kommen. Nach Bedarf und Zielgruppen werden diese niederschwellig konzipiert.
Triangulation: Vorteile von qualitativen und quantitativen Methoden werden kombiniert.
Nutzung vorhandener Informationen und Daten: Die Evaluation erhebt nicht nur selbst Daten, sondern
greift auch auf die – angesichts des AkteurInnengeflechts – vielerorts gewonnenen Informationen zurück
(z.B. bei Begleitaktivitäten oder in Einzelprojekten).
Einbindung der Projekte und Auftraggeber: systematischer Austausch und Rückkoppelung, laufende
Abstimmung
7
www.prospectgmbh.atTitelmasterformat
Sechs durch
Nutzungsebenen derKlicken bearbeiten
Evaluation
Mit der Evaluation sollen im Wesentlichen sechs Nutzungsebenen für die beteiligten Projektträger und den
Auftraggeber verbunden sein.
1. Die Evaluation ist nicht als Controllinginstrument im engeren Sinn zu verstehen, sondern unterstützt die
Zielerreichung und die übergreifende Auswertung der gewonnenen Erfahrungen.
2. Die Evaluation fördert gegenseitiges Lernen durch die Analyse und Aufbereitung von Ergebnissen.
3. Die Evaluation liefert Rückmeldungen zur Zufriedenheit der befragten Zielgruppenpersonen und zu von
ihnen wahrgenommenen Veränderungen bzw. messbaren Wirkungen.
4. Die Evaluation analysiert Effekte (z.B. Bewusstseinsbildung) und Einschätzungen der Projekte seitens
der befragten MultiplikatorInnen.
5. Die externe Sicht ermöglicht eine Verortung der Einzelprojekte in der Gesamtinitiative und ihren Vergleich
untereinander (unter Berücksichtigung der jeweiligen Gegebenheiten und Rahmenbedingungen).
6. Die Evaluation macht den Beitrag der einzelnen Projekte zur Gesamtzielsetzung des FGÖ im Rahmen
von „Auf gesunde Nachbarschaft!“ in Phase III sichtbar.
8
www.prospectgmbh.atTitelmasterformat durch Klicken bearbeiten
Evaluationskreislauf
9
www.prospectgmbh.at Basis: Darstellung prospectTitelmasterformat
Übergeordnete durch Klicken
Zielsetzungen bearbeiten seitens des FGÖ
der Gesamtinitiative
1. Unterschiedliche Ansätze in der Gesundheitsförderung älterer Menschen in Nachbarschaften
sind erprobt.
2. Die Zusammenhänge zwischen guten Nachbarschaften und Gesundheit, insbesondere für ältere
Menschen, sind unterschiedlichen Zielgruppen bekannt.
3. Die soziale Teilhabe und Gesundheitskompetenz von älteren Menschen wurden erhöht.
4. Es gibt eine interessierte und aktive Community zu Gesunden Nachbarschaften.
10
www.prospectgmbh.atTitelmasterformat durch Klicken bearbeiten
Evaluation der Startaktivitäten
11
www.prospectgmbh.atTitelmasterformat der
Evaluationsschritte durch Klicken bearbeiten
Startaktivitäten im Überblick und aktueller Stand
1. Erarbeitung eines Wirkmodells AGN!: work in progress
2. Aktivitäten- und Teilnahme-Monitoring: vorläufig nach erster Testphase finalisiert
3. Kick-off und Zieleworkshop mit dem Initiativen-Team (FGÖ/queraum): √√
4. Dokumentensichtung, Sekundärauswertung und Literaturrecherche: laufend
5. Evaluierung der FGÖ-Begleitaktivitäten: aktuell - Online-Befragung des ExpertInnenbeirates
6. Start- und Zieleworkshops mit den Förderprojekten: Termine fixiert, Start: 29.3.2019
7. (Teil-)Standardisierte Befragung von TeilnehmerInnen: Klärung mit Einzelprojekten
8. Befragung von Stakeholdern, EntscheidungsträgerInnen und MultiplikatorInnen (sofern bereits
sinnvoll): Klärung mit Einzelprojekten (ev. Ergänzungen Initiativen-Team)
9. Vor-Ort-Besuche: Beobachtung, Befragung, Begehung: Klärung mit Einzelprojekten (ev. Ergänzungen
Initiativen-Team)
10. Qualitative Befragung des Initiativen-Teams (Auftraggeber und queraum) und der Förderprojekte im
Herbst 2019
11. Laufende Rückkoppelung und Berichtslegung: Gesamtergebnisse an FGÖ und Projekte;
Projekteinzelauswertungen an die jeweiligen Einzelprojekte
Bezogen auf Einzelprojekte 12
www.prospectgmbh.atTitelmasterformat
6. durch Klicken
Start- und Zieleworkshops mit denbearbeiten
Förderprojekten
Inhalt der Start- und Zieleworkshops:
Update zur Projektumsetzung durch Projektteams: Status Quo und Umsetzungsschritte bis Oktober 2019
Organisatorische Vereinbarungen: Ansprechpersonen, Zeitplan
Konkretisierung der Evaluationsschritte im Rahmen der Startaktivitäten
Zielearbeit: Reflexion der Ziele, angestrebten Zielgrößen und Indikatoren
„Aktivitäten- und Teilnahme-Monitoring AGN!“: Information und Klärung von Fragen
Reflexion des Projektkonzeptes anhand des Wirkmodells AGN!
Durchführung in Kombination mit den
Austauschtreffen von queraum
13
www.prospectgmbh.atTitelmasterformat
7. durch
(Teil-)Standardisierte Klickenvon
Befragung bearbeiten
TeilnehmerInnen
TeilnehmerInnen aus der Zielgruppe ältere Menschen sollen befragt werden.
Das Format (Vorher-Nachher-Befragung, retrospektive Befragung) sowie die Art dieser Befragung
(mündlich, schriftlich, online) hängen von den Projektkonzepten, der Anzahl der TeilnehmerInnen und dem
Zugang zur Zielgruppe ab:
1. Um Verhaltensänderungen und Kompetenzzuwächse erfassen zu können, bietet sich eine Vorher-
Nachher-Befragung an (bei den Startaktivitäten wird eventuell die Vorher-Befragung schon möglich
sein). Eine solche ist dann sinnvoll, wenn Zielgruppenpersonen über einen längeren Zeitraum oder
intensiv teilnehmen.
2. Bei Interventionen, die von kurzer Dauer und weniger intensiv sind, eignet sich eine retrospektive
Befragung.
In beiden Fällen und für alle Projekte sollen einheitliche Fragebatterien sowie projektspezifische
Fragestellungen mit (einzelnen) offenen Fragen zum Einsatz kommen (Abstimmung mit Projekten).
Zentrale Fragen behandeln den Zugang zum Projekt, die Motivation der Teilnahme und die Zufriedenheit
sowie die subjektive Einschätzung der Projektwirkungen, beispielsweise in Bezug auf das eigene
Wohlbefinden, die Gesundheitskompetenz, Empowerment, die soziale Teilhabe oder Sozialkontakte in der
Nachbarschaft.
14
www.prospectgmbh.atTitelmasterformat
8. durch Klicken
Befragung von Stakeholdern, bearbeiten
EntscheidungsträgerInnen u. MultiplikatorInnen
Im Rahmen der Startaktivitäten ist der Zugang zu diesen unter Umständen ein begrenzter bzw. noch
nicht passend, weil erst wenige Umsetzungserfahrungen vorliegen.
Sofern es trotz des noch relativ frühen Zeitpunktes der Projektumsetzung sinnvoll und zweckmäßig
erscheint, VertreterInnen dieser Personengruppen vertieft zu befragen, sind primär telefonische
qualitative Interviews angedacht.
Dabei geht es z.B. darum, die jeweilige Ausgangssituation, die vorliegenden Rahmenbedingungen
sowie die Erwartungen an und die Einstellung zum Projekt einzuholen.
Eine Möglichkeit, Einblicke in die Motivation und Erwartungshaltung dieser Personengruppe zu
erhalten, sind Blitzinterviews im Rahmen von Vor-Ort-Besuchen (vgl. nächste Folie).
15
www.prospectgmbh.atTitelmasterformat
9. Vor-Ort-Besuche: durch KlickenBefragung,
Beobachtung, bearbeitenBegehung
Die Evaluation wird bei einzelnen Veranstaltungen der Projekte teilnehmen, wenn für die Evaluation
wesentliche interessante Informationen (die über reine Öffentlichkeitsarbeit hinausgehen) gesammelt
werden können und die Evaluation den Charakter dieser Veranstaltungen nicht beeinflusst.
Methodisch können bei diesen Vor-Ort-Besuchen mehrere sozialwissenschaftliche Erhebungsmethoden
eingesetzt und kombiniert werden:
eine teilnehmende Beobachtung, ev. gekoppelt mit einer Blitzbefragung von TeilnehmerInnen,
eine Ortsbegehung als Sichtung des öffentlichen Raums, falls dieser für das Projekt erheblich ist,
kurze Gespräche mit kommunalen Stakeholdern und EntscheidungsträgerInnen (z.B. zur
Unterstützungsmotivation, spezifischen Zielsetzungen und Erwartungen).
Idealerweise wird die Teilnahme an diesen Projekt-Events mit weiteren Befragungen kombiniert, z.B.
zeitlich davor oder danach vereinbarte Einzelinterviews oder Fokusgruppen.
16
www.prospectgmbh.atTitelmasterformat
10. durchdes
Qualitative Befragung Klicken bearbeiten und der Förderprojekte
Initiativen-Teams
Als Abschluss der Evaluation der Startaktivitäten erfolgt eine qualitative Befragung der
Projektverantwortlichen seitens des FGÖ und queraum sowie der Förderprojekte.
Methode: telefonische oder persönliche Einzelinterviews mit Projektleitungen oder Fokusgruppen mit
Projektteams
In den Interviews geht es um die Reflexion des bisherigen Umsetzungsprozesses und des aktuellen
Projektstandes, wie sich der gewählte Arbeitsansatz bisher bewährte und welche Lernerfahrungen sich
daraus ableiten lassen und was diese für die Weiterarbeit bedeuten.
Darüber hinaus sollen Veränderungs- und Verbesserungsvorschläge für den weiteren Verlauf der
Gesamtinitiative eingeholt werden.
Zeitpläne und mögliche Evaluierungsschritte für die zweite Evaluationsphase werden reflektiert.
17
www.prospectgmbh.atTitelmasterformat durch Klicken bearbeiten
Tool 1: Aktivitäten- und Teilnahme-Monitoring AGN!
18
www.prospectgmbh.atTitelmasterformat
„Aktivitäten- durch Klicken bearbeiten
und Teilnahme-Monitoring AGN!“ als Dokumentationsgrundlage
Ziel der Dokumentation ist es, einen quantitativen Überblick über die mit dem Projekt umgesetzten
Aktivitäten und TeilnehmerInnenzahlen (genauer gesagt „Teilnahmen“) zu erhalten.
Dafür wurde das Dokutool „Aktivitäten- und Teilnahme-Monitoring AGN!“ auf Excelbasis entwickelt, das
von den Förderprojekten befüllt werden soll.
Dokumentiert werden alle Aktivitäten für Zielgruppen und die Anzahl der TeilnehmerInnen (mit wenigen
soziodemographischen Merkmalen, konkret Alter und Geschlecht).
Jeder Träger befüllt ein eigenes Dokutool, das zu Quartalsende in den internen Bereich der Website
„gesunde-nachbarschaft.at" hochgeladen werden soll.
Im Rahmen des ersten Datenexports im Juni 2019 können Bereiche des Tools noch nachgebessert
werden.
Die befüllten Dokutools aller sieben Projekte werden von der Evaluation zusammengefasst ausgewertet.
Die erste Gesamtauswertung durch die Evaluation erfolgt mit Stichtag 30.09.2019.
Mit der Dokumentation ist ein Aufwand für die Träger verbunden. Das Dokutool kann von diesen aber auch
selbst genutzt werden, indem die Dokumentation z.B. als Grundlage für Berichtslegungen herangezogen
wird oder jederzeit ein Stand über die zielgruppenorientierten Aktivitäten und Anzahl der Teilnahmen
errechnet werden kann.
19
www.prospectgmbh.atTitelmasterformat
„Aktivitäten- durch Klicken bearbeiten
und Teilnahme-Monitoring AGN!“ – Aufbau
Bereich Eintragungsfelder Art der Eingabe Anmerkungen
ID-Nr (fortlaufende Nummer der Aktivitäten) laufende Zahl
Identifikation
dokumentiert von … (Kürzel/Name) Text
Datum Durchführungsdatum tt.mm.jj
Region Region/Gemeinde Auswahlfeld Projektspezifische Auswahlfelder
"Öffentlichkeitswirksame Veranstaltungen und Aktivitäten" oder "Aktivitäten für die
Zielgruppen"
Aktivitäten-Typus Typus der Veranstaltung Auswahlfeld
Die Felder des nicht ausgewählten Typus färben sich dunkelgrau ein und sollen nicht
befüllt werden.
Veranstaltungen und Aktivitäten, die für die Öffentlichkeitsarbeit der Initiative "Auf gesunde
Titel der Veranstaltung Text
Nachbarschaft!" durchgeführt werden und mit denen Personen direkt erreicht werden
Öffentlichkeitswirksame
Art der Veranstaltung Text Z.B. Kick-off, Generationenfest, Gemeinde-Gesundheitstag
Veranstaltungen und Aktivitäten
Art der Zählung Auswahlfeld gezählt, geschätzt oder keine TeilnehmerInnen gekommen
Anzahl TeilnehmerInnen Zahl
Aktivitäten für die Zielgruppen Titel der Aktivität Text Im Projekt verwendeter Titel oder eigens kreierter nachvollziehbarer Titel
Art der Zählung Auswahlfeld gezählt, geschätzt oder keine TeilnehmerInnen gekommen
Anzahl der TeilnehmerInnen insgesamt Zahl MultiplikatorInnen aus der Zielgruppe sind hier nicht einzutragen!.
…. davon weiblich (Anzahl) Zahl
TeilnehmerInnen
….davon ältere Menschen (61 bis 75 Jahren)(Anzahl) Zahl
….davon alte Menschen (76 bis 90 Jahren) (Anzahl) Zahl
(ohne MultiplikatorInnen)
….davon sehr alte Menschen (91 und älter)(Anzahl) Zahl
….davon Kinder und Jugendliche bis 18 Jahren (Anzahl) Zahl
….davon Erwachsene (19 bis 60 Jahren) (Anzahl) Zahl
Summe nach Alter automatische Berechnung
Art der Zählung Auswahlfeld gezählt, geschätzt oder keine TeilnehmerInnen gekommen
Anzahl der TeilnehmerInnen insgesamt Zahl
MultiplikatorInnen aus der Zielgruppe (z.B. Freiwillige, ZivilbürgerInnen) Zahl
MultiplikatorInnen aus Organisationen des Gesundheits-/Sozialbereichs Zahl …das sind Erwachsene aus Organisationen, die nicht Teil der Projektumsetzung sind.
MultiplikatorInnen
MulitplikatorInnen aus Politik/Verwaltung Zahl
Sonstige Schlüsselpersonen Zahl
Summe der MultiplikatorInnen automatische Berechnung
TeilnehmerInnen Gesamt (inkl. MultiplikatorInnen) automatische Berechnung Summe Anzahl TN insgesamt plus Summe der MulitplikatorInnen
Fazit/Anmerkungen für die Evaluation Text Lernerfahrungen, Fazit in Stichworten; sonstige Anmerkungen für die Evaluation
Fazit - Notizen (optional)
Sonstige, interne Anmerkungen Text interne Notizen (Spalte muss nicht übermittelt werden)
20
www.prospectgmbh.at Basis: Darstellung prospectTitelmasterformat
„Aktivitäten- durch Klicken bearbeiten
und Teilnahme-Monitoring AGN!“ – Das Eingabetool
Eingabetool (Link zum Eingabetool)
Mit PraktikerInnen aus zwei Einrichtungen wurde eine Testung durchgeführt.
Dabei ergaben sich folgende zu klärende Fragen:
1) Soll das Dokutool als gesperrte oder offene Version zur Verfügung gestellt werden?
2) Sind die angeführten Altersgruppen der Zielgruppe erfassbar?
3) Sind die Altersgruppen auch bei MultiplikatorInnen wichtig?
4) Sollen auch STRG-Sitzungen und Vernetzungen erfasst werden?
21
www.prospectgmbh.at Basis: Darstellung prospectTitelmasterformat durch Klicken bearbeiten
Tool 2: Wirkmodell AGN!
22
www.prospectgmbh.atTitelmasterformat
Wirkmodell durch Klicken
AGN! – Aktuelle Fassungbearbeiten
der ersten Oberfläche
23
www.prospectgmbh.at
Basis: Darstellung prospectTitelmasterformat
Das durch
Wirkmodell AGN! – IdeeKlicken bearbeiten
des Modells und praktische Anwendung
Das „Wirkmodell AGN!“ hat mehrere Ebenen:
1) Die oberste Fläche erfasst die groben Eckpunkte eines jeden Projektes (= 7 Projekt-Wirkmodell AGN!)
2) Pro Säule (Baseline, Konzept, etc.) werden zu jeder Dimension Kategorien entwickelt, die die erste
Oberfläche ausdifferenzieren.
3) Die nächste Ebene ist eine Seite, in die die projektspezifischen Eingaben eingetragen werden können
4) Weiters wird ein Initiativen-Wirkmodell AGN! entwickelt, bei dem der Fokus auf die übergeordneten
Zielsetzungen der Initiative und die Nachhaltigkeitspotentiale/-ebenen gelegt wird.
Die praktische Anwendung:
1) Das Projekt-Wirkmodell AGN! wird soweit möglich auf Basis der Projekte von der Evaluation und den
Trägern befüllt und im Startworkshop mit dem jeweiligen Träger präzisiert und ergänzt, zwischenzeitlich
überprüft/reflektiert und zu Projektende finalisiert.
2) Die finalen Modelle werden zusammengefügt (überschneidende und spezifische Ergebnisse) und in
Bezug zum Initiativen-Wirkmodell AGN! gesetzt.
3) Ergebnis zu Projektende ist ein befülltes Modell je Projekt sowie eine gesamt- und modellhafte
Darstellung der zentralen Initiativenergebnisse.
4) Zudem steht es als Modelltool für den weiteren Einsatz zur Verfügung.
24
www.prospectgmbh.atTitelmasterformat durch Klicken bearbeiten
Nächste Schritte der Evaluation
25
www.prospectgmbh.atTitelmasterformat
Nächste Schritte derdurch Klicken
Evaluation oderbearbeiten
Was brauchen wir von Ihnen?
Nächste Schritte der Evaluation
Finalisierung des „Aktivitäten- und Teilnahme-Monitoring AGN!“ in 7 Varianten (= spezifische Regionen)
Vorläufige Finalisierung des Wirkmodell AGN!
Präsentation der Evaluation im ExpertInnenbeirat
Durchführung der Start- und Zieleworkshops
To Do‘s für die Förderprojekte
Übermittlung zentraler bzw. aktualisierter Dokumente, die für die Evaluation von Interesse sind:
z.B. aktualisiertes Konzept, Projektrollenplan, Zeitplan
Projekt(kurz)beschreibungen
Implementierung des Aktivitäten- und Teilnahmemonitoring AGN!:
Übermittlung der Liste der Regionen, in denen das Projekt aktiv ist, an die Evaluation.
Vorbereitung für die Start- und Zieleworkshops:
Erstausfüllung des Wirkmodells AGN! im Vorfeld der Start- und Zieleworkshops auf Stichwortbasis
soweit möglich (außer LE.NA) 26
www.prospectgmbh.atTitelmasterformat durch Klicken bearbeiten
Vielen Dank für Ihre Aufmerksamkeit!
Andrea Reiter
prospect Unternehmensberatung GmbH
1070 Wien, Siebensterngasse 21/4
T +43 1 523 72 39-50
E a.reiter@prospectgmbh.at
27
www.prospectgmbh.atSie können auch lesen
