Entwicklung von Qualitätskriterien für Anti-Stress-Programme und AnbieterInnen - Bericht
←
→
Transkription von Seiteninhalten
Wenn Ihr Browser die Seite nicht korrekt rendert, bitte, lesen Sie den Inhalt der Seite unten
Entwicklung von Qualitätskriterien für
Anti-Stress-Programme und AnbieterInnen
Bericht
Dr. Paulino Jiménez
Mag.a Kerstin Eibel
Mag. a Anita Dunkl
Mag. a Angelika Ratswohl
Inhaltsverzeichnis
1. Qualitätskriterien und Kriterienkataloge ........................................................................................ 3
1.1. Entwicklung von Qualitätskriterien.......................................................................................... 3
1.2. Entwicklung von Kriterienkatalogen ........................................................................................ 4
2. Qualitätskriterien für Anti-Stress-Programme und AnbieterInnen................................................. 6
2.1. Entwicklungsschritte ................................................................................................................ 9
Schritt 1: Bildung eines ExpertInnenteams ............................................................................ 10
Schritt 2: Analyse existierender Ansätze zur Qualitätsbewertung ........................................ 11
Schritt 3: Erarbeitung von Kriterienentwürfen ...................................................................... 12
Schritt 4: Erstellung eines Kriterienkatalogs .......................................................................... 16
Schritt 5: Prüfung der Qualitätskriterien ............................................................................... 18
Schritt 6: Adaptierung des Kriterienkatalogs ......................................................................... 19
2.2. Resümee und Ausblick ........................................................................................................... 20
Literaturverzeichnis ............................................................................................................................... 21
ANHANG ................................................................................................................................................ 23
Qualitätskriterien für Programme und AnbieterInnen 21. Qualitätskriterien und Kriterienkataloge
Bewertungs- oder Qualitätskriterien sind gängige Mittel, um bestimmte Merkmale sicher beurteilen
zu können. Es handelt sich um Kriterien für die Beurteilung von Qualität bzw. Bedingungen für die
Bestätigung von Qualität. Der oftmals hohe Aufwand der Entwicklung von Qualitätskriterien wird
durch das Resultat eines übersichtlichen Kriterienkatalogs, der auch wissenschaftlich geprüft werden
kann, entschädigt.
Eingesetzt werden Qualitätskriterien in unterschiedlichsten Bereichen:
• Materialien/Produkte
• Nahrung/Lebensmittel
• Dienstleistungen
• Interventionen und Evaluationen
• Untersuchungsideen und Studiendesigns
• Umwelt (z.B. Luft- oder Wasserqualität)
Die Zusammenfassung von Qualitätskriterien in einem Kriterienkatalog bietet ein gutes Prüfsystem,
das viele Vorteile verschafft. Zum Beispiel sind Kriterienkataloge einheitlich, vergleichbar und
übertragbar auf andere Systeme. Weiteres können sie übersichtlich dargestellt werden und sind
ökonomisch in der Anwendung. Kriterienkataloge können jedoch auch Nachteile aufweisen, wenn sie
implizit und unvollständig sind und kein Detailgrad festgelegt werden kann. Weitere Probleme
können auch bei einer schlecht festgelegten Gewichtung auftreten (Baumgartner, 2005, zitiert nach
Stöckl, 2006).
Um diesen Nachteilen entgegen zu wirken und einen möglichst „optimalen“ Kriterienkatalog
entwerfen zu können, sollten folgende Punkte beachtet werden (Meier, 1995): Die Kriterien sollten
vollständig, valide und reliabel sowie korrekt, treffend und knapp formuliert sein. Der
Kriterienkatalog selbst sollte in strukturierter Form aufliegen, in Kriteriumskategorien (Überschriften)
unterteilt sein und sprachlich sowie grafisch einwandfrei zu bearbeiten sein. Auch die Auswertung
sollte so einfach wie möglich konstruiert werden.
Diese Anforderungen wurden bei der Erstellung des Qualitätskriterienkataloges für Anti Stress-
Programme und AnbieterInnen berücksichtigt.
1.1. Entwicklung von Qualitätskriterien
Bei der Entwicklung von Qualitätskriterien sind viele Punkte zu beachten. Wenn die Kriterien von den
Vorteilen der Einheitlichkeit, Vergleichbarkeit und Übertragbarkeit profitieren wollen, müssen sie
viele Stadien durchlaufen. Im Vorfeld sind bei der Erstellung von Qualitätskriterien vor allem folgende
Fragen zu klären:
• Warum werden Qualitätskriterien benötigt? (Ziel)
• Wem sollen die Qualitätskriterien nützen? (Zielgruppe)
• Wie sollen die Qualitätskriterien entwickelt werden? (Entwicklungsprozess)
Qualitätskriterien für Programme und AnbieterInnen 31. Zuerst sollte das Ziel der Qualitätskriterien feststehen. Nur bei Vorhandensein eines Zieles kann der Kriterienkatalog im Endstadium auch geprüft werden. Auch eine Auflistung von Fragestellungen ist möglich (Brunner, Schachermeyer, Jereb & Leitner, 2000). 2. Eine Auflistung aller möglichen Zielgruppen erleichtert die Erstellung der Qualitätskriterien. Meist bietet ein fertiger Kriterienkatalog vielseitigen Nutzen für verschiedenste Personengruppen. 3. Für den Entwicklungsprozess gibt es unterschiedliche Zugangsweisen. Ein gängiges Verfahren ist die Recherche über einschlägige Literatur zur Qualitätskriterienentwicklung sowie über bereits existierende Kriterien und Qualitätsstandards des jeweiligen Fachbereichs. Eine weitere nützliche Vorgehensweise zur Kriterienfindung stellen Interviews mit ExpertInnen bzw. Fachleuten dar. Auch Ergebnisse von Beobachtungen oder statistischen Analysen sowie Kreativitätstechniken wie Brainstorming oder das Erstellen von Mindmaps können in den Entstehungsprozess einfließen. Bei der Entwicklung der Qualitätskriterien ist zu beachten, dass diese oft einen „Idealtypus“ beschreiben, der in der Praxis kaum so anzutreffen ist. Kriterien können Orientierung bieten und sollen nicht als absoluter Maßstab verstanden werden. Es wird vielmehr festgestellt, ob eine klare Entwicklung in Bezug auf die einzelnen Kriterien erkennbar ist (BKK, 1999). Eine vollständige Erfüllung aller Qualitätskriterien ist somit unrealistisch. Manchmal können jedoch einzelne Kriterien wichtiger als andere erscheinen oder sogar unabkömmlich sein. Möglichkeiten, diese Überlegungen zu berücksichtigen, stellen entweder eine Gewichtung der Kriterien oder eine Unterteilung in Muss- und Kann-Kriterien dar. Gewichtung bedeutet, dass wichtiger erscheinende Kriterien in einem stärkeren Ausmaß in das Gesamtergebnis einfließen. Dies kann z.B. durch die Multiplikation des Kriterienwertes mit einem fixen Faktor erreicht werden. Muss- und Kann-Kriterien beschreiben Kriterien, die für eine „positive“ Beurteilung entweder erfüllt sein müssen (Muss-Kriterium) oder nicht (Kann-Kriterium). Bei Nichterfüllung eines oder einer bestimmten Anzahl von Muss-Kriterien ist das Resultat negativ. Es ist ebenfalls möglich, eine Mindestanzahl an Kann-Kriterien für ein positives Ergebnis zu bestimmen oder „Schwellwerte“ festzulegen. Schwellwerte beschreiben Werte, die für eine positive Beurteilung überschritten werden müssen. 1.2. Entwicklung von Kriterienkatalogen Wenn die Qualitätskriterien festgelegt wurden, kann daraus ein Kriterienkatalog entstehen. Dabei muss darauf geachtet werden, dass der Kriterienkatalog übersichtlich gestaltet ist (Gliederung, Überschriften) und unabhängig vom Einsatzgebiet ist (z.B. Papier-Bleistift-Katalog). Auch der Einsatzkontext und die Zielgruppe müssen beachtet werden: Soll der Kriterienkatalog auch für Laien verständlich sein oder wird er nur von einem/einer ExpertIn durchgeführt? Weiteres muss die Auswertung des Katalogs einfach und klar nachvollziehbar sein. Ein umfangreicher Katalog kann zu einer kurzen „Kurzprüfliste“ extrahiert werden und somit in zwei Versionen vorliegen. Qualitätskriterien für Programme und AnbieterInnen 4
Wesentlich ist die Auseinandersetzung mit den Operationalisierungen der Kriterien, also wie die
Kriterien gemessen und welche Indikatoren festgelegt werden. Darüber wird schließlich ein
Bewertungsschema gelegt, das durch eine adäquate Skalierung der Qualitätsbeurteilung dienen soll.
Nach Fertigstellung des Kriterienkatalogs ist es möglich, diesen in der Praxis oder in Studien bzw.
Evaluierungen einzusetzen. Bei der Beurteilung durch den Kriterienkatalog sollten sogenannte Ist-
und Soll-Zustände definiert werden. Der Ist-Zustand beschreibt das Resultat beim Einsatz des
Kriterienkatalogs (z.B. Punktewert oder Summenscore). Der Soll-Zustand definiert eine vorab
festgelegte Schwelle, die für eine positive Absolvierung des getesteten Merkmales überschritten
werden muss. Dabei müssen folgende Fragen geklärt werden (Brunner, Schachermeyer, Jereb &
Leitner, 2000):
1. Was sind der Ist- und Soll-Zustand?
2. Wie groß ist der Unterschied zwischen Ist- und Soll-Zustand?
3. Welche Maßnahmen müssen gesetzt werden, um den Soll-Zustand zu erreichen?
Auch stellt sich die Frage, ob der fertige Kriterienkatalog selbst einer Prüfung unterzogen wird. Wie
leicht der Kriterienkatalog handzuhaben ist, kann z.B. mittels Usability-Tests untersucht werden.
Folgende Voraussetzungen müssen für eine Experteneinschätzung zur Qualitätsbeurteilung
berücksichtigt werden (u.a. Krampen & Montana, 2002; Coleman et al, 2002):
a. Unparteiische Gutachter,
b. nachvollziehbares Verfahren für die Gutachter sowie
c. gut strukturiertes Review-Verfahren (Qualitätsdimensionen und Beurteilungskriterien sind
systematisch erarbeitet und durch Expertenkonsens oder andere Formen von
Evidenzbasierung abgesichert).
d. Dimensionen und ihre Kriterien müssen den Gutachtern vorgegeben, im Einzelnen abgefragt
und durch Unterkriterien oder Ckecklisten operationalisiert werden.
e. Ablauf der Begutachtung bzw. der Urteilsprozess ist von systematisch festgelegten
Arbeitsschritten angeleitet (Begutachtungsbogen), um Gleichrichtung der individuellen
Urteilsprozesse zu erwirken.
Es muss sichergestellt werden, dass die Beurteilung von einem gemeinsamen Horizont wohl
definierter professioneller Konzepte und Begriffe gesteuert wird und dadurch Objektivität,
Reliabilität und Validität maximiert sind.
Zur Verbesserung und Weiterentwicklung eines Kriterienkataloges können Rückmeldungen der
AnwenderInnen beitragen.
Qualitätskriterien für Programme und AnbieterInnen 52. Qualitätskriterien für Anti-Stress-Programme und AnbieterInnen
Qualitätskriterien können in unterschiedlichsten Bereichen eingesetzt werden. Die in der
vorliegenden Arbeit entwickelten Qualitätskriterien dienen der Beurteilung von Programmen zur
Stressprävention und Angeboten zur Burnout-Prophylaxe. Zusätzlich soll die Eignung der
AnbieterInnen solcher Programme im Sinne der Qualifikation, Kompetenz und Erfahrung überprüft
werden können.
Ein erster Einsatz bzw. eine erste Überprüfung findet im Bewerbungsverfahren zum Wohlfühl-
Kompass statt. Der Wohlfühl-Kompass ist eine im Projekt Chance4Change für die allgemeine
Bevölkerung konzipierte Broschüre mit Informationen zu den Themen Überbelastung, Stress und
Burn-out. Zusätzlich werden ausgewählte, qualitativ hochwertige Wohlfühl-Angebote, Antistress-
Programme und Beratungsangebote angeführt. Die Anbieterinnen und Angebote werden einer
Qualitätsprüfung mit Hilfe der entwickelten Qualitätskriterien unterzogen.
Bei den Angeboten handelt es sich also um Dienstleistungen bzw. um Interventionen mit den Zielen,
psychische und/oder physische Gesundheitsressourcen zu stärken, Belastungen und Stress
vorzubeugen, Bewältigungsmöglichkeiten zu erlernen sowie Wohlbefinden und Lebensqualität zu
erhalten. Die Angebote in diesem Bereich sind vielfältig und reichen von professioneller Beratung
und therapeutischer Begleitung über Trainings und Coachings bis hin zu Bewegungs-, Ernährungs-
und Körperprogrammen.
Qualitätsstandards und Bewertungen finden bereits in vielen Gebieten Einzug und werden
wissenschaftlich evaluiert. Auf die zur Entwicklung von Qualitätskriterien für Anti-Stress-Programme
und AnbieterInnen als Grundlage dienenden, soll im Folgenden näher eingegangen werden.
Grundsätzlich sollen Interventionen, insbesondere in Studiendesigns, folgende Kriterien erfüllen
(Bortz & Döring, 2005):
1. Wissenschaftliche Kriterien: Präzise Problemformulierung, angemessener Untersuchungs-
aufwand, praktische Bedeutung der Untersuchung
2. Ethische Kriterien: Beachtung der „Menschenwürde“, auf persönliche Verantwortung
aufmerksam machen (Gefährdungen minimieren)
3. Informationspflicht: Aufklärung, Freiwilligkeit, Anonymität
Interventionen können an Hand der „Programm Theory-Driven Evaluation“ (Donaldson, 2007)
bewertet werden. Dieses Modell untersucht nicht nur, ob eine Maßnahme erfolgreich ist, sondern
auch wieso sie erfolgreich ist. Demnach muss ein zugrundeliegendes Modell oder eine Theorie
vorhanden sein, welche die Wirkungsweise der Intervention erklären soll. Dies hat den Vorteil, dass
die Intervention auch wirklich verstanden wird bevor gehandelt werden kann. Eine konzept- und
theoriebasierte Vorgehensweise ist demnach von Bedeutung.
Es existieren bereits Leitlinien, aber auch Normen, die Interventionen und Evaluationen betreffen.
Die ÖNORM D4000 (2005) beschreibt Kriterien sowohl auf Interventions- als auch Evaluationsseite.
Diese Norm ist bewusst so angelegt, dass eine umfassende Bewertung möglich ist. Normen
beschreiben Empfehlungen, weshalb die Anwendung dieser freiwillig ist. Sie legen jedoch
Qualitätskriterien für Programme und AnbieterInnen 6Anforderungen fest und definieren klar, wie die Einhaltung dieser Anforderungen überprüft werden
kann.
Die Anforderungen an Interventionen sind in der ÖNORM D4000 (2005, S. 3) folgendermaßen
definiert:
Eine Intervention muss
a. systematisch, zielgerichtet und zeitlich eingrenzbar sein,
b. auf einer fundierten Theorie basieren,
c. standardisiert, objektiv und
d. ethisch legitimierbar (Transparenz, Freiwilligkeit, Umgang mit Daten) sein.
Die Wirkung einer Intervention muss
a. in ihrer Art und ihrem Ausmaß klar definiert sein,
b. empirisch überprüfbar sein,
c. existent sein (z.B. in Bezug auf Erwerb, Aufrechterhaltung und Erweiterung von
Kompetenzen im Sinne von Fähigkeiten, Fertigkeiten, Kenntnisse und gegebenenfalls ihren
Einstellungen) und
d. frei von negativen oder schädlichen Neben- und Folgewirkungen sein.
Zusätzlich berücksichtigt die ÖNORM D4000 (2005) spezielle Anforderungen zum Interventions-
prozess wie
a. konkrete Zielsetzung basierend auf vorangegangenen Analysen,
b. Neben- und Folgewirkungsabschätzung (positiv und negativ),
c. Zumutbarkeit und Risikofolgenabschätzung,
d. Auswahl konkreter Interventionen nach Kriterien wie Nachweis des Auftretens der
angestrebten Veränderungen, Generalisierbarkeit und Transfer sowie Kosten-Nutzen-
Relation
e. Durchführung von Interventionen inkl. Aufklärung über Ziele und Inhalte vor Beginn und
gemäß den Anforderungen an Interventionen (s. oben),
f. Feedback in anonymisierter Form.
Diese Punkte werden bei der Entwicklung der Qualitätskriterien für Anti-Stress-Programme sehr stark
berücksichtigt.
Die Arbeitsgemeinschaft der Spitzenverbände der Krankenkassen in Deutschland hat einen Leitfaden
zur Prävention erarbeitet (GKV-Spitzenverband, 2010), der als eine weitere Grundlage diente. Es
werden von den Krankenkassen geförderte Handlungsfelder und Kriterien für Leistungen in der
Primärprävention und betrieblichen Gesundheitsförderung definiert. Die Maßnahmen zielen auf den
Schutz vor Krankheit und die Förderung der Gesundheit sowie auf den langfristigen Erhalt von
Lebensqualität und Leistungsfähigkeit, um ein gesundes Altern zu ermöglichen. Anbieter-
qualifikationen sowie Kriterien für Konzept-, Prozess-, Ergebnisqualität werden ebenso wie
Ausschlusskriterien für Setting-Ansätze, betriebliche Gesundheitsförderung und individueller
Handlungsfelder (z.B. Bewegung, Ernährung, Stressmanagement) festgehalten.
Qualitätskriterien für Programme und AnbieterInnen 7Bei der Qualitätssicherung und Qualitätsbewertung findet sich immer wieder die von Donabedian
(1966, 1980) eingeführte Einteilung in Struktur-, Prozess- und Ergebnisqualität. Gelegentlich werden
die drei Kategorien auch durch eine vierte ergänzt, die Konzeptqualität.
1. Die Strukturqualität beschreibt sachliche, organisatorische und personelle Rahmenbedingungen
und Voraussetzungen. Qualifikationen, Fort- und Weiterbildungen, methodische Kompetenzen,
Räume und technische Ausstattung werden berücksichtigt.
2. Die Prozessqualität bezieht sich auf die Art und Weise der Leistungserbringung. Ablaufplanung,
Diagnostik und Auftragsklärung sowie die Umsetzung von Maßnahmen werden berücksichtigt.
Klar definierte Zielsetzungen, Berücksichtigung ethischer Kriterien und Nachvollziehbarkeit des
Angebotes könnten hier definiert werden.
3. Die Ergebnisqualität bezieht sich auf Erfolgskontrolle und Zufriedenheit. Kriterien der
Evaluierung und Wirksamkeit sowie zu Nachhaltigkeit und Transfersicherung können erläutert
werden.
4. Konzeptqualität umfasst das Vorhandensein fundierter Theorie und konzeptioneller Grundlagen
sowie Erklärungsmodelle. Zielgruppen, Zielsetzungen, Schwerpunkte und Methoden werden
definiert.
Der Einsatz dieser Qualitätsindikatoren in Prävention und Gesundheitsförderung finden sich z.B. bei
Kliche und Kollegen (2004) oder quint-essenz (2005).
Qualitätskriterien werden zielorientiert entwickelt. Es ist wesentlich, zu wissen, warum ein
Kriterienkatalog benötigt wird, welche Zielgruppen erreicht werden und wem der Katalog nützen soll.
Der entwickelte Qualitätskriterienkatalog für Anti Stress-Programme und AnbieterInnen bietet
vielseitigen Nutzen für:
a) BegutachterInnen und EvaluatorInnen
• Objektive Bewertungsgrundlage in Anlehnung an internationale Standards
• Transparenz und Nachvollziehbarkeit von Entscheidungen
• Unterstützung bei der Wahl von KooperationspartnerInnen
b) AnbieterInnen im Bereich Stress- und Burnoutprävention
• Orientierungshilfe zur Reflexion und Überprüfung eigener Angebote und Methoden
• Transparente Bewertung eigener Angebote
• Qualitätsmerkmal
• Abhebung von KonkurrenzanbieterInnen am Markt
c) NutzerInnen der Angebote - Österreichische und Slowenische Bevölkerung
• Transparente Bewertung der Angebote auf dem Markt
• Klare Orientierung über qualitativ hochwertige Angebote und Anlaufstellen
• Sicherstellung von Qualität und Nachhaltigkeit
• Information über die Angebote und deren Vielfalt
d) Öffentlichkeit und Politik
• Öffentliche Bewusstseinsbildung
• Ressourcennutzung, Kooperation und Zusammenarbeit mit professionellen Akteuren
• Entscheidungsgrundlage für Regionalprogramme
Qualitätskriterien für Programme und AnbieterInnen 8Die Kriterien, anhand derer Angebote und Programme zur Stress- und Burtnoutprävention bewertet
werden sollen, wurden aufbauend auf dem aktuellen Forschungsstand und unter Einbindung bereits
etablierter Grundlagen gemeinsam mit einem Gremium an ExpertInnen aus unterschiedlichen
Fachbereichen erarbeitet. Die Vorgehensweise und Entwicklungsschritte werden im folgenden
Kapitel ausführlich dargestellt.
2.1. Entwicklungsschritte
Das Vorgehen zur Entwicklung von Qualitätskriterien für Angebote und Programme im Bereich
Stress- und Burnoutprävention sowie für AnbieterInnen dieser Programme erfolgte in sechs
Entwicklungsschritten. Der Kriterienkatalog wurde von einem interdisziplinären ExpertInnenteam
erarbeitet und in einem Bewerbungsverfahren zur Aufnahme in eine der Öffentlichkeit zugängliche
Broschüre überprüft. Die Bewertungskriterien dienen als klare Orientierung sowohl für
AnbieterInnen, als auch für NutzerInnen von speziellen Angeboten und sollen eine möglichst
objektive Beurteilung garantieren. Durch die transparente Diskussion und Darstellung wird die
Möglichkeit einer breiten Akzeptanz geschaffen.
Der Entwicklungsprozess erfolgte in 6 Schritten (s. Abbildung 1).
1. Bildung eines ExpertInnenteams: Zusammensetzung eines unabhängigen Teams von
ExpertInnen aus unterschiedlichen Fachbereichen.
2. Analyse existierender Ansätze zur Qualitätsbewertung: Recherche und Prüfung von Fachliteratur
und bestehenden Konzepten der Qualitätsbewertung und -sicherung.
3. Erarbeitung von Kriterienentwürfen: Auf der Grundlage von existierenden Ansätzen und
Erarbeitungen im ExpertInnenteam wurden Qualitätskriterien zur Beurteilung für Anti-Stress-
Programmen und AnbieterInnen dieser Programme erarbeitet.
4. Erstellung eines Kriterienkatalogs: Die erarbeiteten Kriterien wurden in einen Fragenkatalog
eingebettet, im Expertengremium diskutiert und unter Berücksichtigung der Grundlagen
fertiggestellt.
5. Prüfung der Qualitätskriterien: Im Rahmen eines Bewerbungsverfahrens von AnbieterInnen von
Stress- und Burnout-Präventionsangeboten in der Informationsbroschüre „Wohlfühl-Kompass“
wurden die Qualitätskriterien überprüft.
6. Adaptierung des Kriterienkatalogs: Fragenkatalog und Qualitätskriterien wurden anhand der
Rückmeldungen von BewerberInnen und Erkenntnisse aus dem Beurteilungsprozess angepasst
und modifiziert.
Qualitätskriterien für Programme und AnbieterInnen 9Entwicklung von Qualitätskriterien
Schritt 1:
Bildung eines ExpertInnenenteams
Schritt 2:
Analyse existierender Ansätze zur Qualtitätsbewertung
Schritt 3:
Erarbeitung von Kriterienentwürfen
Schritt 4:
Erstellung eines Kriterienkatalogs
Schritt 5:
Prüfung der Qualtitätskriterien
Schritt 6:
Adaptierung des Kriterienkatalogs
Ergebnisse dienen zur:
→ transparenten Bewertung von Programmen und AnbieterInnen
→ klaren OrienƟerung für NutzerInnen und AnbieterInnen
Abbildung 1: Prozess und Vorgehensweise bei der Entwicklung von Qualitätskriterien.
Schritt 1: Bildung eines ExpertInnenteams
Das ExpertInnenteam setzte sich aus insgesamt 24 Personen unterschiedlicher Disziplinen,
Fachrichtungen und Erfahrungsbereichen zusammen. Dabei wurden die für die Stress-, Burnout-,
Wohlbefindens- und Gesundheitsthematik wesentlichen Bereiche der Psychologie, Medizin,
Therapie, Ernährung, Bewegung, Gesundheitsförderung und Beratung abgedeckt. Die Personen sind
an universitäre, öffentliche und private Einrichtungen angebunden. Interdisziplinäre Zugänge,
Interesse an der Beteiligung zur Qualitätssicherung, Engagement und anerkannte Kompetenzen
waren wesentliche Voraussetzung bei der Zusammenstellung. Zusätzlich wurde das Team um
potentielle NutzerInnen ergänzt. Die TeilnehmerInnen sind in Tabelle 1 gelistet.
Qualitätskriterien für Programme und AnbieterInnen 10Tabelle 1: Zusammensetzung des ExpertInnenteams (in alphabetischer Reihenfolge). Mag.a Kerstin Eibel Universität Graz, Institut für Psychologie Mag.a Gudrun Fritsch-Reitter Verein Initiative Mensch Elisabeth Greiml Burnout-Plattform Dr. Franz Gschiel Arbeitsmediziner BSA, Betriebsarzt Stmk. Gisela Hausegger Agentur für Lebensfreude Dr. Manfred Herbst BBRZ Mag.a (FH) Doris Hiller Ernährungsberatung Mag.a Michaela Höfer Arbeitspsychologin, freie Praxis Dr. Paul Jiménez Universtität Graz, Institut für Psychologie Mag. Thomas Kayer Sportpsychologe, freie Praxis Dr.in Christine Korak agil Gesundheitsmanagement Silvia Lackner-Karrer Regionalmanagement Graz & Graz-Umgebung Doroteja Lah MRA, Maribor Development Agency Barbara Lechner proFit Mag. Rupert Mandl AUVA Gerhard Plank Arbeiterkammer Stmk Dr. in Amna Potocnik MRA, Maribor Development Agency DI in Sara Rajh Regionalmanagement Graz & Graz-Umgebung Mag.a Angelika Ratswohl Verein Initiative Mensch Dr. Kunibert Schaffer Business Relaxperts Corinna-Maria Schaffer GKK, FH Gesundheitsmanagment Mag.a Elisabeth Walzl ARS VITAE SANAE Mag.a Hemma Wiesler Urania MBA Maria Wonisch Steiermärkische Sparkasse Schritt 2: Analyse existierender Ansätze zur Qualitätsbewertung Eine ausführliche Recherche und Prüfung der Fachliteratur und der bereits bestehenden Konzepte der Qualitätsbewertung und Qualitätssicherung wurde durchgeführt. Recherchiert wurde in wissenschaftlichen Datenbanken, psychologischen Journals und elektronisch über Suchmaschinen im Bereich der grauen Literatur. In Kapitel 2 wurden bereits die wichtigsten Grundlagen und Rechercheergebnisse dargestellt. Zusätzlich wurde für die Bewertung von Qualitätsmerkmalen ein Modell auf unterschiedlichen Bewertungsebenen, in Anlehnung an die internationale Ergonomie-Norm DIN EN ISO 10075-3 zu Anforderungen an Verfahren zur Messung psychischer Arbeitsbelastung, herangezogen. Je nach Genauigkeit der Bewertung können drei Präzisionsebenen unterschieden werden. Abschätzungen auf der untersten Ebene können als grobe Orientierung angesehen werden und sind durchaus bereits von Laien durchführbar. Begutachtungen von Fachkräften auf dem zu überprüfenden Spezialgebiet dienen als Screening und sind von ihrer Genauigkeit bereits etwas spezifischer. Eine detaillierte und präzise Bewertung kann auf oberster Ebene durch Expertinnen und Experten des jeweiligen Fachbereiches erfolgen. Das Modell wurde um den zu bewertenden Gegenstand erweitert. Es wird differenziert, ob Programme oder AnbieterInnen analysiert werden. Diese Differenzierung schließt Qualitätskriterien für Programme und AnbieterInnen 11
eine Unabhängigkeit vom Programm und dem jeweiligen Anbieter ein. Das Modell ist in Abbildung 2
ersichtlich.
Programme AnbieterInnen
1. Experten
Bewertung
2. Fachkräfte
Screening
3. Laien
Orientierung
Abbildung 2: Modell zur Qualitätsbeurteilung in Anlehnung an DIN EN ISO 10075-3.
Eine Beurteilung der Qualitätskriterien soll sowohl für Anti-Stress-Programme als auch für deren
AnbieterInnen möglich sein. In der ersten Phase ist die Entwicklung zur Beurteilung für ExpertInnen
und Experten, also auf der obersten Ebene, erfolgt. Im weiteren Projektverlauf sollen aber auch
Kriterien und Qualitätsmerkmale für NutzerInnen, d.h. auf der Ebene der Laien, extrahiert werden.
Somit hätten auch unerfahrene Personen oder Personen, die ein Unterstützungsangebot in Anspruch
nehmen möchten, eine Orientierungshilfe, um qualitativ hochwertige Angebote auswählen zu
können.
Schritt 3: Erarbeitung von Kriterienentwürfen
Auf der Grundlage der existierenden Ansätzen und Konzepte (vgl. Kapitel 2) und mit den
Erarbeitungen des ExpertInnenteams wurden die Kriterienentwürfe zur Beurteilung für Anti-Stress-
Programme und AnbieterInnen dieser Programme erstellt.
Die ExpertInnen kamen zu insgesamt vier Arbeitstreffen zu jeweils drei Stunden in einem Zeitraum
von drei Monaten zusammen. Organisiert wurden die Treffen von den ProjektpartnerInnen aus dem
Verein Initiative Mensch (VIM) und dem Institut für Psychologie (IP). Eine Moderatorin steuerte die
Abläufe während der Arbeitstreffen.
Auf der Basis von Brainstormings, Kreativitätstechniken, Diskussionen und Rückkoppelungen mit
existierenden, wissenschaftlich erarbeiteten Qualitätskriterien wurden Hauptdimensionen,
Unterdimensionen und Indikatoren entwickelt. Dabei fanden sich viele Parallelen und Anlehnung an
die ÖNORM D4000 (2005) und die Leitlinien der GKV-Spitzenverbandes (2010).
Im ersten ExpertInnen-Treffen wurden das Projekt und die Ziele des ExpertInnenteams vorgestellt.
Nach Vorstellung aller TeilnehmerInnen folgte ein erstes Brainstorming in Vierergruppen mit dem
Auftrag, Stichworte und Merkmale professioneller Angebote im Bereich der Stress- und
Burnoutprävention zu sammeln. Die Ergebnisse wurden auf Moderationskärtchen festgehalten und
im Plenum vorgestellt. Nach dem Treffen wurden die gesammelten Qualitätsmerkmale von den
ProjektpartnerInnen strukturiert. Als Hautdimensionen wurden Struktur-, Konzept-, Prozess- und
Ergebnisqualität übergeordnet. Ein fünfter Bereich für allgemeine Anregungen zum Wohlfühl-
Kompass wurde erstellt. Die Übersicht wurde auf fünf Pinnwänden visualisiert und dem
ExpertInnenteam beim zweiten Treffen vorgestellt. Zu jeder Dimension wurde eine Gruppe gebildet,
Qualitätskriterien für Programme und AnbieterInnen 12welche die Aufgabe hatte, sich mit neuen Anregungen undoffenen Fragen, aber auch Bedenken bzgl.
der jeweiligen Dimension auseinanderzusetzen. Die Ergebnisse der Auseinandersetzung wurden allen
ExpertInnen im Plenum vorgestellt und es wurde Raum für weitere Anregungen und Diskussionen
gegeben.
Bis zum nächsten Meeting bereitete das Projektteam zu jeder Hauptdimension eine Übersicht mit
den bisher festgehaltenen Qualitätskriterien vor. Es wurde jeweils ein A3-Ausdruck mit einer
Zuteilungsmöglichkeit zu Muss- und Kann-Kriterien sowie Platz für Anmerkungen angefertigt. Im
dritten Zusammentreffen wurden die bisherigen Resultate vom Projektteam zusammengefasst und
angeregt, etwaige Bedenken und mögliche Widerstände zu äußern, damit diese mit berücksichtigt
werden können. Dazu wurden wiederum zu den vier Hauptdimensionen Arbeitsgruppen gebildet. Die
einzelnen Kriterien sollen zusätzlich auf Muss- und Kann-Bestimmungen hinterfragt werden. Es
erfolgte ein Vorstellung der Arbeitsergebnisse in der Gesamtgruppe.
Bis zum letzten ExpertInnentreffen arbeiteten die ProjektpartnerInnen aus den bisherigen Resultaten
den Entwurf eines Qualitätskriterienkataloges für Anti-Stress-Programme und AnbieterInnen (s.
Schritt 4) sowie allgemeine Leitprinzipien für den Wohlfühl-Kompass aus.
Folgend werden die Qualitätskriterien mit den vier Hauptdimensionen und Indikatoren gelistet:
A STRUKTURQUALITÄT
A1 Grundqualifikation Personal
▫ anerkannte Ausbildung im Fachgebiet/Handlungsfeld gemäß Berufsverbänden (wenn
vorhanden) und berufsspezifischen Richtlinien
▫ Gruppenangebote: pädagogische, methodische und didaktische Kompetenzen
A2 Berufserfahrung
▫ mindestens 2 Jahre Berufserfahrung
▫ mindestens 5 Referenzen/Referenzprojekte/Fälle
A3 Kernkompetenzen
▫ Kernkompetenzen sind für das Angebot ausreichend
▫ eigene Grenzen sind definiert, gegebenenfalls wird an andere Einrichtungen/ExpertInnen
weiterverwiesen
A4 Weiterbildung und Reflexion
▫ Fort-, Aus- und Weiterbildungen im Ausmaß von mind. 10 Stunden/Jahr bzw. 20 in letzten
beiden Kalenderjahren bzw. nach berufsspezifischen Richtlinien
▫ regelmäßig Supervision, Erfahrungsaustausch, Reflexion
A5 Interdisziplinarität
▫ interdisziplinäre Zusammenarbeit mit Personen/Institutionen aus anderen Fachrichtungen
▫ Vernetzung mit anderen Personen/Institutionen aus dem gleichen Fachbereich
A6 Rahmenbedingungen
▫ angemessene Gruppengröße
▫ Erreichbarkeit des Anbieters/der Anbieterin
▫ transparente Darstellung des Angebots und der damit verbundenen Kosten
▫ kein wirtschaftliches Interesse am Verkauf von Begleitprodukten
B KONZEPTQUALITÄT
B1 Inhaltliches Konzept, Überprüfbarkeit, fachlich-wissenschaftliche Basis, Abklärung
Qualitätskriterien für Programme und AnbieterInnen 13▫ Zielgruppe(n) unter Berücksichtigung von Bedürfnissen, Wünschen, Interessen,
Genderaspekten, Altersaspekten und (sozio-)demografischer Merkmale
▫ auf die Stärkung psychischer und/oder physischer Gesundheitsressourcen ausgerichtet
▫ Ziele sind wirkungsorientiert, spezifisch, realistisch und überprüfbar
▫ Erwerb, Aufrechterhaltung und Erweiterung von Kompetenzen, Fähigkeiten, Fertigkeiten,
Kenntnisse und gegebenenfalls Einstellungen
▫ zeitlicher Rahmen
▫ ethisch legitimierbar (Transparenz, Freiwilligkeit, Umgang mit Daten)
▫ Einschätzung der Vor- und Nachteile, als auch möglicher Folge- und Nebenwirkungen
▫ Erklärungsmodelle und zugrundeliegende Theorien (Begründungsgrundlage)
▫ bewährte Methoden basierend auf fundierten Theorien (Evidenzbasierung)
▫ Wirkung ist empirisch überprüfbar (in Bezug auf Verlauf, Richtung, Endergebnis)
▫ zumutbare Methoden
▫ Methoden frei von negativen oder schädlichen Neben- oder Folgewirkungen
▫ Konzept beinhaltet Abklärung/Diagnose und Bedarfsklärung
▫ Ziele werden anhand von Abklärung/Diagnose bestimmt
C PROZESSQUALITÄT
C1 Auftragsklärung
▫ Klärung organisatorischer, finanzieller und zeitlicher Rahmenbedingungen vor
Interventionsbeginn
▫ Eruierung von Kundenerwartungen
▫ Eruierung von Kundenzielen
C2 IST-Analyse
▫ Auswahl von Interventionen anhand diagnostischer Abklärung
▫ Auswahl von Interventionen anhand gemeinsamer Zielabklärung
▫ Auswahl von Interventionen aufgrund empirischer Überprüfbarkeit
▫ Auswahl von Interventionen anhand des Nachweises des Auftretens der angestrebten
Veränderungen bzw. ihrer Generalisierung (Transfer)
▫ Auswahl von Interventionen hinsichtlich Erwerb, Aufrechterhaltung und Erweiterung von
Kompetenzen, Fähigkeiten, Fertigkeiten, Kenntnisse und gegebenenfalls Einstellungen
▫ Auswahl von Interventionen frei von negativen oder schädlichen Neben- und
Folgewirkungen
▫ Auswahl von Interventionen unter Berücksichtigung der Zumutbarkeit sowie Neben-,
Folge- und Risikoabschätzungen
▫ kontextangepasste Interventionen (Aufbereitung und Vermittlung der Angebote und
Interventionen angepasst an besondere Bedingungen und Erfordernisse der Zielgruppe
und des Settings)
C2 Prozessplanung und laufende Steuerung
▫ Prozess verläuft planmäßig, zweckmäßig, zielorientiert und kontinuierlich
▫ gemeinsame Erarbeitung und Formulierung von Zielen und Zwischenzielen
▫ Prozess beginnt mit Abklärung und endet mit Überprüfung der Zielvereinbarung
▫ Prozess ist durch definierten Zeithorizont (zeitlich begrenzt) gekennzeichnet, wird bei
Bedarf angepasst
▫ periodische Soll-Ist-Vergleiche
▫ Transparenz und Mitbestimmung der KundInnen
▫ ethischen Kriterien (Transparenz, Freiwilligkeit, vertraulichem Umgang mit Daten,
Verschwiegenheit)
▫ Nachvollziehbarkeit für alle Beteiligten
▫ Bedürfnisse der KundInnen werden berücksichtigt
Qualitätskriterien für Programme und AnbieterInnen 14▫ Beziehungsebene wird ausreichend berücksichtigt, Konflikte werden angesprochen,
respektvollen Umgang
▫ Prozess ist auf Nachhaltigkeit von Veränderungen ausgerichtet
C3 Dokumentation
▫ wichtige Aspekte wie Ziele, Zwischenziele, Inhalte und Methoden
▫ sowohl positive Erfolge als auch negative Erfahrungen
▫ Ergebnisse der Diagnostik und Gesprächsinhalte unterliegen der Verschwiegenheitspflicht
und werden vertraulich behandelt (d.h. Dokumentationen werden geschützt aufbewahrt).
▫ eventuelle Weitergabe von Ergebnissen (z.B. Seminarevaluation) in anonymisierter Form
ohne Rückschlussmöglichkeit auf eine Einzelperson
D ERGEBNISQUALITÄT
D1 Evaluierung
▫ Überprüfung und Dokumentation von Zwischenziel- und Zielerreichung
▫ Abschlussgespräch über Erreichung der Zielvereinbarungen
▫ Überprüfung der Wirksamkeit des Angebots
▫ Befragung nach erfüllten Erwartungshaltungen
▫ Evaluation ermöglicht zukünftige Optimierung der Intervention
D2 Nachhaltigkeit und Transfersicherung
▫ zur Verfügung Stellung von Unterlagen/Übungen zur selbständigen Anwendung und
Reflexion
▫ KundInnen werden befähigt und motiviert, erworbenes Wissen/Fertigkeiten/Übungen
nach Abschluss selbständig anzuwenden und fortzuführen und in ihren (beruflichen)
Alltag zu integrieren
▫ Abschlussgespräch beinhaltet weitere eigenständige Schritte und Anwendungen bzw.
Information über eventuell weiterführende Angebote
▫ Möglichkeit für Rückfragen und weitere Unterstützungsangebote
D3 KundInnen-Zufriedenheit
▫ Zufriedenheit wird erhoben
▫ Bewertung der Durchführung
Zusätzlich wurden folgende Leitlinien und Grundsätze für AnbieterInnen im Bereich der Stress- und
Burnoutprävention erstellt:
Empathie
Das Vermögen, sich in die Gefühle und Sichtweisen anderer Menschen hineinzuversetzen und
angemessen darauf zu reagieren, stellt ein Grundprinzip der Arbeit dar. Es geht um einen aktiven
Prozess des einfühlenden Verstehens und um ein umfassendes Verständnis für das Tun und Denken
der KlientInnen.
Handeln zum Wohle der KlientInnen
Das Handeln ist am Wohl der KlientInnen orientiert, eine aktive Einbindung in den
Interventionsprozess ist vorgesehen. Die Vermeidung jeglichen Schadens stellt selbstverständlich
einen Grundsatz dar.
Transparenz
Größtmögliche Transparenz gegenüber KlientInnen gilt als Grundprinzip.
Qualitätskriterien für Programme und AnbieterInnen 15Ganzheitlichkeit In der Arbeit steht der Mensch in seiner Gesamtheit im Mittelpunkt. Vertraulichkeit Gegenüber Dritten besteht absolute Vertraulichkeit, erfasste Daten gelangen ohne das Wissen von KlientInnen nicht nach außen bzw. werden anonymisiert. Nachhaltigkeit Die Aktivitäten der Wohlfühl-PartnerInnen orientieren sich am Prinzip der Nachhaltigkeit im Sinne des 3-Säulen Modells, das ökologische, ökonomische und soziale Nachhaltigkeit berücksichtigt (zeitlicher Transfer, Situationstransfer, Anforderungstransfer). Empowerment Menschen werden zur Entdeckung eigener Stärken ermutigt und in ihrer Suche nach Selbstbestimmung und Autonomie unterstützt. Ziel ist die Förderung eigener Potenziale und die Wahrnehmung und Aktivierung ungenutzter Ressourcen. Vernetzung und Weiterleitung an andere Die Vernetzung nach außen steht in engem Zusammenhang mit dem Ziel der umfassenden Betreuung und Behandlung der KlientInnen. Die Grenzen der eigenen Kompetenzen sind klar definiert, KlientInnen werden bei Überschreitung dieser Grenzen an entsprechende ExpertInnen bzw. Einrichtungen weitervermittelt. Arbeitshaltung Die Wohlfühl-PartnerInnen erfüllen ihre Aufgaben mit einem hohen Ausmaß an Fachkompetenz, Zuverlässigkeit und Eigenverantwortung. Sie bemühen sich um Achtung, Toleranz, Vertrauen und teamorientierte Zusammenarbeit und legen Wert auf Aus- und Weiterbildung. Die AnbieterInnen setzen sich mit sich selbst und ihren Angeboten und Leistungen laufend auseinander, um den Herausforderungen auch in Zukunft gerecht zu werden. Schritt 4: Erstellung eines Kriterienkatalogs Nach dem die Qualitätsmerkmale definiert wurden, wird im nächsten Schritt ein Kriterienkatalog erstellt. Der Katalog soll die Kriterien und zugehörigen Indikatoren erfassen und als Beurteilungsgrundlage dienen. Er wurde in Form eines Fragebogens konstruiert, den AnbieterInnen für Stress- und Burnoutpräventionsprogramme beantworten können, um die Qualität ihrer Angebote bewerten zu lassen. Eine wesentliche Anforderung an den Kriterienkatalog ist die Anwendbarkeit auf unterschiedliche Fachbereiche. Eine Beurteilung von Beratungsangeboten oder professioneller Unterstützung bei Überbelastung soll ebenso durchgeführt werden können wie eine Bewertung von Unterstützungsangeboten im Bereich der Ernährung oder Körperarbeit. Dazu wurden Richtlinien zur Berufsausübung, u.a. und falls vorhanden bei den jeweiligen Berufsverbänden, eingeholt. Bei der Bewertung von Qualifikation und Ausbildung, Weiterbildung und Kernkompetenzen erfolgte also eine Orientierung an berufsrechtlichen Voraussetzungen. Abgrenzungen zu anderen Fachbereichen Qualitätskriterien für Programme und AnbieterInnen 16
oder Fachgebieten werden berücksichtigt. Die fachübergreifende Anwendung des Kriterienkatalogs
erfordert auch, dass die festgelegten Kriterien auf die unterschiedlichen Fachbereiche übertragbar
sein müssen. Sie dürfen also weder zu eng und spezifisch, noch zu weit gefasst sein.
Der Entwurf wurde auf Basis der bisherigen Erarbeitungen in den ersten drei Treffen des
ExpertInnenteams verfasst. Als Messinstrument umfasst der Kriterienkatalog Fragen zur
Beantwortung für die AnbieterInnen und ein ExpertInnen-File mit Kriterien und Indikatoren zur
Beurteilung der AnbieterInnen.
Für das Messinstrument müssen also zu den Kriterien Fragen formuliert werden, bei deren
Beantwortung auf die Qualität der Angebote rückgeschlossen werden kann. Bei der Formulierung der
Fragen muss beachtet werden, dass sie eindeutig, verständlich, nachvollziehbar und ev. mit
Beispielen versehen sind. Dadurch soll für die AnbieterInnen klar ersichtlich sein, worauf die Frage
abzielt und welche Faktoren beurteilt werden. Als zusätzliche Unterstützung bei der Bearbeitung
werden den AnbieterInnen Hilfestellungen sowie die Bewertungsgrundlage zur Verfügung gestellt.
Die Antwortformate sind größtenteils offen, teilweise sollen Antworten durch Ankreuzen von
Kategorien getätigt werden.
Die Ausarbeitungen bzw. der Katalogentwurf wurden dem ExpertInnenteam im vierten
Arbeitstreffen vorgestellt, gemeinsam diskutiert und modifiziert. Vor allem auf die Messbarkeit und
die Festlegung von Indikatoren und Parametern wurde näher eingegangen. Die daraus
resultierenden Anregungen und Weiterentwicklungen flossen in die Fertigstellung des
Kriterienkatalogs ein.
Aus dem Kriterienkatalog wurde ein Onlinefragebogen im System GLOBALPARK erstellt. Nach einem
Probedurchgang und aus den Rückmeldungen von zwei ExpertInnen resultierenden Anpassungen,
erscheint der Katalog bzw. das Messinstrument als fertiggestellt und kann zu einer ersten
Überprüfung herangezogen werden (s. Schritt 5).
Die im Fragebogen getätigten Antworten werden auf Basis der Kriterien und Indikatoren mit Hilfe
eines Bewertungsschemas beurteilt. Das Bewertungsschema besteht je nach Frage aus einer zwei- bis
vierstufigen Ratingskala (z.B. ja, angegeben - nein, nicht angegeben; nicht erfüllt - wenig erfüllt -
größtenteils erfüllt - vollständig erfüllt). Hinter den Ratings stehen Punkte von 0 bis 3, die für den
Grad der Erfüllung des Kriteriums vergeben werden.
In Tabelle 2 ist ein Beispiel eines zu erfassenden Qualitätskriteriums mit Frage, Kriterium, Indikatoren
und dem Bewertungsschema dargestellt.
Tabelle 2: Beispiel zur Erfassung von Qualitätskriterien.
Frage/Antworten Kriterien Indikatoren Bewertungsschema
A STRUKTURQUALITÄT
A1 Grundqualifikation Personal
A1.3. Welche Qualifikationen haben Sie bzw. Die zur anerkannte Ausbildung
Ihr Personal für die Ausübung Ihrer Durchführung im Fachgebiet/
Angebote? herangezogene(n) Handlungsfeld gemäß
Person(en) Berufsverbänden (wenn in
verfügt/verfügen vorhanden) und hohem
über erforderliche berufsspezifischen Ausmaß nicht
Qualifikationen. Richtlinien erfüllt erfüllt erfüllt
A1.3. Antwort 2 1 0
Qualitätskriterien für Programme und AnbieterInnen 17Es wurde bereits mit den ExpertInnen sog. Muss- und Kann-Kriterien festgelegt. Zum Beispiel muss die Qualifikation im Fachbereich nachgewiesen werden können (Muss-Kriterium), während Reflexion und Erfahrungsaustausch in Form von Supervisionen oder Intervisionen nicht verpflichtend, aber wünschenswert sind (Kann-Kriterium). Nachdem die Identifizierung von Kriterienentwürfen für die festgelegten Prüfaspekte abgeschlossen ist und erste Probedurchläufe der Bewertung durchgeführt sind, wird eine Gewichtung vorgenommen. Dadurch werden wichtigere Kriterien und Muss-Kriterien im Gesamtergebnis in einem stärkeren Ausmaß berücksichtigt. Die Gewichtung erfolgt durch Multiplikation des Kriterienwertes mit einem definierten Faktor. So wird zum Beispiel für die Qualifikation im Fachbereich der erreichte Punktwert des Bewertungsschemas mit 6 multipliziert, während regelmäßige Supervision mit 2,5 multipliziert wird. Die Gewichtung dient außerdem dazu, die Qualitätsdimensionen in der Punktbewertung gleichzustellen, auch wenn die Dimensionen mit einer unterschiedlichen Anzahl an Indikatoren bestimmt werden. Durch Summierung der Punkte wird das Gesamtergebnis ermittelt. Für die Dimensionen Struktur-, Konzept-, Prozess-, Ergebnisqualität können einzelne Bereichswerte berechnet werden. Insgesamt können 353 Punkte erreicht werden. Für die Strukturqualität können maximal 156 Punkte, für die Konzeptqualität 69 Punkte, für die Prozessqualität 65 Punkte und für die Ergebnisqualität 63 Punkte erzielt werden. Als Schwellenwert für eine positive Beurteilung wurde die Erreichung von mindestens 50% der möglichen Punkte, also 175 Punkte, festgelegt. An dieser Stelle sei erwähnt, dass die Einhaltung des Kriterienkatalogs selbstverständlich nicht die gesetzlichen Grundlagen und Voraussetzungen zur Berufsausübung ersetzt. Schritt 5: Prüfung der Qualitätskriterien Die Qualitätskriterien wurden im Rahmen eines Bewerbungsverfahrens von AnbieterInnen von Stress- und Burnout-Präventionsangeboten in der Informationsbroschüre Wohlfühl-Kompass einer ersten Überprüfung unterzogen. Dafür wurde, wie bereits erwähnt, ein Onlinefragebogen (s. Anhang A1) entwickelt, der für BewerberInnen über einen persönlichen Code freigeschalten wird. Den BewerberInnen ist der Fragebogen also über Internet zugänglich und er kann online beantwortet werden. Ein mehrmaliger Zustieg ins System ist dabei möglich, d.h. der Fragebogen muss nicht auf einmal, sondern kann in mehreren Schritten bearbeitet werden. Die Beurteilungen werden von den ProjektpartnerInnen über das oben erläuterte Bewertungsschema vorgenommen. Die Beurteilungsergebnisse sollen objektiv und unabhängig vom Beurteiler sein. Um hohe Beurteilerübereinstimmung zu gewährleisten, ist der Begutachtungsbogen systematisch und übersichtlich aufgebaut und die Kriterien sind klar operationalisiert. Der Beurteilungsbogen ist im Anhang A2 ersichtlich. Im ersten Schritt wurden von den ProjektpartnerInnen getrennte, voneinander unabhängige Beurteilungen vorgenommen. Durch gemeinsame Durchsicht und Diskussion abweichender Qualitätskriterien für Programme und AnbieterInnen 18
Bewertungen wurde sichergestellt, dass die definierten Konzepte, Begriffe und Kriterien von allen in derselben Weise verstanden und somit auch gleich beurteilt werden. Dann folgte eine Überprüfung über die ermittelten Qualitätsprofile in Bezug auf die Kriterien. Es wurde erhoben, ob anerkannte und hoch professionelle AnbieterInnen bzw. Angebote entsprechend hohe Punkte in den Einzeldimensionen bzw. im Gesamtergebnis erreichen. Außerdem wurden die Angebote in Relation zu anderen Einrichtungen, AnbieterInnen und Aktivitäten (für ähnliche Arbeitsbedingungen, Einrichtungsgröße, Zielgruppen, Ansätze) betrachtet. Die Validität des Messinstruments wurde in einem Gespräch mit den BewerberInnen überprüft. Angaben wurden nachgeprüft, in Informationsmaterial eingesehen und auf Unklarheiten oder Verständnisprobleme eingegangen. Bei der Prüfung des entwickelten Qualitätskriterienkataloges konnte festgestellt werden, dass das Instrument gut zwischen qualitativ hoch- und minderwertigen Angeboten differenziert. Die Erfüllung der Mindestpunkteanzahl von 50% der möglichen Punkte erwies sich, v.a. auch durch die geführten Gespräche und den Vergleichen der Qualitätsprofile unter den BewerberInnen, als sinnvoller Cut-off- Wert. Der Fragebogen zur Erfassung der Qualitätskriterien wurde trotz seines Umfangs, seiner Detailliertheit und Länge von den BewerberInnen gut aufgenommen und akzeptiert. Hinsichtlich ökonomischer Gesichtspunkte könnte aber eine Reduktion auf die wesentlichsten Informationen und Kriterien erstrebenswert sein. Unparteiische Gutachter sind Voraussetzung für einen fairen Beurteilungsprozess. Ist eine Bewerberin oder ein Bewerber bekannt, wird die Beurteilung von einer anderen neutralen Person durchgeführt. Schritt 6: Adaptierung des Kriterienkatalogs Aktuell ist der erste Durchgang der Qualitätsprüfung abgeschlossen und es wird an der Überarbeitung und Modifikation des Kriterienkataloges gearbeitet. Zur Verbesserung und Weiterentwicklung können Rückmeldungen der AnwenderInnen beitragen. Dazu wurde den BewerberInnen am Ende des Online-Fragebogens die Gelegenheit gegeben, Rückmeldungen, Wünsche und Anregungen mitzuteilen. Zusätzlich wurden Anregungen und Schwierigkeiten mit dem Fragebogen in den Bewerbergesprächen erfragt. Notwendigkeiten der Modifikation werden auch von Seiten der BeurteilerInnnen während der praktischen Anwendung im Beurteilungsprozess deutlich. Anmerkungen wurden laufend dokumentiert und werden in die Optimierung des Kriterienkataloges einfließen. Qualitätskriterien für Programme und AnbieterInnen 19
2.2. Resümee und Ausblick Durch die Entwicklung eines Qualitätskriterienkatalogs ist es gelungen, für verschiedene Angebote und AnbieterInnen auf dem vielfältigen Markt der Stress- und Burnoutprävention eine objektive Beurteilungsgrundlage in Anlehnung an internationale Standards zu schaffen. Die Beurteilung an Hand des Kriterienkatalogs bietet eine transparente und nachvollziehbare Grundlage für die Auswahl der PartnerInnen/AnbieterInnen in der Broschüre „Wohlfühl-Kompass“. Durch qualitativ hochwertige Angebote kann insgesamt die Präventionsarbeit auf den Ebenen der psychischen, körperlichen und sozialen Gesundheit verbessert werden. Für NutzerInnen wird eine klare Orientierung über professionelle Angebote und Anlaufstellen geboten, um persönliche Gesundheit und subjektives Wohlbefinden aufrechtzuerhalten bzw. zu verbessern. Für AnbieterInnen kann das Instrument zur Reflexion und Überprüfung eigener Angebote und Methoden herangezogen werden. Die Durchführung der Arbeitstreffen mit dem ExpertInnen-Pool und die Methode der Rückkopplung mit existierenden Konzepten zur Qualitätsbeurteilung haben wesentlich zur Entwicklung des Kriterienkataloges beigetragen. Das Messinstrument scheint äußerst nützlich für die Beurteilung von Angeboten und Anbieterinnen gesundheitspräventiver Angebote. Die Überprüfung der ermittelten Qualitätsprofile, sowohl in Bezug auf die Kriterien, als auch in Relation zu anderen Einrichtungen, AnbieterInnen und Aktivitäten, bieten erste Anhaltspunkte für die erfolgreiche Entwicklung des Qualitätskriterienkatalogs. Es ist in der Lage, erstklassige Angebote von weniger professionellen Angeboten zu differenzieren und ein Auswahlverfahren transparent nach festgelegten Anforderungen darzustellen. Aus der bisher konzipierten Expertenebene sollen in Zukunft Kriterien und Qualitätsmerkmale zur Orientierung für NutzerInnen und Laien abgeleitet und vereinfacht dargestellt werden. Hinweise und Richtlinien, worauf bei der Wahl von Angeboten Wert gelegt werden soll, sollen der Unterstützung für eine gezielte Auswahl hochwertiger Angeboten dienen. Qualitätskriterien für Programme und AnbieterInnen 20
Literaturverzeichnis GKV-Spitzenverband (2010). Leitfaden Prävention: Handlungsfelder und Kriterien des GKV- Spitzenverbandes zur Umsetzung von §§ 20 und 20a SGB V vom 21. Juni 2010 in der Fassung vom 27. August 2010 (2. korr. Fassung). Berlin. Benkert, D., Krause, K., Wasem, J.& Aidelsburger, P (2010): Medikamentöse Behandlung der ADHS (Aufmerksamkeitsdefizit-/Hyperaktivitätsstörung) im Erwachsenenalter in Deutschland. Schriftenreihe Health Technology Assessment (HTA), 108. Köln: Deutsches Institut für Medizinische Dokumentation und Information. BKK Bundesverband, Europäisches Informationszentrum (Hrsg.) (1999): Qualitätskriterien für die Betriebliche Gesundheitsförderung. Essen: BKK Bundesverband. Bortz, J. & Döring, N. (2005). Forschungsmethoden und Evaluation für Human- und Sozialwissenschaftler (3., überarb. Aufl.). Heidelberg: Springer Medizin Verlag. Brunner, P., Schachermeyer, E., Jereb, W. & Leitner, E. (2000): Bauwesen - Abfallstrategien in der Steiermark. Projekt BASS, Band 4: Maßnahmen in der Steiermark. Wien: Technische Universität Wien. Coleman, G.D., Van Aken, E.M. & Shen, J. (2002). Estimating interrater reliability of examiner scoring for a state quality award. The Quality Management Journal, 9, 39-58. DIN (2004). DIN EN ISO 10075-3: 2004, Ergonomische Grundlagen bezüglich psychischer Arbeitsbelastung. Teil 3: Grundsätze und Anforderungen an Verfahren zur Messung und Erfassung psychischer Arbeitsbelastung. Berlin: Beuth. Donabedian, A. (1966). Evaluating the quality of medical care. The Milbank Memorial Fund Quarterly, 44, 166–203. Donabedian, A. (1980). Explorations in quality assessment and monitoring. Ann Arbor, MI: Health Administration Press. Donaldson, S. I. (2007). Program Theory-Driven Evaluation Science. New York, London: Lawrence Erlbaum Associates. Kliche, T., Töppich, J., Kawski, S., Koch, U. & Lehmann, H. (2004). Die Beurteilung der Struktur-, Konzept- und Prozessqualität von Prävention und Gesundheitsförderung. Anforderungen und Lösungen. Bundesgesundheitsblatt - Gesundheitsforschung - Gesundheitsschutz (47), 125-132. Krampen, G. & Montada, L. (2002). Peer Reviews als Instrument der Wissenschaftsevaluation in der Psychologie sowie der Fach- und Wissenschaftspolitik. In G. Krampen & L. Montana (Hrsg.), Wissenschaftsforschung in der Psychologie (S. 49-62). Göttingen: Hogrefe. Qualitätskriterien für Programme und AnbieterInnen 21
Sie können auch lesen
