EVIDENZ BEI DIGA ANFORDERUNGEN UND ERFAHRUNGEN - 22.03.2022 FACHGEBIET DIGA-FAST-TRACK - BFARM
←
→
Transkription von Seiteninhalten
Wenn Ihr Browser die Seite nicht korrekt rendert, bitte, lesen Sie den Inhalt der Seite unten
Evidenz bei DiGA
Anforderungen und Erfahrungen
22.03.2022
Fachgebiet DiGA-Fast-Track
Evidenz bei DiGA – Anforderungen und Erfahrungen (Webinar) | BfArM | 22.03.2022 1
Vorstellung der Referenten
Dr. Tobias Möllers Laurenz Waider
Wissenschaftlicher Mitarbeiter Wissenschaftlicher Mitarbeiter
DiGA-Fast-Track DiGA-Fast-Track
Evidenz bei DiGA – Anforderungen und Erfahrungen (Webinar) | BfArM | 22.03.2022 2
Agenda
Uhrzeit Thema Vortragende
09:30 Uhr – 09:45 Uhr Begrüßung und kurze Einführung & Überblick über Antragsverfahren und Verzeichnis Höfgen/Waider
09:45 Uhr – 10:00 Uhr Formale Anforderungen an systematische Datenauswertung Waider
10:00 Uhr – 10:35 Uhr Inhaltliche Anforderungen an systematische Datenauswertungen Möllers/Waider
10:35 Uhr – 11:00 Uhr Lessons learned systematische Datenauswertung Möllers
11:00 Uhr – 11:15 Uhr Fragenblock 1 Höfgen/Möllers/Waider
15 min Kaffeepause
11:30 Uhr – 11:40 Uhr Formale Anforderungen an die Studie zum Nachweis positiver Versorgungseffekte Möllers
11:40 Uhr – 12:10 Uhr Inhaltliche Anforderungen an die Studie zum Nachweis positiver Versorgungseffekte Möllers/Waider
12:10 Uhr – 12:25 Uhr Lessons learned zur Studie zum Nachweis positiver Versorgungseffekte und Höfgen/Möllers/Waider
Fragenblock
12:25 Uhr – 12:30 Uhr Abschluss Höfgen
Evidenz bei DiGA – Anforderungen und Erfahrungen (Webinar) | BfArM | 22.03.2022 3
Ziele des Webinars
Die Ziele des Webinars sind:
• Entwicklung eines besseren Verständnisses der Evidenzanforderungen im DiGA-Verfahren
• Klarheit über formale Anforderungen an die Dokumente
• Vermittlung des grundsätzlichen Rüstzeugs für eine erfolgreiche systematische Datenauswertung & Erprobungsstudie
Gegenstand des Webinars ist nicht:
• Klärung von produktspezifischen oder indikationsspezifischen Fragen zur Evidenz
• Klärung regulatorischer Fragen (z. B. Daten aus anderen Medizinprodukten, digitale Hauptfunktion der DiGA)
• Klärung von Fragen zur Preisbildung/Höchstbetragsgruppen
Evidenz bei DiGA – Anforderungen und Erfahrungen (Webinar) | BfArM | 22.03.2022 4Für produktspezifische Fragen zu Evidenznachweisen empfehlen wir
ein Beratungsgespräch
Anlaufstelle für DiGA-Beratungen:
Innovationsbüro des BfArM
E-Mail: innovation@bfarm.de
Tel.: +49 228 99 307-4053
Evidenz bei DiGA – Anforderungen und Erfahrungen (Webinar) | BfArM | 22.03.2022 5
Was ist eine DiGA? Und was nicht?
Medizinprodukt Primärpräventive digitale Anwendungen
niedrige Risikoklasse (I oder IIa) „Praxisausstattung“ / Telemedizinische Anwendungen
digitale Hauptfunktion
medizinische Zweckbestimmung
positiver Versorgungseffekt
DiGA wird vom Patient oder von
Leistungserbringer und Patient gemeinsam
genutzt
Evidenz bei DiGA – Anforderungen und Erfahrungen (Webinar) | BfArM | 22.03.2022 6Anforderung an DiGA (I )
Sicherheit und Datenschutz und Qualität, insbesondere
+ +
Funktionstauglichkeit Informationssicherheit Interoperabilität
Voraussetzung aus dem SGB V und der DiGAV
Evidenz bei DiGA – Anforderungen und Erfahrungen (Webinar) | BfArM | 22.03.2022 7Anforderung an DiGA (2) - Positive Versorgungseffekte
Medizinischer Nutzen Patientenrelevante Struktur- & Verfahrens-
verbesserungen (pSVV)
Neue Möglichkeiten für eine Verbesserung der
Patientenrelevante Effekte, Versorgung, umfassen insbesondere die Bereiche der
insbesondere hinsichtlich: • Koordination der Behandlungsabläufe,
• Ausrichtung der Behandlung an Leitlinien und
• der Verbesserung des anerkannten Standards,
Gesundheitszustands, • Adhärenz,
UND/ODER
• der Verkürzung der Krankheitsdauer, • Erleichterung des Zugangs zur Versorgung,
• Patientensicherheit,
• der Verlängerung des Überlebens oder
• Gesundheitskompetenz,
• einer Verbesserung der Lebensqualität • Patientensouveränität,
• Bewältigung krankheitsbedingter Schwierigkeiten im
Alltag oder Reduzierung therapiebedingter Aufwände
und Belastungen der Patienten und ihrer Angehörigen
Evidenz bei DiGA – Anforderungen und Erfahrungen (Webinar) | BfArM | 22.03.2022 8Der DiGA-Fast-Track zur „App auf Rezept“ im Überblick
Mit DVPMG:
Leistungen durch
Heilmittelerbringende
oder Hebammen
Evidenz bei DiGA – Anforderungen und Erfahrungen (Webinar) | BfArM | 22.03.2022 9Wie viele Anträge wurden seit dem Start des
DiGA-Antragsportals zur Prüfung beim BfArM eingereicht?
92 Anträge
zur vorläufigen
124 Anträge Aufnahme zur Erprobung
gesamt = 32 Anträge
zur dauerhaften
Aufnahme
Evidenz bei DiGA – Anforderungen und Erfahrungen (Webinar) | BfArM | 22.03.2022 10Ergebnisse
124
zu den
bisherigen Antragsprüfungen
8
31 23
8
24
61
Evidenz bei DiGA – Anforderungen und Erfahrungen (Webinar) | BfArM | 22.03.2022 11DiGA Kategorien der DiGA-Anträge
0 5 10 15 20 25 30 35
Psyche 31
Muskel, Knochen und Gelenke 16
Nervensystem 14
Herz und Kreislauf 13
Krebs 12
Hormone und Stoffwechsel 10
Nieren und Harnwege 7
Atemwege 5
Augen 4
Andere 3
Ohren 2
Verdauung 2
Haut 1
Schwangerschaft 1
Sonstige 1
Verletzungen 1
Zusätzliche Risiken 1
Evidenz bei DiGA – Anforderungen und Erfahrungen (Webinar) | BfArM | 22.03.2022 12Überblick Evidenz („Studientypen“)
Die Art der Evidenz der 124 Anträge stellt sich wie folgt dar:
keine Studie mit der eigenen DiGA Studie nicht
2 geplant
23 Anträge mit anderen Evidenzformen 2
• Befragungen
• Intraindividuelle Vergleiche
• Prospektiv kontrollierte / Andere
vergleichende Studien Evidenzformen
• Retrospektive vergleichende Studie 18%
97 Anträge mit Randomisiert
kontrollierten Studien (RCT)
• Eine RCT
• Mehrere RCT
RCT • Kombinationen aus RCT und
78% zusätzlicher retrospektiver Studie
• Mehrere RCT und Metaanalyse
Evidenz bei DiGA – Anforderungen und Erfahrungen (Webinar) | BfArM | 22.03.2022 13Überblick über initial dauerhaft aufgenommene DiGA im Verzeichnis (n = 8)
Status der DiGA DiGA, die einen medizinischen Nutzen in Anspruch nehmen
Dauerhaft
aufgenommen; DiGA ohne medizinischem
8 Nutzen; 0
DiGA mit
medizinischem
Nutzen; 8
Evidenztypen der eingereichten Studie(n) zur dauerhaften
Patientenrelevante Struktur- & Verfahrensverbesserungen (pSVV)
Aufnahme
DiGA mit
pSVV; 2 Metaanalyse; 1
DiGA ohne pSVV; 6 RCT; 7
Evidenz bei DiGA – Anforderungen und Erfahrungen (Webinar) | BfArM | 22.03.2022 14Überblick über initial vorläufig aufgenommene DiGA im Verzeichnis (n = 23)
Status der DiGA DiGA, die einen medizinischen Nutzen in Anspruch nehmen
DiGA ohne medizinischem
Nutzen; 1
Vorläufig
aufgenommen; 23 DiGA mit
medizinischem
Nutzen; 22
Patientenrelevante Struktur- & Verfahrensverbesserungen (pSVV) Evidenztypen der geplanten Evaluationsstudie
DiGA mit RCT in Kombination mit
pSVV; 7 retrospektiver Studie; 1
DiGA ohne pSVV; 16 RCT; 22
Evidenz bei DiGA – Anforderungen und Erfahrungen (Webinar) | BfArM | 22.03.2022 15Themenblock 1
Systematische Datenauswertung
Evidenz bei DiGA – Anforderungen und Erfahrungen (Webinar) | BfArM | 22.03.2022 16Systematische Datenauswertung
Formale Anforderungen
Evidenz bei DiGA – Anforderungen und Erfahrungen (Webinar) | BfArM | 22.03.2022 17Elemente der systematischen Datenauswertung
Systematische Literaturrecherche + Auswertung eigener Daten mit der
DiGA zu den postulierten positiven
Versorgungseffekten
Evidenz bei DiGA – Anforderungen und Erfahrungen (Webinar) | BfArM | 22.03.2022 18Möglicher Aufbau einer systematischen Datenauswertung
Die systematische Datenauswertung sollte folgende Punkte umfassen:
1. Titel, Datum, Versionsnummer
2. Zusammenfassung/Abstract
3. Einleitung und Projektziele
4. Systematische Literaturrecherche
5. Beschreibung des Designs und angewandter Methodik
6. Ergebnisse
7. Diskussion
8. Fazit
Evidenz bei DiGA – Anforderungen und Erfahrungen (Webinar) | BfArM | 22.03.2022 19Möglicher Aufbau einer systematischen Literaturrecherche
Systematische Literaturrecherche
• Beschreibung des Fokus der Recherche
• Definition der Suchstrategie (z. B. anhand des PICO-Schemas)
• Ein- & Ausschlusskriterien
• Flow-Chart zu den Ergebnissen unter Berücksichtigung der Ein- & Ausschlusskriterien
• Beschreibung der Ergebnisse in Text- und Tabellenform
• Diskussion der Ergebnisse und Einordnung der DiGA
• Fazit und Implikationen für die eigene Auswertung von Daten
Evidenz bei DiGA – Anforderungen und Erfahrungen (Webinar) | BfArM | 22.03.2022 20Beschreibung des Designs & angewandter Methodik in der
systematischen Datenauswertung
Beschreibung des Designs & angewandter Methodik
• Zielgrößen
• Untersuchte Population
• Rekrutierungsmaßnahmen
• Beschreibung der Datenquellen (z. B. Fragebögen, Daten aus der DiGA, Krankenakten)
• Beschreibung der erfassten Daten
• Zeitlicher Ablauf
• Statistische Methoden
Evidenz bei DiGA – Anforderungen und Erfahrungen (Webinar) | BfArM | 22.03.2022 21Weitere Hinweise zur Auswertung eigener Daten mit der DiGA im
Rahmen der systematischen Datenauswertung
Eine transparente Darstellung ist ein essentieller Faktor für die Aussagekraft der systematischen Datenauswertung.
Insbesondere die nachfolgenden Punkte müssen transparent dargestellt sein:
1. Ein- und Ausschlusskriterien
2. Patient-Flow
3. Drop-outs und ggf. erfasste Gründe
4. Deskriptive Beschreibung der Population
5. Beschreibung der Ergebnisse der postulierten positiven Versorgungseffekte
Text und Tabellenform
Mittelwert, Median, Standardabweichung, Interquartilsabstand (bei Messinstrumenten auf der Originalskala
berichtet)
Minima, Maxima
Veränderung im Zielparameter mit Konfidenzintervall
Evidenz bei DiGA – Anforderungen und Erfahrungen (Webinar) | BfArM | 22.03.2022 22Systematische Datenauswertung
Inhaltliche Anforderungen
Evidenz bei DiGA – Anforderungen und Erfahrungen (Webinar) | BfArM | 22.03.2022 23Gesetzliche Grundlagen zu den Anforderungen an die systematische
Datenauswertung
§ 139e Absatz 4 Satz 2 des Fünften Buches Sozialgesetzbuch (SGB V)
„Der Hersteller hat dem Antrag neben den Nachweisen nach Absatz 2 Satz 2 Nummer 1 und 2 eine plausible
Begründung des Beitrags der digitalen Gesundheitsanwendung zur Verbesserung der Versorgung […]
beizufügen.“
§ 14 der Digitale Gesundheitsanwendungen-Verordnung
„Für einen Antrag nach § 139e Absatz 4 des Fünften Buches Sozialgesetzbuch hat der Hersteller zur
plausiblen Begründung, dass im Rahmen einer Erprobung ein positiver Versorgungseffekt nachgewiesen
werden kann, mindestens die Ergebnisse einer systematischen Datenauswertung zur Nutzung der digitalen
Gesundheitsanwendung vorzulegen.“
Evidenz bei DiGA – Anforderungen und Erfahrungen (Webinar) | BfArM | 22.03.2022 24Anforderungen an systematische Datenauswertung
1. Charakter
2. Einbettung in das Evaluationskonzept
3. Bezug zur geplanten Studie
4. Umfang
5. Robustheit
6. Abbrecher
7. Sprachversion
8. Daten aus dem Ausland
9. Beobachtungszeitraum und Verordnungszeitraum
Evidenz bei DiGA – Anforderungen und Erfahrungen (Webinar) | BfArM | 22.03.2022 25Anforderungen an systematische Datenauswertung - Charakter
Charakter
Plausible Darstellung einer voraussichtlich erfolgreichen Evaluationsstudie:
• Anhaltspunkte für (klinische) Relevanz der Ergebnisse
• Rückschluss auf DiGA-Nutzung
• Einfluss Moderationsvariablen (z. B. parallele Therapie) weitestgehend reduzieren (bei Prä-Post-
Vergleich häufig schwierig)
Beispiel:
• Eine DiGA wird parallel zur einer Psychotherapie eingesetzt und soll den Gesundheitszustand
verbessern.
• Als systematische Datenauswertung will der Hersteller einen Prä-Post-Vergleich durchführen.
• Vorliegend können die beobachteten Effekte nicht eindeutig der DiGA zugeordnet werden. Die
Psychotherapie könnte hier auch ursächlich für die Verbesserung des Gesundheitszustands sein.
Evidenz bei DiGA – Anforderungen und Erfahrungen (Webinar) | BfArM | 22.03.2022 26Anforderungen an systematische Datenauswertung - Bezug zur
geplanten Studie
Bezug zur geplanten Studie und zum Antrag
Gleiche Patientenpopulation wie die geplante Evaluationsstudie und im Antrag
Ideal: gleiche Endpunkte (kann in begründeten Fällen abweichen)
Beispiel:
• Eine DiGA soll bei Patientinnen und Patienten mit leichten, mittleren und schweren Depressionen den
Gesundheitszustand verbessern.
• In der Erprobungsstudie werden alle o. g. Indikationen untersucht.
• In der systematischen Datenauswertung wurden nur leichte Depressionen eingeschlossen.
• Die systematische Datenauswertung bildet nicht alle postulierten und in der Erprobungsstudie zu
untersuchenden Indikationen ab. Die Indikationen für den Antrag sind zu beschränken.
Evidenz bei DiGA – Anforderungen und Erfahrungen (Webinar) | BfArM | 22.03.2022 27Anforderungen an systematische Datenauswertung - Umfang
Umfang
Umfang, Design und Anzahl der zu Patientinnen und Patienten abhängig vom Krankheitsbild, Endpunkt,
Versorgungsrealität
Krankheitsbilder mit bekannt hoher Placeboresponse benötigen robustere Daten (z. B. Kontrollgruppe)
Beispiel:
• Eine DiGA soll die Lebensqualität bei Patientinnen & Patienten mit Diabetes mellitus Typ 2 verbessern.
• DiGA und QoL-Erhebung/Beobachtungssituation stellt an sich Intervention und ggf. Verzerrung des
Ergebnisses dar.
• Eine Kontrollgruppe und ein explorativer objektivierbarer krankheitsspezifischer Endpunkt (z. B. HbA1c)
sind zur Unterstützung notwendig um plausible Hinweise zu liefern und zu zeigen, dass die Verbesserung
der Lebensqualität nicht auf Kosten des Gesundheitszustands geht.
Evidenz bei DiGA – Anforderungen und Erfahrungen (Webinar) | BfArM | 22.03.2022 28Anforderungen an systematische Datenauswertung - Robustheit
Robustheit
Statistisch signifikante Ergebnisse keine grundsätzliche Bedingung
Tendenz p < 0,1 beidseitig muss die These in einem solchen Fall untermauern
Robust: z. B. Standardabweichung im Rahmen des Mittelwerts, keine großen Konfidenzintervalle
Problematisch: Verbesserungen mit sehr hoher Varianz
Beispiel:
• Im Rahmen einer DiGA soll die kopfschmerzbedingte Beeinträchtigung reduziert werden.
• Zu Baseline lag der Mittelwert des Erhebungsinstruments bei 39 (SD = 62). Nach Intervention betrugt der
Mittelwert 20,3 (SD = 30,4).
• Die Standardabweichung ist vorliegend zu groß, sodass man nicht von robusten Ergebnissen sprechen
kann.
Evidenz bei DiGA – Anforderungen und Erfahrungen (Webinar) | BfArM | 22.03.2022 29Anforderungen an systematische Datenauswertung - Abbrecher
Abbrecher
Anzahl und Gründe möglichst erfassen
Patient-Flow darstellen
Akzeptable Drop-out-Rate abhängig vom Krankheitsbild
Sensitivitätsanalysen mit Imputation fehlender Werte
Beispiel:
• Initial (Zeitpunkt T0) wurden 744 Patientinnen und Patienten in die systematische Datenauswertung
eingeschlossen, welche auch den ersten Fragebogen beantwortet haben.
• Nach 3 Monaten (Zeitpunkt T3) wurde der Fragebogen von 26 Patientinnen und Patienten ausgefüllt.
• Über 95 % der Patientinnen und Patienten brachen die Nutzung der App ab.
• Keine plausible Begründung der Versorgungsverbesserung.
Evidenz bei DiGA – Anforderungen und Erfahrungen (Webinar) | BfArM | 22.03.2022 30Anforderungen an systematische Datenauswertung – Sprachversion
& Daten aus dem Ausland
Sprachversion
Systematische Datenauswertung andere Sprachversion der DiGA
• Plausible Begründung, dass es keine Unterschiede gibt, die ggf. Einfluss auf pVE haben könnten
Daten aus dem Ausland
Plausible Begründung, dass die Versorgungsrealität vergleichbar ist
Mögliche Unterschiede in Patientencharakteristika sollten die Übertragbarkeit der Ergebnisse nicht
beeinträchtigen
Evidenz bei DiGA – Anforderungen und Erfahrungen (Webinar) | BfArM | 22.03.2022 31Anforderungen an systematische Datenauswertung -
Beobachtungszeitraum
Beobachtungszeitraum (systematische Datenauswertung & Evaluationsstudie)
Kann in der systematischen Datenauswertung in der Regel kürzer ausfallen
Verkürzter Beobachtungszeitrum muss begründet werden
Beobachtungszeitraum und Verordnungszeitraum
Beobachtungszeitraum kürzer als späterer Verordnungszeitraum
Plausible Begründung, dass der Effekt auf Verordnungszeitraum übertragbar ist
Beispiel:
• Bei einer DiGA zur Rauchentwöhnung wurden 60 Patientinnen & Patienten ab dem Zeitpunkt der
Abstinenz 4 Monate beobachtet. 48 Teilnehmende waren nach 4 Monaten abstinent
• In der Erprobungsstudie werden die Teilnehmenden über einen Zeitraum von 6 Monaten nach Abstinenz
beobachtet.
• Aus klinischer Sicht geben 4 Monate erste plausible Hinweise auf eine Versorgungsverbesserung.
Evidenz bei DiGA – Anforderungen und Erfahrungen (Webinar) | BfArM | 22.03.2022 32Beispiele systematischer Datenauswertungen als Begründung der
Versorgungsverbesserung (1/3)
Beispiel Agoraphobie Beispiel Hypertonie
Als pVE wird die Verbesserung der Symptomatik bei einer
Als pVE wird die Verbesserung der Symptomatik DiGA für Hypertonie postuliert. Im Rahmen der
bei einer DiGA für Agoraphobie postuliert. Im systematischen Datenauswertung wurden 50
Rahmen der systematischen Datenauswertung Patientinnen und Patienten eingeschlossen. Die
wurden 35 Patientinnen und Patienten relevanten Daten wurden zu zwei Zeitpunkten (vor- und
eingeschlossen. Die relevanten Daten wurden zu nach Anwendung der DiGA) erhoben. Es zeigten sich
zwei Zeitpunkten (vor- und nach Anwendung keine robusten Ergebnisse (sehr große Varianz). Des
der DiGA, keine Kontrollgruppe) erhoben. Es Weiteren handelt es sich bei Hypertonie um ein
zeigten sich starke und robuste Effekte der Krankheitsbild, bei welchem starke Placeboeffekte
Anwendung. bekannt sind. Neben robusteren Ergebnissen wäre
vorliegend eine Kontrollgruppe zur Bewertung der
Plausibilität notwendig.
X
Evidenz bei DiGA – Anforderungen und Erfahrungen (Webinar) | BfArM | 22.03.2022 33Beispiele systematische Datenauswertungen als Begründung der
Versorgungsverbesserung (2/3)
Beispiel Diabetes mellitus
Als pVE wird die Verbesserung des Gesundheitszustands /Verbesserung des HbA1C bei einer DiGA für
Diabetes mellitus postuliert. Im Rahmen der systematischen Datenauswertung wurden 100
Patientinnen und Patienten eingeschlossen. Der Beobachtungszeitraum innerhalb der systematischen
Datenauswertung betrug drei Monate vor Nutzung der DiGA sowie drei Monate mit Nutzung der
DiGA, während ein kontrollierter Beobachtungszeitraum und DiGA-Intervention von sechs Monaten
in der Erprobungsstudie geplant ist. Der Antragsteller konnte den Beobachtungszeitraum von drei
Monaten plausibel begründen und mit robusten Ergebnissen untermauern. Die verkürzte
Beobachtungsdauer wurde akzeptiert.
Evidenz bei DiGA – Anforderungen und Erfahrungen (Webinar) | BfArM | 22.03.2022 34Beispiele systematische Datenauswertungen als Begründung der
Versorgungsverbesserung (3/3)
Beispiel pSVV Gesundheitskompetenz
Als pVE wird die Verbesserung der Gesundheitskompetenz postuliert. Im Rahmen der systematischen
Datenauswertung wurde 100 Probandinnen und Probanden nach vierwöchiger Intervention ein selbst
konzipierter Fragebogen, bestehend aus zehn Fragen, vorgelegt. Anhand eines Items wurde abgefragt, ob sich
die Gesundheitskompetenz der Patientin bzw. des Patienten in den vergangenen vier Wochen verbessert hat.
Die übrigen Fragen bezogen sich auf die Nutzungshäufigkeit und die Usability der Applikation.
Der Endpunkt "Gesundheitskompetenz" wurde nur anhand einer Frage erhoben. Es gab zudem nur einen
Erhebungszeitpunkt nach vierwöchiger Nutzung. Neben der Verwendung eines aussagekräftigen
Erhebungsinstruments für den postulierten pVE "Gesundheitskompetenz" wäre zur besseren Vergleichbarkeit
auch eine Baseline-Erhebung notwendig.
X
Evidenz bei DiGA – Anforderungen und Erfahrungen (Webinar) | BfArM | 22.03.2022 35Zusammenfassung Anforderungen an systematische
Datenauswertung
plausible Darstellung zu erwartender positiver Versorgungseffekte
Abhängig von Krankheitsbild, positiven Versorgungseffekten/Endpunkten und Versorgungsrealität
und -kontext
Robuste Ergebnisse notwendig (z. B. Standardabweichung im Rahmen des Mittelwerts, keine großen
Konfidenzintervalle)
• Anhaltspunkte für (klinische) Relevanz der Ergebnisse
• Rückschluss auf DiGA-Nutzung (Einfluss von Moderationsvariablen)
• Beobachtungszeitraum sollte plausibel zum Verordnungszeitraum sein
Evidenz bei DiGA – Anforderungen und Erfahrungen (Webinar) | BfArM | 22.03.2022 36Systematische Datenauswertung
Lessons learned
Evidenz bei DiGA – Anforderungen und Erfahrungen (Webinar) | BfArM | 22.03.2022 37Lessons learned aus Antragsverfahren
Im Folgenden möchten wir nochmals Lessons learned zu den nachfolgenden Punkten aufzeigen:
Systematische Datenauswertungen als
Vor- und Nachteile möglicher Designs
Zwischenauswertungen im Rahmen der
von systematischen Datenauswertungen
Erprobungsstudie
Evidenz bei DiGA – Anforderungen und Erfahrungen (Webinar) | BfArM | 22.03.2022 38Intraindividueller Vergleich
Nutzung der DiGA Vorteile
• Einfache Durchführung
Pre (T0) Post (T1)
Auswertungsmöglichkeiten
• Intragruppen-Vergleich
Nachteile
• Veränderung nach Schweregrad, Krankheitsdauer,
Begleittherapie • Einfluss des natürlichen Verlaufs der Erkrankung
• Anteil Patientinnen und Patienten mit (klinisch) relevanter • Einfluss von Moderatorvariablen (z. B. parallele Therapie)
Verbesserung • Einfluss von Studieneffekten
• Regression: Post = Pre
Evidenz bei DiGA – Anforderungen und Erfahrungen (Webinar) | BfArM | 22.03.2022 39Intraindividueller kontrollierter Vergleich
Keine Nutzung der DiGA Nutzung der DiGA Vorteile
• Einfache Durchführung
• Kontrollierte Periode
Pre (T0) Post/Pre (T1) Post (T2)
• Reduktion des Einflusses des natürlichen Verlaufs
• Reduktion des Einflusses von Moderatorvariablen
• Reduktion des Einflusses von Studieneffekten
Auswertungsmöglichkeiten
• Intragruppen-Vergleich
Nachteile
• Veränderung nach Schweregrad, Krankheitsdauer,
Begleittherapie
• Anteil Patientinnen und Patienten mit (klinisch) relevanter • Ggf. sehr langer Beobachtungszeitraum
Verbesserung
Evidenz bei DiGA – Anforderungen und Erfahrungen (Webinar) | BfArM | 22.03.2022 40Nicht-randomisierter Vergleich (historische) Kontrollgruppe
Nutzung der DiGA Vorteile
• Einfache Durchführung (eigene Datenerhebung)
Pre (T0) Post (T1) • Robustere Ergebnisse durch (historische) Kontrollgruppe
• Reduktion des Einflusses des natürlichen Verlaufs
Keine Nutzung der DiGA • Reduktion des Einflusses von Moderatorvariablen
• Reduktion des Einfluss von Studieneffekten
Pre (T0) Post (T1)
Auswertungsmöglichkeiten
Nachteile
• Intergruppen-Vergleich
• Veränderung nach Schweregrad, Krankheitsdauer,
• Passende Datenquelle & Kooperationsbereitschaft
Begleittherapie
• Responder-Analyse(n)
• Adjustierung von Einflussfaktoren
Evidenz bei DiGA – Anforderungen und Erfahrungen (Webinar) | BfArM | 22.03.2022 41Randomisierte Pilotstudie
Nutzung der DiGA
Vorteile
Pre (T0) Post (T1) • Robustere Ergebnisse durch Kontrollgruppe
• Reduktion des Einflusses des natürlichen Verlaufs
• Reduktion des Einflusses von Moderatorvariablen
Keine Nutzung der DiGA
• Erkenntnisse zu Studieneffekten
• Reduktion des Einfluss von Studieneffekten
Pre (T0) Post (T1)
Auswertungsmöglichkeiten
Nachteile
• Intergruppen-Vergleich
• Veränderung nach Schweregrad, Krankheitsdauer,
• Aufwändigere Durchführung
Begleittherapie
• Responder-Analyse(n)
Evidenz bei DiGA – Anforderungen und Erfahrungen (Webinar) | BfArM | 22.03.2022 42Zwischenauswertung randomisierter Studie
Nutzung der DiGA Vorteile
Pre (T0) Post (T1) • Robustere Ergebnisse durch Kontrollgruppe
• Reduktion des Einflusses des natürlichen Verlaufs
Keine Nutzung der DiGA • Reduktion des Einflusses von Moderatorvariablen
• Reduktion des Einflusses von Studieneffekten
Pre (T0) Post (T1)
Auswertungsmöglichkeiten Nachteile
• Intergruppen-Vergleich
• Veränderung nach Schweregrad, Krankheitsdauer, • Multiplizität
Begleittherapie • Aufwändigere Durchführung
• Responder-Analyse(n)
Evidenz bei DiGA – Anforderungen und Erfahrungen (Webinar) | BfArM | 22.03.2022 43Zwischenauswertung randomisierter Studie
Voraussetzungen
Das Vorhaben einer Interimsanalyse muss präspezifiziert sein.
Zeitpunkt der Zwischenauswertung und Anzahl der Patientinnen und Patienten.
Adjustierung für Multiplizität abhängig vom konkreten Design (unverblindete Fallzahlanpassung,
konfirmatorische Analyse, Stopp-Regeln für Studie, Änderung des Studiendesigns anhand der Ergebnisse).
Der Einfluss der Interimsanalyse auf die laufende Studie muss so gering wie möglich gehalten werden (z. B.
keine Kommunikation der Ergebnisse an Studienärzte und Patientinnen und Patienten).
Sensitivitätsanalyse ohne Patientinnen/Patienten aus der Interimsanalyse sollte durchgeführt werden.
Vergleich Patientinnen/Patienten aus der Interimsanalyse/nicht aus der Interimsanalyse
Risiko des Herstellers, da keine vollständige Bewertung des Studienkonzepts stattgefunden hat.
Eckpunkte könnten teilweise in Beratungsgesprächen besprochen werden (jedoch keine abschließende
Bewertung).
Evidenz bei DiGA – Anforderungen und Erfahrungen (Webinar) | BfArM | 22.03.2022 44Aktualisierung des Leitfadens
• Die in den vorherigen Folien angesprochenen Punkte wurden
größtenteils im Rahmen eines Updates des Leitfadens am
18.03.2022 aufgenommen.
Evidenz bei DiGA – Anforderungen und Erfahrungen (Webinar) | BfArM | 22.03.2022 45Systematische Datenauswertung
Ihr Fragen
Evidenz bei DiGA – Anforderungen und Erfahrungen (Webinar) | BfArM | 22.03.2022 46Ihre Fragen
„Welchen Umfang muss die systematische Datenauswertung haben?“
„Ist eine Kontrollgruppe bei der Systematischen Datenauswertung zwingend erforderlich?“
„Ist bei der systematischen Datenauswertung ein intraindividueller Vergleich möglich?“
„Unter welchen Voraussetzungen akzeptiert das BfArM für die systematische Datenauswertung eine einarmige
Studie?“
„Welche Anforderungen gibt es an den Umfang und das Design der Literaturübersicht?“
„What are the minimum requirement (whether a predicate or literature review is acceptable) for
clinical trial/positive care effects evidence for a DiGA ?“
Diese Fragen haben wir aus unserer Sicht schon im Rahmen unserer Präsentation beantwortet.
Evidenz bei DiGA – Anforderungen und Erfahrungen (Webinar) | BfArM | 22.03.2022 47Noch unbeantwortete Fragen systematische Datenauswertung (1/4)
„Ist eine achtwöchige Erprobungsstudie mit intraindividuellem Prä-Post-Vergleich ausreichend als Nachweis von
positiven Versorgungseffekten? (für die vorläufige Aufnahme)?“
• Diese Frage lässt sich leider so allgemein nicht beantworten. Das ist abhängig von verschiedenen Faktoren:
• Welche positiven Versorgungseffekte sollen hier mit welchen Endpunkten gezeigt werden?
• Wie ist der Verordnungszeitraum und weicht dieser von den 8 Wochen ab? Kann die Abweichung plausibel
begründet werden?
• Welche Indikationen sollen betrachtet werden? Bei chronischen Erkrankungen erscheint dies z. B. recht kurz.
Hier empfiehlt sich eine Beratung.
Evidenz bei DiGA – Anforderungen und Erfahrungen (Webinar) | BfArM | 22.03.2022 48Noch unbeantwortete Fragen systematische Datenauswertung (2/4)
„Welche Anforderungen gibt es hinsichtlich des Studiendesigns der Pilotstudie? Gelten hier umfassend die
Anforderungen an klinische Studien (Verblindung, Randomisierung, Ethikkommission etc.)?“
• Die regulatorischen Anforderungen von klinischen Prüfungen mit Medizinprodukten gelten natürlich auch für
systematische Datenauswertungen.
Evidenz bei DiGA – Anforderungen und Erfahrungen (Webinar) | BfArM | 22.03.2022 49Noch unbeantwortete Fragen systematische Datenauswertung (3/4)
„Darf die systematische Datenauswertung mit verschiedenen App-Versionen während der App-Entwicklung durchgeführt
worden sein?“
• Grundsätzlich gilt: Die systematische Datenauswertung soll das antragsgegenständliche Produkt betrachten und
die regulatorischen Anforderungen an die klinische Prüfung von Medizinprodukten sind einzuhalten.
• In Einzelfällen kann die Vorgängerversionen unter bestimmten Bedingungen zulässig sein.
• Zur Bewertung ist insbesondere folgendes vorzulegen:
• Detaillierte & transparente Darstellung (tabellarische Übersicht/Screenshots) der Änderungen am
Medizinprodukt
• Plausible Darlegung, warum die Änderungen keine Auswirkungen auf die postulierten positiven
Versorgungseffekte haben
Evidenz bei DiGA – Anforderungen und Erfahrungen (Webinar) | BfArM | 22.03.2022 50Noch unbeantwortete Fragen systematische Datenauswertung (4/4)
„Wie weit kann die klinische Studie, die während der Erprobungsphase durchgeführt wird, von der systematischen
Datenauswertung abweichen (hinsichtlich PICO sowie methodischer Entscheidungen)?“
• Grundsätzlich gilt, dass es einen roten Faden zwischen systematischer Datenauswertung und Erprobungsstudie
geben sollte.
• Endpunkte sollten alle postulierten positiven Versorgungseffekte hinreichend abbilden, müssen aber nicht
zwingend identisch sein.
• Beobachtungsdauer kann abweichen.
• Studiendesign weicht in der Regel ab.
• Grundsätzlich können noch weitere Endpunkte in der Erprobungsstudie abgebildet sein, die aber zum Zeitpunkt
der Antragsstellung noch nicht als positive Versorgungseffekte postuliert wurden.
Evidenz bei DiGA – Anforderungen und Erfahrungen (Webinar) | BfArM | 22.03.2022 51Weitere Fragen über den Chat
Diskussion ausgewählter Fragen aus dem Chat
Evidenz bei DiGA – Anforderungen und Erfahrungen (Webinar) | BfArM | 22.03.2022 52Themenblock 2
Studie zum Nachweis von positiven
Versorgungseffekten
Evidenz bei DiGA – Anforderungen und Erfahrungen (Webinar) | BfArM | 22.03.2022 53Studie zum Nachweis von positiven
Versorgungseffekten
Formale Anforderungen
Evidenz bei DiGA – Anforderungen und Erfahrungen (Webinar) | BfArM | 22.03.2022 54Vorzulegende Dokumente
Vorläufige Aufnahme zur Erprobung Dauerhafte Aufnahme
• Studienbericht
• Evaluationskonzept • Studienprotokoll als Nachweis der
• Studienprotokoll Präspezifizierung
• Ggf. Statistischer Analyseplan (SAP) • Ggf. SAP
• Ggf. Ethikvotum • Bei Erprobungsstudie: Stellungnahme, ob sich nach
• Ggf. Messinstrumente erfolgter Prüfung des BfArM noch Änderungen am
• Ggf. zitierte Publikationen z. B. zu Minimal Clinically Studienprotokoll durch die Ethikkommission ergeben
Important Difference (MCID) haben
• Ggf. Ethikvotum
• Ggf. Messinstrumente
• Ggf. zitierte Publikationen z. B. MCID
Evidenz bei DiGA – Anforderungen und Erfahrungen (Webinar) | BfArM | 22.03.2022 55Studienbericht
• Studienbericht muss möglichst umfassend sein:
• Ein unvollständiger Bericht erlaubt es nicht, zwischen
Mängeln des Berichts und denen der Studie zu
differenzieren.
• Präzise Information über Details der Planung und
Durchführung müssen enthalten sein.
• Muss unter Einhaltung der maßgeblichen,
international anerkannten Standards der Darstellung
und Berichterstattung von Studien erstellt werden.
• z. B. Consort Statement (http://www.consort-
statement.org/)
• Ergebnisdarstellung sollte in Tabellen- und Textform
zu allen Endpunkten auf der Originalskala erfolgen.
Evidenz bei DiGA – Anforderungen und Erfahrungen (Webinar) | BfArM | 22.03.2022 56Studienprotokoll
Das Studienprotokoll sollte folgende Punkte umfassen:
1. Projekttitel, Versionsnummer, Versionsdatum
2. Zusammenfassung des Projekts (Abstract oder tabellarische Synopse)
3. Verantwortlichkeiten
4. Wissenschaftlicher Hintergrund
5. Projektziele
6. Zielgrößen
7. Studienpopulation
8. Methodik und Durchführung
9. Nutzen-Risiko-Abwägung
10. Biometrie
11. Datenmanagement und Datenschutz
12. Unterschriften: Studienleitung (Antragsteller/in)
Evidenz bei DiGA – Anforderungen und Erfahrungen (Webinar) | BfArM | 22.03.2022 57Statistischer Analyseplan (SAP)
Der SAP sollte folgende Punkte umfassen:
1. Versionsnummer, Versionsdatum
2. Verantwortlichkeiten
3. Kurze Zusammenfassung zum Hintergrund und Ziel der Analysen
4. Studienziele und Endpunkte
5. Studien-Methodik
6. Zeitpunkt der Analysen
7. Analyse-Populationen
8. Covariaten und Subgruppen
9. Umgang mit fehlenden Werten
10. Zwischenauswertung
11. Multiples Testen
12. Wirksamkeitsanalysen
13. Sensitivitätsanalysen, explorative Analysen
Evidenz bei DiGA – Anforderungen und Erfahrungen (Webinar) | BfArM | 22.03.2022 58Allgemeine Hinweise zu den Dokumenten
• Dokumente sollten immer eine Versionsnummer und ein Datum haben.
• Die Angaben sollten zwischen den einzelnen Dokumenten (Evaluationskonzept, Studienprotokoll, SAP) konsistent
sein.
• Als Nachweis der Präspezifizierung dient das unterschriebene und datierte Dokument.
• Bei Ausräumung von Mängeln sind die Änderungen immer in den einzelnen Dokumenten durchzuführen.
Evidenz bei DiGA – Anforderungen und Erfahrungen (Webinar) | BfArM | 22.03.2022 59Studie zum Nachweis von positiven
Versorgungseffekten
Inhaltliche Anforderungen
Evidenz bei DiGA – Anforderungen und Erfahrungen (Webinar) | BfArM | 22.03.2022 60Positive Versorgungseffekte
Medizinischer Nutzen Patientenrelevante Struktur- & Verfahrens-
verbesserungen (pSVV)
Neue Möglichkeiten für eine Verbesserung der
Patientenrelevante Effekte, Versorgung, umfassen insbesondere die Bereiche der
insbesondere hinsichtlich: • Koordination der Behandlungsabläufe,
• Ausrichtung der Behandlung an Leitlinien und
• der Verbesserung des anerkannten Standards,
Gesundheitszustands, • Adhärenz,
UND/ODER
• der Verkürzung der Krankheitsdauer, • Erleichterung des Zugangs zur Versorgung,
• Patientensicherheit,
• der Verlängerung des Überlebens oder
• Gesundheitskompetenz,
• einer Verbesserung der Lebensqualität • Patientensouveränität,
• Bewältigung krankheitsbedingter Schwierigkeiten im
Alltag oder Reduzierung therapiebedingter Aufwände
und Belastungen der Patienten und ihrer Angehörigen
Evidenz bei DiGA – Anforderungen und Erfahrungen (Webinar) | BfArM | 22.03.2022 61Das sagt die Digitale Gesundheitsanwendungen-Verordnung (DiGAV)
Der Nachweis des pVE muss erbracht werden durch… Weitere Bedingungen
…eine vergleichende Studie, die zeigt, dass die Anwendung Eine andere DiGA als Komparator ist nur möglich, wenn diese
der DiGA besser ist als die Nichtanwendung dauerhaft im VZ gelistet ist.
Nichtanwendung = Nichtbehandlung oder eine Behandlung Studien sollten in Deutschland durchgeführt werden
ohne DiGA
Studien aus anderen Ländern: Übertragbarkeit auf die
Komparator muss der Versorgungsrealität entsprechen deutsche Versorgungsrealität muss dargelegt werden.
Quantitativ vergleichende Studie Studie muss in einem öffentlichen Studienregister registriert
werden, Ergebnisse müssen spätestens 12 Monate nach
Gewählte methodische Ansatz muss angemessen sein Studienende veröffentlicht werden
Studienberichte: Erstellung unter Einhaltung der
maßgeblichen, international anerkannten Standards der
Darstellung und Berichterstattung von Studien
Evidenz bei DiGA – Anforderungen und Erfahrungen (Webinar) | BfArM | 22.03.2022 62Studienprotokoll
Zu folgenden Punkten des Studienprotokolls möchten wir Ihnen noch zusätzliche Hinweise geben:
1. Projekttitel, Versionsnummer, Versionsdatum
2. Zusammenfassung des Projekts (Abstract oder tabellarische Synopse)
3. Verantwortlichkeiten
4. Wissenschaftlicher Hintergrund
5. Projektziele
6. Zielgrößen
7. Studienpopulation
8. Methodik und Durchführung
9. Nutzen-Risiko-Abwägung
10. Biometrie
11. Datenmanagement und Datenschutz
12. Unterschriften: Studienleitung (Antragsteller/in)
Evidenz bei DiGA – Anforderungen und Erfahrungen (Webinar) | BfArM | 22.03.2022 63Projektziele und Zielgrößen
Bestimmung von eindeutigen Endpunkten
Klare Zuordnung der Endpunkte zu den positiven Versorgungseffekten.
Endpunkte müssen den postulierten positiven Versorgungseffekten entsprechen.
Müssen für positiven Versorgungseffekt konfirmatorisch getestet werden.
Der Erhebungszeitpunkt muss eindeutig festgelegt werden (z. B. nach 12 Wochen).
Messinstrumente sollten für den vorgesehenen Einsatz validiert sein (Auseinzelung von einzelnen Domänen von
Messinstrumenten kritisch).
Evidenz bei DiGA – Anforderungen und Erfahrungen (Webinar) | BfArM | 22.03.2022 64Studienpopulation (1/2)
Postulierte Indikationen in der Erprobungsstudie
• Der Nachweis kann grundsätzlich für mehrere Indikationen zusammen gefasst werden.
• Dies ist abhängig von einer plausiblen klinisch-wissenschaftlichen Begründung.
• Ansonsten ist der Nachweis für die jeweilige Indikation gesondert zu führen.
• Die DiGA kann nur im Kontext der im Rahmen der Studie erbrachten Nachweis verschrieben werden.
Heterogenität der Studienpopulation
• Um einen adäquaten Nachweis erbringen zu können, wird empfohlen die Heterogenität der
eingeschlossenen Patientengruppe zu reduzieren.
Evidenz bei DiGA – Anforderungen und Erfahrungen (Webinar) | BfArM | 22.03.2022 65Studienpopulation (2/2)
Sicherung der Diagnose
• In der Regel muss die Diagnose ärztlich gesichert sein.
• Auch Sicherung der Diagnose über entsprechende ärztliche Bescheinigungen möglich.
• In bestimmten Fällen ist die Sicherung der Diagnose über strukturierte Interviews mit geschulten
Interviewern möglich, z. B. Mini-International-Neuropsychiatric-Interview (MINI).
Ein- und Ausschlusskriterien
• Ein- und Ausschlusskriterien müssen eindeutig definiert sein.
• Eine Änderung der Ein- und Ausschlusskriterien nach Abschluss der Erhebung ist unzulässig.
• Eine Änderung der Ein- und Ausschlusskriterien während der Studie ist kritisch zu hinterfragen und nur
unter bestimmten Voraussetzungen möglich (z. B. zusätzliche Sensitivitätsanalysen und ggf. Ausschluss der
Population ohne die geänderten Ein-/Ausschlusskriterien).
Evidenz bei DiGA – Anforderungen und Erfahrungen (Webinar) | BfArM | 22.03.2022 66Methodik und Durchführung
Erhebung der Endpunkte
• Endpunkte müssen sowohl in der Interventionsgruppe als auch in der Kontrollgruppe gleich erhoben
werden.
• Meistens werden e-CRFs oder Fragebögen verwendet und versendet.
• Wenn Endpunkt über die DiGA erhoben wird, ist ggf. „Sham-DiGA“ zur Erhebung notwendig.
Definition der Kontrollgruppe
• Kontrollgruppe muss der Versorgungsrealität im postulierten Versorgungskontext entsprechen.
• Kontrollgruppe muss eindeutig im Studienprotokoll im Studienprotokoll beschrieben werden.
• Wenn dieses Standard of Care ist, sollte Standard of Care genauer definiert und erläutert werden.
Begleittherapien
• Begleittherapien müssen zu Baseline und zum primären Erhebungszeitpunkt erhoben werden.
• Zu diesen Zeitpunkten müssen auch die Veränderungen der Begleittherapien dokumentiert werden.
Evidenz bei DiGA – Anforderungen und Erfahrungen (Webinar) | BfArM | 22.03.2022 67Biometrie - Fallzahlberechnung
Was sind die Anforderungen an Power und Signifikanz?
Begründete und nachvollziehbare Fallzahlberechnung i. d. R. anhand der minimalen (klinisch) relevanten
Verbesserung oder eines begründeten zu erwartenden Effekts (größer als minimale (klinische) Relevanz)
Reduzierter Effekt nach Ersetzen fehlender Werte (ITT-Analyse)
Regulatorischer Standard: zweiseitiges Testen 5 %, einseitiges Testen 2,5 %, Power 80 % - 90 %.
Vorschläge zur Verbesserung im Antragsverfahren; Korrekte Umsetzung Aufgabe des Antragsstellers
Evidenz bei DiGA – Anforderungen und Erfahrungen (Webinar) | BfArM | 22.03.2022 68Biometrie - Umgang mit (co-primären) Endpunkten
Wie geht man damit um, wenn man mehrere Endpunkte/pVE adressiert?
Co-Primäre Endpunkte: Alle müssen erfolgreich sein, keine Adjustierung.
(Co-)Primäre Endpunkte: Einer muss erfolgreich sein, Adjustierung.
Primärer und sekundäre Endpunkte: Adjustierung, hierarchisches Vorgehen.
• Ansonsten sekundäre Endpunkte nur explorativ bzw. als Unterstützung des primären Endpunkts.
Evidenz bei DiGA – Anforderungen und Erfahrungen (Webinar) | BfArM | 22.03.2022 69Biometrie - Umgang mit fehlenden Werten und Drop-outs
Was ist der Standard für das Ersetzen fehlender Werte?
Primär:
Prinzip muss plausiblem Verlauf nach Abbruch entsprechen (z. B. Reference-based multiple imputation häufig
plausibel oder konservativ)
Erhebung der Endpunkte unabhängig von DiGA-Nutzung/Abbruch wichtig.
Sekundär:
Weitere Annahmen und Verfahren sollten getestet werden (i. d. R. mindestens zwei Verfahren).
Bewertung erfolgt anhand des Gesamtbildes.
Evidenz bei DiGA – Anforderungen und Erfahrungen (Webinar) | BfArM | 22.03.2022 70Rolle von Nicht-RCT im Verfahren
Was sind akzeptierte Verfahren, die in Nicht-RCTs zu einem konfirmatorischen Nachweis führen?
Target Trial Emulation-Konzept kann für die Planung hilfreich sein.
z. B. Propensity Score Matching, Inverse Probability of Treatment Weighting, g-methods, Kombination von Methoden.
Wenn methodisch sauber durchgeführt, kann es eine Annäherung sein – Unsicherheiten bleiben bestehen
(Präspezifizierung, Datenqualität, Drop-outs, Verzerrungen).
Dies muss im Gesamtkonzept beurteilt werden.
Evidenz bei DiGA – Anforderungen und Erfahrungen (Webinar) | BfArM | 22.03.2022 71Bewertungsentscheidung
Wann liegt ein positiver Versorgungseffekt vor?
Endergebnis muss (klinisch) relevant, patientenrelevant und statistisch signifikant sein.
Wie wird (klinische) Relevanz definiert/bewertet?
Vorgaben durch Instrument, etablierte Minimal Clinically Important Difference (MCID)
z. B. 15 % der Spannweite des Instruments
Responder-Analysen i.d.R. als weitere Analysen (unterschiedliche Response-Kriterien können getestet werden)
Wird in erster Linie auf der Originalskala bewertet
Evidenz bei DiGA – Anforderungen und Erfahrungen (Webinar) | BfArM | 22.03.2022 72Lessons learned
• Sicherung der Diagnose i. d. R. über ärztliche Diagnosestellung oder entsprechende Dokumente bei der
Rekrutierung.
• Die Präspezifizierung der Studie muss eindeutig sein.
• Eindeutige Beschreibung z. B. von primären Endpunkten, Erhebungszeitpunkten oder statistischen Analyse.
• Ein- und Ausschlusskriterien sollten mit dem Antrag übereinstimmen. Es kann nur das postuliert werden, was
auch in der Studie abgebildet war.
• Jeder positive Versorgungseffekt braucht mindestens einen eigenen Endpunkt zwecks Nachweis. Eine klare
Zuordnung von positiven Versorgungseffekten zu den Endpunkten ist notwendig (tabellarisch).
• Incentives zur Studienteilnahme sollten grundsätzlich von der zuständigen Ethik-Kommission beurteilt werden.
Die Incentives sollten nicht verzerrend sein. Eine Zahlung der Entschädigung zu Anfang der Studie wird daher als
ideal angesehen.
Evidenz bei DiGA – Anforderungen und Erfahrungen (Webinar) | BfArM | 22.03.2022 73Studie zum Nachweis von positiven
Versorgungseffekten
Ihre Fragen
Evidenz bei DiGA – Anforderungen und Erfahrungen (Webinar) | BfArM | 22.03.2022 74Fragen zum Nachweis positiver Versorgungseffekte
„Ist der Nachweis des Nutzens pro DiGA weiterhin immer individuell zu erbringen oder ist es hier eine Änderung denkbar,
um ähnlich der Methodenbewertung des G-BAs zu agieren, wo auf Basis von (Erprobungs-)Studien Schlussfolgerungen
auf alle Produkte einer Methode gezogen werden??“
• Der Nachweis der postulierten positiven Versorgungseffekte ist für die individuelle DiGA zu erbringen.
• Die Unterschiede der digitalen Anwendungen und der besondere Fokus auf die Interaktion mit Patientinnen und
Patienten machen individuellen Nachweis erforderlich.
Evidenz bei DiGA – Anforderungen und Erfahrungen (Webinar) | BfArM | 22.03.2022 75Fragen zum Nachweis positiver Versorgungseffekte
„SGB V § 139e (12) Satz 1 legt fest: "In das Verzeichnis nach Absatz 1 können auch digitale Gesundheitsanwendungen
aufgenommen werden, die durch die Träger der Rentenversicherung als Leistungen zur Teilhabe nach dem Sechsten
Buch erbracht werden. [...]" Wie ist der Nachweis des Erhalts der Erwerbsfähigkeit zu führen? Wie würde der Nachweis
aussehen? Muss Arbeitsfähigkeit bzw. Arbeitsunfähigkeit nachgewiesen werden? Wie würde beispielhaft ein
entsprechender klinischer Endpunkt aussehen?
• Bewertungsgrundlage für die Bewertung bilden die Angaben der DiGAV.
• Konkretisierungen sind seitens des Verordnungsgebers aktuell noch in Arbeit und befinden sich derzeit noch in
Abstimmung.
Evidenz bei DiGA – Anforderungen und Erfahrungen (Webinar) | BfArM | 22.03.2022 76Fragen zum Nachweis positiver Versorgungseffekte
„Diagnostische DiGA: wie kann ein DiGAV-konformes Studiendesign für ein Medizinprodukt aussehen, welches z. B. in
einem Zeitraum von 30 Tagen 6 Messungen/Datenerhebungen erbringt?“
• Diese Frage lässt sich leider so allgemein nicht beantworten. Das ist abhängig von verschiedenen Faktoren:
• Welche positiven Versorgungseffekte sollen hier gezeigt werden?
• Welche Indikationen sollen betrachtet werden?
• Bei Einsatz von diagnostischen Instrumenten im Rahmen einer DiGA ist darüber hinaus die Testgüte zu belegen.
• Wenn es eine rein diagnostische Anwendung ist, wäre ggf. zu prüfen, ob es sich um eine DiGA handelt oder nicht
um Praxisausstattung, da die Anwendung primär vom Leistungserbringenden genutzt wird.
• Hier empfiehlt sich eine Beratung.
Evidenz bei DiGA – Anforderungen und Erfahrungen (Webinar) | BfArM | 22.03.2022 77Fragen zum Nachweis positiver Versorgungseffekte
„Darf man früher von der vorläufigen Aufnahme in die endgültige Aufnahme wechseln? Ist dies möglich und wie ist hier
das Vorgehen?“
• Gemäß § 139e Absatz 4 Satz 5 SGB V i. V. m. § 17 Absatz 2 Digitale Gesundheitsanwendungen-Verordnung (DiGAV)
hat der Hersteller dem Bundesinstitut für Arzneimittel und Medizinprodukte (BfArM) spätestens zum Ablauf des
Erprobungszeitraums die in diesem Bescheid festgelegten Nachweise für positive Versorgungseffekte der erprobten
DiGA auf elektronischem Wege vollständig vorzulegen.
• Grundsätzlich können die Erprobungsergebnisse auch zu einem früheren Zeitpunkt eingereicht werden. Bei
Vorliegen des finalen Studienberichts und Abschluss der Studie sollten Hersteller diesen unmittelbar einreichen.
Evidenz bei DiGA – Anforderungen und Erfahrungen (Webinar) | BfArM | 22.03.2022 78Fragen zum Nachweis positiver Versorgungseffekte
„Einige Hersteller erhalten mit dem Bescheid zur vorläufigen Aufnahme Auflagen, die bei der Studienauswertung
berücksichtigt werden müssen. Muss in diesem Fall der Hersteller den SAP anpassen und diesen vor der Auswertung der
Studie erneut dem BfArM einreichen?“
• Die Dokumente müssen angepasst werden. Dies obliegt der Verantwortung des Herstellers.
• Eine erneute Vorlage beim BfArM vor Beginn der Studie ist nicht notwendig.
• Ggf. gibt es noch weitere Anpassungen, die durch die Ethik-Kommission verlangt werden. Hier ist auch keine
weitere Vorlage notwendig.
• Finale Bewertung erfolgt mit Vorlage des Studienberichts durch das BfArM. Mit diesem sollte die letzte Version des
Studienprotokolls eingereicht werden und die Änderungen nochmals beschrieben werden.
Evidenz bei DiGA – Anforderungen und Erfahrungen (Webinar) | BfArM | 22.03.2022 79Fragen zum Nachweis positiver Versorgungseffekte
„Die Studien zum Nachweis positiver Versorgungseffekte müssen in Deutschland durchgeführt werden, bzw. die
Gesundheitssysteme sowie Patient:innen müssen denen in Deutschland ähneln. Wäre die amerikanische
Diabetesbevölkerung sowie das amerikanische Gesundheitssystem in Bezug auf Diabetes laut BfArM mit dem Deutschen
vergleichbar?"
• § 10 Absatz 5 DIGAV sagt dazu folgendes: „Der Nachweis nach Absatz 1 und 2 muss anhand von Studien geführt
werden, die im Inland durchgeführt wurden. Sofern Studien ganz oder teilweise in Staaten außerhalb des
Geltungsbereiches des Fünften Buches Sozialgesetzbuch durchgeführt wurden, muss der Hersteller die
Übertragbarkeit auf den deutschen Versorgungskontext belegen.“
• Hersteller muss wissenschaftlich fundiert aufzeigen, dass
• die Versorgungsituation vergleichbar ist (z. B. Behandlungsleitlinien, Gesundheitssystem, Zugang zur
Versorgung)
• mögliche Unterschiede in Patientencharakteristika die Übertragbarkeit der Ergebnisse nicht beeinträchtigen.
Evidenz bei DiGA – Anforderungen und Erfahrungen (Webinar) | BfArM | 22.03.2022 80Fragen zum Nachweis positiver Versorgungseffekte
„Muss für die Erprobungsstudien bzw. RCT-Studien ein Höchstalter von 65 angegeben werden und für eine Zielgruppe
über 65 Jahren eine separate Studie durchgeführt werden, da es sich um eine vulnerable Gruppe handelt?“
• Aus methodischer Sicht ist das nicht notwendig.
• Wichtig wäre ggf. nur, dass die Altersgruppe ausreichend in der Studie vertreten ist, sodass dann entsprechende
Rückschlüsse auf die postulierten positiven Versorgungseffekte geschlossen werden können (z. B. mit
Stratifizierung oder Subgruppenanalyse).
• Ggf. weitere Abklärung mit der zuständigen Ethik-Kommission notwendig.
Evidenz bei DiGA – Anforderungen und Erfahrungen (Webinar) | BfArM | 22.03.2022 81Fragen zum Nachweis positiver Versorgungseffekte
„Könnte die Rekrutierung virtuell laufen? Was sind die Schwierigkeiten dabei? Wäre es ausreichend, wenn die
Nutzenden den ICD-10 Code/ihre Diagnose an uns senden? Kann die Rekrutierung sowohl virtuell als auch vor Ort
ablaufen?“
• Grundsätzlich kann die Rekrutierung virtuell ablaufen.
• In der Regel muss die Diagnose ärztlich gesichert sein.
• Auch Sicherung der Diagnose über entsprechende ärztliche Bescheinigungen möglich.
• In bestimmten Fällen ist die Sicherung der Diagnose über strukturierte telefonische Interviews mit geschulten
Interviewern möglich, z. B. Mini-International-Neuropsychiatric-Interview (MINI).
• Eine hybride Rekrutierung kann zu einer heterogenen Studienpopulation führen, was wiederum mit
Herausforderungen im Nachweis der positiven Versorgungseffekte verbunden ist.
Evidenz bei DiGA – Anforderungen und Erfahrungen (Webinar) | BfArM | 22.03.2022 82Fragen zum Nachweis positiver Versorgungseffekte
„Nutzen andere Hersteller validierte Fragebögen in-App? (Wenn nein, welche Daten werden dann in-App erhoben?
Werden diese den Patient*innen präsentiert?)“
„Ist die Datenerhebung für die Studie und die alltägliche Nutzung der App gleich, oder werden unterschiedliche App-
Versionen genutzt?“
• Grundsätzlich ist die Nutzung von validierten Fragebögen in der App möglich. Diese sollte als fester Bestandteil in
das Behandlungskonzept der App integriert sein.
• In Bezug auf die Studie ist diese jedoch mit Herausforderungen verbunden:
• Die Erhebung der Endpunkte muss gleich sein. Entsprechend würde das vorliegend eine „Sham-DiGA“ erfordern
(App nur zur Endpunkterhebung).
• Bei der untersuchten App sollte es sich um das antragsgegenständlich Medizinprodukt handeln.
Evidenz bei DiGA – Anforderungen und Erfahrungen (Webinar) | BfArM | 22.03.2022 83Sie können auch lesen
