Verzerrte Effektdarstellungen - Grundlagen Klaus Lieb - Universitätsmedizin Mainz

Psychiatrie und Psychotherapie - Grundlagen

           Verzerrte Effektdarstellungen

                                       Grundlagen

                                       Klaus Lieb

                      Universitätsmedizin Mainz
                Arzneimittelkommission der deutschen
                             Ärzteschaft

Psychiatrie und Psychotherapie - Grundlagen

                            Folien verfügbar auf:

   www.unimedizin-mainz.de/psychiatrie/klinische-
    partner/veranstaltungen

                                                     2

Psychiatrie und Psychotherapie - Grundlagen

          Erklärung von Interessenkonflikten
                        K. Lieb
  Seit 2007 keinerlei persönliche Annahme von Geldern oder anderen
   Zuwendungen der Industrie

  Wissenschaftliche Kooperation mit der Industrie in der Durchführung
   klinischer Studien im Studienzentrum unserer Klinik. 2010 – 2016:
   Kendle Inc., Essex, Norgine, Lilly, Pfizer, Boehringer Ingelheim,
   Hoffmann La Roche u.a. (DRM-Konten der Klinik)

  Verhaltenstherapeut, Schematherapie

  Leiter des Fachausschusses „Transparenz und Unabhängigkeit“ der
   Arzneimittelkommission der dt. Ärzteschaft (AkdÄ); Gründungsmitglied
   von MEZIS e.V.

                                                                          3

Psychiatrie und Psychotherapie - Grundlagen

    Vielfältige Einflüsse auf die Arzt-Patient-
                     Beziehung
 Krankenkassen

                                                                 Freie Praxis

                                 Arzt-Patient-Beziehung                    Hippokrat. Eid
Industrie
                                                              Berufsordnung*

               Rahmenbedingungen im Gesundheitswesen,
               Gewinnerwartungen von KH, Ärzten etc.

* §31: …sind verpflichtet, in allen … Beziehungen zu Dritten ihre ärztliche Unabhängigkeit… zu wahren 4

Psychiatrie und Psychotherapie - Grundlagen

         Ca. 80% der deutschen Ärzte werden
     mindestens 1x/Woche von Vertretern besucht,
                 ca. 17% jeden Tag
       Wie oft wurden Sie im vergangenen Jahr durchschnittlich von Vertretern der
                          pharmazeutischen Industrie besucht?

             2007                                                        2011

            46%
                                                          Täglicher Besuch: 14%

                              12%
                                                          Mindestens 1x/Woche:
    19%
                          8%                              84%
                14%

       Lieb und Brandtönies – Deutsches Ärzteblatt 2010   Lieb und Scheurich – PLOS One (2014)

Psychiatrie und Psychotherapie - Grundlagen

     Positives                                n    Negatives                                            n
     Informationen                            65   Aufdringlichkeit                                     30
     Fortbildungen                            19   Beeinfussungsversuche/Verkaufsdruck                  30
     Muster                                   16   Zeitverlust                                          25
     fachliche Kompetenz                      15   mangelnde Objektivität                               10
     kurz gefasste Gespräche                  12   mangelnde fachliche Kompetenz                        9
     Objektivität                             8    kein Gefühl für Zeitmangel                           6
     persönliche Kontakte                     8    zu häufges Kommen                                    6
     Zurückhaltung                            8    Redundanz                                            6
     ofenes Gespräch                          6    geschönte/falsche Statistiken                        5
     Informationsmaterial f. Patienten        6    „Schlechtmachen“ der Konkurrenz                      3
     Geschenke                                5    Übertreibungen                                       2
     Freundlichkeit                           5    Belehrungsversuche                                   2

    Datenbasis:
    n= 208 (300)
                                                     Lieb und Brandtönies – Deutsches Ärzteblatt 2010        6

Psychiatrie und Psychotherapie - Grundlagen

      Interessenkonflikte und verzerrte
            Informationen (“bias”)
 Interessenkonflikte (z.B. infolge des „Verkaufs“interesses des
  Vertreters oder durch enge Industriebeziehungen von Referenten)
  führen nicht immer zu „bias“, sie erhöhen aber graduell das Risiko
  dafür

 „Bias“ durch andere Ursachen kann ebenso schädlich sein:
     Ideologische Vertretung eines therapeutischen Ansatzes
     Begrenztes Fachwissen über ein Thema
     Methodische Mängel
     Fehler bei der Beurteilung von Sachverhalten

                                                           Lo and Ott – JAMA 2013   7

Psychiatrie und Psychotherapie - Grundlagen

   Beispiele für „bias“ durch enge Industrie-
                  Beziehungen
    Wissenschaftler mit engen Industriebeziehungen betonen
     eher die Vorzüge als die Risiken des Antidiabetikums
     Rosiglitazone (Wang et al, 2010)

    Wissenschaftler mit engen Industriebeziehungen betonen die
     Vorzüge des Neuraminidase-Hemmers Tamiflu® (Dunn et al,
     2014)

                                                                  8

Psychiatrie und Psychotherapie - Grundlagen

     Psychologische Wirkmechanismen von
             Interessenkonflikten

   Reziprozität
      Dankbarkeitseffekte

   Motivierte Evaluation

   Rationalisierungen

   Blinder Fleck („Bias blind spot“)

                                              9

Psychiatrie und Psychotherapie - Grundlagen

       Wie werden Therapie-Entscheidungen
                   getroffen?
                                  Marketing based?

     Eminence based?

                                                     Unabhängig und
                                                     Evidence based?

                                                                       10

Psychiatrie und Psychotherapie - Grundlagen

          Randomisiert-kontrollierte Studien
              (RCTs) als Goldstandard

   „Controlled…“: Faire Vergleichsbedingung zum Nachweis,
    dass Effekte nach Ende der Intervention(en) auf
    unterschiedliche Behandlung zurückzuführen sind (im
    Gegensatz zu z.B. rein zeitlich bedingten Veränderungen)
   „Randomized…“: Gleichmäßige Verteilung verzerrender
    Einflussfaktoren, insbesondere unbekannter
   „doppelblind“…: Ausschluss subjektiver Bewertungen

                                       RCTs als Goldstandard zum
                                       Nachweise, dass Effekte kausal auf
                                       die therapeutische Interventionen
                                       zurückzuführen sind
                                                                            11

Psychiatrie und Psychotherapie - Grundlagen

            Evidenzbasierte Entwicklung von
                  (Psycho-)Therapien

                                  Phase I: Konzeptualisierung

       Phase II: Test in einer offenen, unkontrollierten Studie (Machbarkeit etc.)

      Phase III: Wirksamkeitsstudien – randomisiert-kontrollierte Studien (RCTs)

                 Phase IV: Effektivitätsstudien unter Alltagsbedingungen,
                              inklusive „dismantling studies“

                                                                                     12

Psychiatrie und Psychotherapie - Grundlagen

                      Effizienz und Effektivität
Studienpopulation

                                                    Effizienz

                                                    Effektivität
                                               Implementierung in
                                                Versorgung
                                               Patienteninteressen
                                               Kosten vs. Nutzen
                                               …
Gesamtpopulation                                                      13

Psychiatrie und Psychotherapie - Grundlagen

                     Statistischer Hintergrund
                       p-Wert vs. Effektstärke

   p-Wert: Aussage über die Wahrscheinlichkeit eines
    Unterschiedes zwischen zwei Interventionen an Hand des
    Signifikanzniveaus (p

Psychiatrie und Psychotherapie - Grundlagen

                         Effektstärken verstehen I
   SMD = Standardized Mean Difference = Behandlungseffekt =
    Vergleich der Effektivität der Intervention mit der
    Kontrollbedingung zum Behandlungsende
   Berechnung: Mittelwert in der Kontrollgruppe minus Mittelwert
    der Interventionsgruppe, geteilt durch die gepoolte
    Standardabweichung für das primäre Outcome-Maß.
   Nicht zu verwechseln mit den prä-post-Effektstärken!

                                                  Sedgwick. BMJ –2015   15

Psychiatrie und Psychotherapie - Grundlagen

                        Effektstärken verstehen II
  Da ES unabhängig von der
   Skala des primären
   Outcomes sind, können mit
   ihnen Therapieeffekte in
   Studien, die unterschiedliche
   Skalen verwendet haben,
   verglichen werden.

  In Metaanalysen können ES
   von vielen Studien
   zusammengefasst und so die
   Aussagekraft erhöht werden

                                                 Sedgwick. BMJ –2015   16

Psychiatrie und Psychotherapie - Grundlagen

                                     Metaanalysen
  Kumulieren Evidenz aus
   vergleichbaren RCTs, so
   dass man echten Therapie-
   Effekten immer näher kommt

  Wichtig: Effekte sind
   abhängig von Qualität der
   Einzelstudien. Eine
   Metaanalyse mit
   eingeschlossenen
   schlechten Studien macht
   die Daten nicht besser

                                                    Sedgwick. BMJ –2015   17

Psychiatrie und Psychotherapie - Grundlagen

          Effektstärke von >= 0.5 als klinisch
                  bedeutsamer Effekt
 Effektstärke (SMD, Cohen`s d):
     0.2: klein
     0.5: mittel
     0.8: groß
 Aber auch kleinere ES als 0.5 können
  ggf relevant sein, wenn keine
  Alternativen existieren!
 Je kleiner das Konfidenz-Intervall der
  Effektstärke, um so sicherer ist die
  Schätzung der echten Effektstärke
 Wenn die Konfidenzintervalle die 0-
  Linie kreuzen, ist der Effekt nicht
  signifikant

                                                 18

Psychiatrie und Psychotherapie - Grundlagen

                                          Risiko kleiner Fallzahlen

                                               Outcome Category Failure
                                    20

                                                                                                            treatment effect
                                    10

                                                                                                               Decreasing
           Relative Change in the

                                    6
                 Odds Ratio

                                    2

                                                                                                           treatment effect
                                    1

                                                                                                              Increasing
                                    0.6

                                    0.2
                                          10     20   40   100 200 400     1000 2000 4000

                                               Total Number of Randomised Subjects

                                                                         Trikalinos et al. J Clin Epidmiol 2004                19

Psychiatrie und Psychotherapie - Grundlagen

  Beispiele für Effektstärken verschiedener
              Therapieverfahren

                                              Huhn et al., JAMA Psychiatry 2014   20

Psychiatrie und Psychotherapie - Grundlagen

            Effektstärken internistischer und
              psychiatrischer Medikamente
                                               Übersichtsarbeit mit 91
                                                Metaanalysen über 48
                                                internistische Medikamente
                                                gegen Placebo und 33
                                                Metaanalysen über 16
                                                Psychopharmaka gegen
                                                Placebo
                                               Ähnliche Verteilung der
                                                Effektstärken bei internistischen
                                                und psychiatrischen
                                                Medikamenten
                                               Mediane Effektstärke aller
                                                Medikamente SDM=0.40

                                                       Leucht et al., Br J Psychiatry, 2012   21

Psychiatrie und Psychotherapie - Grundlagen

         Die Innovationskrise in der
   Psychopharmaka-Entwicklung und deren
                   Folgen

    Die Pharmaindustrie bringt Schein-Innovationen
     („Schrittinnovationen“) auf den Markt

    Medikamente mit keinem oder wenig Zusatznutzen werden
     besonders intensiv beworben

    Ergebnisse von Studien und deren Publikation werden durch
     die pharmazeutische Industrie zu deren Nutzen beeinflusst

                                                                 22

Psychiatrie und Psychotherapie - Grundlagen

            Einfluss der Industrie auf Studien
   Forschungsprioritäten orientieren sich an Märkten
   Nichtpublizieren negativer und Mehrfachpublikationen
    positiver Studien (Bedeutung Studienregister)
   Rückhalten von Informationen über Nebenwirkungen (Bsp.
    Vioxx®, Zyprexa®, Seroquel®, Seroxat®)
   Unfaire Therapietests ; z.B. hochdosiertes Haloperidol als
    Vergleichssubstanz, um NW-Profil der getesteten Substanz
    besser aussehen zu lassen
   Verzerrte Werbung (Darstellung der Effekte, Information über
    Nebenwirkungen, Betonung biologischer Ursachen)
   Bewerbung von Off-label use (hohe Strafzahlungen in USA)

                                              Bekelman et al., 2003; Schott, Lieb et al., 2010a,b   23

Psychiatrie und Psychotherapie - Grundlagen

     Selektive Publikation positiver Studien
       führt zu Überschätzung der Effekte

   Änderung der
    Effektstärken der
    Medikamente bei
    Einschluss

   auch der
    unpublizierten Studien
    um 32% (11-69%)

                                              Studienergebnis

                                                        Turner et al., NEJM 2008   24

Psychiatrie und Psychotherapie - Grundlagen

               Interessen-geleitete verzerrte
               Nutzen-/Risikokommunikation

   Effekte werden groß: Darstellung des relativen
    Nutzens/Risiken (in %)
         Nutzen von Medikamenten (Pharmaindustrie)
         Schaden von Impfungen/Medikamenten (Impfgegner, Gegner
          der Pharmaindustrie)

   Effekte werden klein: Darstellung des absoluten
    Nutzens/Risikos, um Effekte klein aussehen zu lassen (in
    absoluten Zahlen)
         Nebenwirkungen von Medikamenten (Pharmaindustrie)
         Nutzen von Medikamenten (kritische Aufklärung)

                                                                   25

Psychiatrie und Psychotherapie - Grundlagen

                 Verzerrte Werbung Selincro®

   Relativer „Nutzen“ prä-post: Reduktion des Alkoholkonsum 67%
   Effektstärke: 0,2 (im Vgl zu Placebo trinken die Patienten nicht einmal
    ein Glas weniger Bier pro Tag als unter Placebo)

                                                                              26

Psychiatrie und Psychotherapie - Grundlagen

                           Verzerrte Leitlinien
   Mechanismen, wie verzerrte Informationen in Leitlinien gelangen:
   Fachliche Mängel bei der Erstellung (z.B. Studiensuche,
   Bewertung der Evidenz)

   Verzerrte Studienlage (z.B. Publication Bias; häufiger positive
   Studienergebnisse bei Industrie-Finanzierung)

   Leitlinienautoren mit Interessenkonflikten (finanziell und nicht-
   finanziell)

   Mangelhaftes Management von Interessenkonflikten in Leitlinien-
   Gremien

                                                                        27

Psychiatrie und Psychotherapie - Grundlagen

           Unabhängige Informationsquellen
 Arzneitelegramm (www.arznei-telegramm.de; 55,80€/Jahr)

 Arzneimittelbrief (www.der-arzneimittelbrief.de; 58€/Jahr)

 Arzneiverordnungen in der Praxis; kostenfrei (
  www.akdae.de/Arzneimitteltherapie/AVP)

Für Patienten:

 Infoportal des IQWiG (www.gesundheitsinformation.de)
 Gute Pillen/Schlechte Pillen (www.gutepillen-schlechtepillen.de;
  49€/Jahr)

                                                                     28

Psychiatrie und Psychotherapie - Grundlagen

                   Unabhängige Fortbildungen

 Arzneimittelkommission der deutschen Ärzteschaft (
  www.akdae.de)

 LIBERMED (www.libermed.de)

 Akademie für Ärztliche Fortbildung RLP (Psychiatrie und
  Psychotherapie)

                                                            29

Psychiatrie und Psychotherapie - Grundlagen

                    LIBERMED – Termine 2018

                                              30

Psychiatrie und Psychotherapie - Grundlagen

       Fortbildungsakademie RLP in Mainz – Termine 2018

                                                          31

Psychiatrie und Psychotherapie - Grundlagen

                                     Take home

  Interessenkonflikte sind Risikokonstellationen für verzerrtes
   Urteilen und Handeln
  p-Werte sagen nichts über die Zuverlässigkeit und Relevanz von
   Studien aus
  Effektstärken (SMDs) aus Metaanalysen mit > 2000 Patienten
   bieten am ehesten zuverlässige Informationen
  Es gibt sichtbare (z.B. Werbung) und unsichtbare (z.B.
   Publikations-Bias, Allegiance) Ursachen für verzerrte Informationen
  Leitlinien sind anfällig für Verzerrungen infolge der Erstellung durch
   Interessengruppen (Fachgesellschaften)

                                                                            32