Qualitätssicherung von Suchstrategien - Systematische Literaturrecherche - Suchstrategien für Fortgeschrittene Session 4.1 Dipl-Kult. Irma ...

Qualitätssicherung
von Suchstrategien
Dipl-Kult. Irma Klerings (Donau-Universität Krems,
Cochrane Österreich)
Systematische Literaturrecherche - Suchstrategien
für Fortgeschrittene
20.11.2020
Session 4.1

Interessenkonflikt
•   Wissenschaftliche Mitarbeiterin der Donau-Universität
    Krems
    ►   Mitglied der Cochrane Information Specialist Executive
•   …versichert, dass in Bezug auf den Inhalt des folgenden
    Vortrags in den letzten 3 Jahren keine
    Interessenskonflikte bestanden, die sich aus
    Beziehungen zu einem Unternehmen ergaben, z. B.
    einem Beschäftigungsverhältnis, einer Beratertätigkeit,
    finanziellen Zuwendungen für Forschungsvorhaben,
    Vorträge oder andere Tätigkeiten.

                                                                 2

Übersicht
01 Elemente der Qualitätssicherung

02 Test-Referenzen

03 Peer Review

04 Reporting Standards

05 Recall/Sensitivität und Datenbankauswahl optimieren

                                                         3

Lernziele
Möglichkeiten der Qualitätssicherung von
Suchstrategien kennenlernen
Peer Review von Suchstrategien nach PRESS
durchführen

                                            4

Machen wir überhaupt Fehler?
•        78.1% von 137 im Jänner 2018 veröffentlichten Systematic Reviews hatten
         Fehler in ihrer Medline/PubMed Suchstrategie, die einen Einfluss auf die
         Sensitivität hatten.
•        53% von 59 Cochrane Reviews, die 2015 publiziert wurden hatten Fehler in
         ihrer Medline/PubMed Suchstrategie, die einen Einfluss auf die Sensitivität
         oder Prezision hatten.
•        30% von 238 systematic reviews in der KSR Datenbank, die behaupteten
         PRISMA-konform zu sein, erfüllten die PRISMA-Kriterien zu
         Informationsquellen und Suchstrategien nicht.

de Kock, S., Ross, J., Stirk, L., Duffy, S., Noake, C., & Misso, K. (2019). Why are systematic reviews that fail to meet PRISMA reporting requirements still being published?
Paper presented at the EAHIL 2019 (June 17 - 20 2019), Basel, Switzerland.
Franco, J. V. A., Garrote, V. L., Escobar Liquitay, C. M., & Vietto, V. (2018). Identification of problems in search strategies in Cochrane Reviews. Res Synth Methods, 9(3),
408-416. doi:10.1002/jrsm.1302
Salvador-Olivan, J. A., Marco-Cuenca, G., & Arquero-Aviles, R. (2019). Errors in search strategies used in systematic reviews and their effects on information retrieval.
J Med Libr Assoc, 107(2), 210-221. doi:10.5195/jmla.2019.567                                                                                                                    5

Elemente der
Qualitätssicherung
•   Vor der Finalisierung der Suchstrategie: Test-
    Referenzen, Peer Review
•   Vor der Veröffentlichung des Review: Berichterstattung
    überprüfen
•   Vor der Update-Suche, für regelmäßig verwendete
    Datenbanken: Datenbank Auswahl, Suchstrategie
    Optimierung

                                                             6

Test-Referenzen
•   Voraussetzung: bekannte relevante Referenzen, die in
    der verwendeten Datenbank verfügbar sind
•   Vorgehen:
    ►   Referenzen mittels ID-Nummern suchen
    ►   AND Suchergebnis
    ►   Überprüfen welche Studien (nicht) gefunden werden

                                                            7

Beispiel: Ovid Medline

                         8

Peer Review der Suchstrategie
•       Vorgehen: Primäre Datenbanksuche wird vor der
        Finalisierung evaluiert
•       Standard: PRESS (Peer Review of Electronic Search
        Strategies) Checklist
         ►       Deckt inhaltliche und formale Aspekte der Suche ab
         ►       Deutsche Übersetzung in RefHunter:
                 https://refhunter.eu/download/
•       PRESSforum: The Peer Review Portal for LIBRARIANS:
        http://pressforum.pbworks.com

CADTH. (2016). PRESS Peer Review Electronic search Strategies: 2015 Guideline Explanation and Elaboration (PRESS E&E). Retrieved from
https://www.cadth.ca/sites/default/files/pdf/CP0015_PRESS_Update_Report_2016.pdf                                                        9

PRESS Checklist: Domains
•        Translation of research question
•        Boolean & proximity operators
•        Subject headings
•        Text word searching
•        Spelling, syntax & line numbers
•        Limits and filters

Liberati, A., Altman, D. G., Tetzlaff, J., Mulrow, C., Gotzsche, P. C., Ioannidis, J. P., . . . Moher, D. (2009). The PRISMA statement for reporting systematic
reviews and meta-analyses of studies that evaluate healthcare interventions: explanation and elaboration. BMJ, 339, b2700. doi:10.1136/bmj.b2700                  10

Berichterstattung des Suchprozesses
•   Suchprozesse müssen im Review transparent berichtet
    werden
         → Überprüfung oder Formulierung durch
         SuchspezialistIn (Ideal: Co-Autorenschaft)

•   Minimum-Kriterien für Berichterstattung: PRISMA 2009

                                                           11

PRISMA 2009
•        Describe all information sources (e.g., databases with
         dates of coverage, contact with study authors to identify
         additional studies) in the search and date last searched.

•        Present full electronic search strategy for at least one
         database, including any limits used, such that it could be
         repeated.

•        Give numbers of studies screened, assessed for eligibility,
         and included in the review, with reasons for exclusions at
         each stage, ideally with a flow diagram.

Liberati, A., Altman, D. G., Tetzlaff, J., Mulrow, C., Gotzsche, P. C., Ioannidis, J. P., . . . Moher, D. (2009). The PRISMA statement for reporting systematic
reviews and meta-analyses of studies that evaluate healthcare interventions: explanation and elaboration. BMJ, 339, b2700. doi:10.1136/bmj.b2700                  12

PRISMA 2020 (Preprint)
•       Specify all databases, registers, websites, organisations,
        reference lists and other sources searched or consulted
        to identify studies. Specify the date when each source was
        last searched or consulted.
•       Present the full search strategies for all databases,
        registers and websites, including any filters and limits
        used.
•       Describe the results of the search and selection process,
        from the number of records identified in the search to the
        number of studies included in the review, ideally using a
        flow diagram

Page, M. J., McKenzie, J., Bossuyt, P., Boutron, I., Hoffmann, T., mulrow, c. d., . . . Moher, D. (2020). The PRISMA 2020 statement: an updated guideline for
reporting systematic reviews (Preprint). MetaArXiv. Retrieved from https://doi.org/10.31222/osf.io/v7gm2 doi:10.31222/osf.io/v7gm2                              13

Update-Suchen

„The search strategy for an update need not replicate the
original search strategy, but could be refined, for example,
based on an analysis of the yield of the original
search.”

Garner, P., Hopewell, S., Chandler, J., MacLehose, H., Schunemann, H. J., Akl, E. A., . . . Panel for updating guidance for systematic reviews. (2016). When
and how to update systematic reviews: consensus and checklist. BMJ, 354, i3507. doi:10.1136/bmj.i3507                                                          14

Welche Datenbanken haben zu
den Includes beigetragen?
•   Voraussetzung: nicht-deduplizierte Ergebnisse der Original
    Suche
•   Vorgehen: inkludierten Studien im Suchergebnis suchen
•   Mögliche Konsequenzen, z.B.:
    ► Datenbanksuchen mit hohem Recall: Update-Suche auf
      Datenbanken beschränken, die zu den Includes beigetragen
      haben
    ► Viele Includes nicht von Datenbank-Suchen gefunden:
      Suchstrategien überprüfen und überarbeiten
•   Einschränkung: Keine Daten wieso Studien nicht gefunden
    werden
                                                                 15

EndNote:
Quellen der inkludierter Studien identifizieren

Nicht-dedupliziertes Suchergebnis: Relevante Studie wird von mehreren
Suchstrategien gefunden

                                                                        16

Excel-Tabelle:
Inkludierte Studien pro Datenbank-Suchstrategie

                                            17

Database-Coverage als
Vergleichswert
Sensitivität/Recall (und Präzision) von Suchstrategien
optimieren
Voraussetzung:
•   Original-Suchstrategien
•   Datenbank-IDs der inkludierten Studien (In welchen
    Datenbanken sind welche Studien verfügbar?)
Anwendung besonders wenn:
•   Original-Suchen haben viele publiziere Includes nicht
    gefunden
•   Update von fremden oder sehr alten Suchen
                                                            18

Suchergebnis und Database Coverage vergleichen

    64 Inkludierte      Medline: 16
       Studien                                                         Medline: 22 in
                       gefunden von
                                                                        Datenbank
                           Suche

Fazit: Niedrige Sensitivität der Medline durch niedrige Database-Coverage
Web of Science und Global Health sind wichtigere Datenbanken für die
   Fragestellung                                                             19

Kommunikation mit Review-AutorInnen:
Suchstratien überarbeiten?

Tipp: Textanalyse Tools eignen sich besonders gut für der Optimierung von
Update-Suchen                                                           20

Literaturangaben                                                Eine erweiterte Literaturliste finden Sie im Handout 4.1

•   de Kock, S., Ross, J., Stirk, L., Duffy, S., Noake, C., & Misso, K. (2019). Why are systematic reviews that fail
    to meet PRISMA reporting requirements still being published? Paper presented at the EAHIL 2019 (June 17 -
    20 2019), Basel, Switzerland.

•   Franco, J. V. A., Garrote, V. L., Escobar Liquitay, C. M., & Vietto, V. (2018). Identification of problems in
    search strategies in Cochrane Reviews. Res Synth Methods, 9(3), 408-416. doi:10.1002/jrsm.1302

•   Salvador-Olivan, J. A., Marco-Cuenca, G., & Arquero-Aviles, R. (2019). Errors in search strategies used in
    systematic reviews and their effects on information retrieval. J Med Libr Assoc, 107(2), 210-221.
    doi:10.5195/jmla.2019.567

•   CADTH. (2016). PRESS Peer Review Electronic search Strategies: 2015 Guideline Explanation and
    Elaboration (PRESS E&E). Retrieved from
    https://www.cadth.ca/sites/default/files/pdf/CP0015_PRESS_Update_Report_2016.pdf

•   Liberati, A., Altman, D. G., Tetzlaff, J., Mulrow, C., Gotzsche, P. C., Ioannidis, J. P., . . . Moher, D. (2009). The
    PRISMA statement for reporting systematic reviews and meta-analyses of studies that evaluate
    healthcare interventions: explanation and elaboration. BMJ, 339, b2700. doi:10.1136/bmj.b2700

•   Page, M. J., McKenzie, J., Bossuyt, P., Boutron, I., Hoffmann, T., mulrow, c. d., . . . Moher, D. (2020). The
    PRISMA 2020 statement: an updated guideline for reporting systematic reviews (Preprint). MetaArXiv.
    Retrieved from https://doi.org/10.31222/osf.io/v7gm2 doi:10.31222/osf.io/v7gm2

•   Garner, P., Hopewell, S., Chandler, J., MacLehose, H., Schunemann, H. J., Akl, E. A., . . . Panel for updating
    guidance for systematic reviews. (2016). When and how to update systematic reviews: consensus and
    checklist. BMJ, 354, i3507. doi:10.1136/bmj.i3507                                                                       21

Übung: PRESS
Siehe Übungsblatt und Handout 4.1.:
Evaluieren Sie die komplexe Suchstrategie mit der PRESS
Checklist

                                                          22