Deep Learning in Radiomics - Abteilung Datenbanken Leipzig
←
→
Transkription von Seiteninhalten
Wenn Ihr Browser die Seite nicht korrekt rendert, bitte, lesen Sie den Inhalt der Seite unten
Deep Learning in Radiomics
Satiyabooshan Murugaboopathy
Freitag, 24.01.2020 Deep Learning in Radiomics 1
Gliederung
Radiomics
Definition
Vorgehensweise
Qualitäten
Herausforderungen
Anwendungsgebiete
Tumorklassifikation nach Huynh et al.
Ausgangssituation und Ziel
Ansätze
Resultate
Konklusion
Freitag, 24.01.2020 Deep Learning in Radiomics 2
Gliederung
Radiomics
Definition
Vorgehensweise
Qualitäten
Herausforderungen
Anwendungsgebiete
Tumorklassifikation nach Huynh et al.
Ausgangssituation und Ziel
Ansätze
Resultate
Konklusion
Freitag, 24.01.2020 Deep Learning in Radiomics 3Radiomics
Portmanteau aus:
• ”Radiology”: medizinisches Teilgebiet der
Strahlenheilkunde und
• ”-omics”: Suffix vieler molekularbiologischer Disziplinen
wie Genomics (DNA), Transkriptomics (RNA),
Proteomics (Proteine) oder Metabolomics (Metaboliten)
Freitag, 24.01.2020 Deep Learning in Radiomics 4Radiomics
• In der Radiologie existieren computerassistierte
Diagnosesysteme schon seit Jahrzehnten
• Können Auswertung des Bildmaterials wie Größen- und
Dichtemessungen vereinfachen und beschleunigen oder
sogar komplett übernehmen
⇒ erleichtern Radiologen mechanische Arbeiten, besitzen aber
keine interpretatorische Kompetenz
Freitag, 24.01.2020 Deep Learning in Radiomics 5Definition
Extraktion & Analyse von Informationen aus medizinischen
Bilddaten, die mit radiologischen Verfahren (z.B.
Computertomographie (CT), Positronenemissionstomographie
(PET) oder Magnetresonanztomographie (MRT)) erzeugt
werden.
⇒ statistische Aussagen über Gewebeeigenschaften, Diagnosen
und Krankheitsverläufe, für die sonst biologische Moleküle
(DNA, RNA, Proteine oder Metaboliten) genutzt werden
Freitag, 24.01.2020 Deep Learning in Radiomics 6Vorgehensweise
Figure: Flussdiagramm, das Radiomics-Prozess und dessen Verwendung
als ”Decision Support” visualisiert [GKH16]
Freitag, 24.01.2020 Deep Learning in Radiomics 7Vorgehensweise (I)
1. Bilderfassung: Scans produzieren rohe Datenmengen, die
mittels Rekonstruktionsverfahren zu interpretierbaren
Bildern weiterverarbeitet werden müssen
2. ROI-Identifikation: Zur Verienfachung der Extraktion und
Analyse von nur Läsions-relevanten Features
3. Segmentierung: optionale Verfeinerung der
ROI-Identfikation
4. Feature Extraktion: verschiedene Methoden zur
Extraktion möglichst relevanter und geringfügig
redundanter Features
Freitag, 24.01.2020 Deep Learning in Radiomics 8Vorgehensweise (II)
5. Datenbanken erstellen: Zur zukünftigen Verwendung der
extrahierten Informationen
6. Data Mining/Klassifizierung: Analyse der gesammelten
Daten
Freitag, 24.01.2020 Deep Learning in Radiomics 9Qualitäten
• Ermöglicht Korrelation von mehr Informationen, als es
einem Radiologen möglich ist und dadurch bildgebende
Diagnostik beschleunigen, vertiefen und anders
strukturieren
• Bessere Charakterisierung von Tumoren und damit neuen
radiologischen Klassifizierungen
• Ermöglicht Entwicklung individualisierter diagnostischer
Überwachungsstrategien und am Kriterium der
Tumorheterogenität orientierte quantifizierte
Verlaufskontrollen
• Individuell erhobene Korrelationsdaten können dann
vollständig in die assoziierten epidemiologischen Register
eingebracht werden
Freitag, 24.01.2020 Deep Learning in Radiomics 10Herausforderungen
• Nachvollziehbarkeit/Reproduzierbarkeit: nur wenige
Resultate reproduzierbar und meist gar nicht kontrollierbar
• Datenaustausch: Kompliziert wegen kultureller,
administrativer, regulatorischer und persönlicher Probleme
• Standards: Starke Heterogenität in den Daten, deren
Dokumentation und auch Interpretation
Freitag, 24.01.2020 Deep Learning in Radiomics 11Anwendungsgebiete
• Tumor-Diagnose
• Tumor-Prognose
• Behandlungsempfehlungen
Freitag, 24.01.2020 Deep Learning in Radiomics 12Gliederung
Radiomics
Definition
Vorgehensweise
Qualitäten
Herausforderungen
Anwendungsgebiete
Tumorklassifikation nach Huynh et al.
Ausgangssituation und Ziel
Ansätze
Resultate
Konklusion
Freitag, 24.01.2020 Deep Learning in Radiomics 13Ausgangssituation und Ziel
• Datenbasis: 219 Mammographie-Bilder mit insgesamt 607
experten-gelabelten ROIs
• Ziel ist Tumor-Diagnose: Klassifikation von ROIs in gut-
und bösartige Tumore
Freitag, 24.01.2020 Deep Learning in Radiomics 14Ansatz 1: Vortrainiertes CNN (AlexNet)
Figure: Architektur des AlexNet von Krizhevsky et al. [KSH12]
Freitag, 24.01.2020 Deep Learning in Radiomics 15ImagNet Datensatz
• 2009 von Stanford
University initiiert
• 2012: 1’431’167 Bilder aus
1000 Klassen
• 2016: 14’197’122 Bilder
aus 21841 Klassen
• Wettbewerb immer auf
1’200’000 Bildern aus
1000 Klassen
Figure: Zufällige Auswahl an
ImageNet-Bildern [RDS+ 14]
Freitag, 24.01.2020 Deep Learning in Radiomics 16Ansatz 1: Vortrainiertes CNN (AlexNet)
• Outputs aller Ebenen des
AlexNet wurden für alle
Bilder berechnet, um
damit pro Ebene eine
SVM zu trainieren
Figure: Schema der
Feature-Extraktion [HLG16]
Freitag, 24.01.2020 Deep Learning in Radiomics 17Ansatz 2: Analytisch extrahierte, expertengestützte
Features
1. Zentren der Läsionen wurden manuell markiert
2. Läsionen wurden automatisch segmentiert
3. Bildmerkmale (mathematische Deskriptoren) der Läsionen
wurden manuell ausgesucht und extrahiert (z.B. Größe,
Form, durchschnittliche Graustufe, Kontrast, Textur und
Schärfe der Masse)
4. SVM-Klassifikator wurde auf den extrahierten Merkmalen
trainiert
Freitag, 24.01.2020 Deep Learning in Radiomics 18Ansatz 3: Ensemble Klassifikator
Figure: Visualisierung der jeweiligen einzelnen Methoden und deren
Kombination [HLG16]
Freitag, 24.01.2020 Deep Learning in Radiomics 19Ansatz 3: Ensemble Klassifikator
• Kombination der Outputs beider SVMs durch Soft Voting
• Beim Soft Voting liefert jeder einzelne Klassifikator einen
Wahrscheinlichkeitswert, dass ein bestimmter Datenpunkt
zu einer bestimmten Zielklasse gehört
• Die Vorhersagen werden nach der Wichtigkeit des
Klassifikators gewichtet und summiert
• Das Ziel-Label mit der größten Summe der gewichteten
Wahrscheinlichkeiten gewinnt die Abstimmung
Freitag, 24.01.2020 Deep Learning in Radiomics 20Resultate
Figure: AUC-Performanz für SVMs baierend auf jeweiliger Ebene des
AlexNet [HLG16]
Freitag, 24.01.2020 Deep Learning in Radiomics 21Resultate
Ansatz AUC Rechenzeit
1 0.81 ca. 7 min
2 0.81 ca. 5 min
3 0.86 ca. 10 min
Performanzen der einzelnen
Methoden [HLG16]
Figure: ROC-Kurven zu jewieliger
SVM [HLG16]
Freitag, 24.01.2020 Deep Learning in Radiomics 22Konklusion
Architektur Top-1 Top-5 Jahr
AlexNet 57.1 80.2 2012
VGG 76.3 93.2 2014
ResNet152 80.62 95.5 2015
InceptionV3 81.2 95.8 2015
SENet154 82.7 96.2 2017
EfficientNetB7 85.9 97.5 2020
EfficientNetL2 88.4 98.7 2020
Genauigkeiten bekannter CNNs beim ILSVRC
[KSH12][SZ14][HZRS15][SVI+ 15][HSA+ 17][XHLL19]
Freitag, 24.01.2020 Deep Learning in Radiomics 23Konklusion
• Transfer Learning aus nicht-medizinischem Kontext
möglich
• Besondere Vereinfachung, da nicht zwangsläufig neues
Training mit neuer Hyperparameter-Optimierung
notwendig
• Stärke von Deep Learning bei individuellem Training,
automatische Evidenzgenerierung, nicht möglich
Freitag, 24.01.2020 Deep Learning in Radiomics 24Quellen (I)
Robert J. Gillies, Paul E. Kinahan, and Hedvig Hricak, Radiomics:
Images are more than pictures, they are data, Radiology, 2016.
Werner Golder, Radiomics: Möglichkeiten und grenzen der neuen
bildverarbeitung, 2018, Eingesehen am 17.01.2020.
Benjamin Q. Huynh, Hui Li, and Maryellen L. Giger, Digital
mammographic tumor classification using transfer learning from deep
convolutional neural networks, Journal of Medical Imaging 3 (2016).
Jie Hu, Li Shen, Samuel Albanie, Gang Sun, and Enhua Wu,
Squeeze-and-excitation networks, 2017.
Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun, Deep
residual learning for image recognition, 2015.
Freitag, 24.01.2020 Deep Learning in Radiomics 25Quellen (II)
Virendra Kumar, Yuhua Gu, Satrajit Basu, Anders E Berglund,
Steven A Eschrich, Matthew B. Schabath, Kenneth NK Forster,
Hugo J. W. L. Aerts, Andre Dekker, David A. Fenstermacher,
Dmitry B. Goldgof, Lawrence O. Hall, Philippe Lambin, Yoganand
Balagurunathan, Robert A. Gatenby, and Robert J. Gillies,
Radiomics: the process and the challenges., Magnetic resonance
imaging 30 9 (2012), 1234–48.
Alex Krizhevsky, Ilya Sutskever, and Geoffrey Hinton, Imagenet
classification with deep convolutional neural networks, Neural
Information Processing Systems 25 (2012).
Freitag, 24.01.2020 Deep Learning in Radiomics 26Quellen (III)
Olga Russakovsky, Jia Deng, Hao Su, Jonathan Krause, Sanjeev
Satheesh, Sean Ma, Zhiheng Huang, Andrej Karpathy, Aditya
Khosla, Michael Bernstein, Alexander C. Berg, and Li Fei-Fei,
Imagenet large scale visual recognition challenge, 2014.
Christian Szegedy, Vincent Vanhoucke, Sergey Ioffe, Jonathon
Shlens, and Zbigniew Wojna, Rethinking the inception architecture
for computer vision, 2015.
Karen Simonyan and Andrew Zisserman, Very deep convolutional
networks for large-scale image recognition, 2014.
Mingxing Tan and Quoc V. Le, Efficientnet: Rethinking model
scaling for convolutional neural networks, 2019.
Freitag, 24.01.2020 Deep Learning in Radiomics 27Quellen (IV)
Qizhe Xie, Eduard H. Hovy, Minh-Thang Luong, and Quoc V. Le,
Self-training with noisy student improves imagenet classification,
ArXiv abs/1911.04252 (2019).
Freitag, 24.01.2020 Deep Learning in Radiomics 28Sie können auch lesen
