Do You Have to Read All Incoming Documents? - Marcel Canclini and Mark Cieliebak
←
→
Transkription von Seiteninhalten
Wenn Ihr Browser die Seite nicht korrekt rendert, bitte, lesen Sie den Inhalt der Seite unten
Do You Have to Read All Incoming Documents?
Marcel Canclini and Mark Cieliebak
14.6.2019
14.6.2019 Mark Cieliebak and Marcel Canclini,
4
Marcel Canclini Mark Cieliebak
Solution Professor
Architect for Text Analytics
14.6.2019 Mark Cieliebak and Marcel Canclini,
7
How can you process
large amounts of documents
to trigger
pre-defined actions?
14.6.2019 Mark Cieliebak and Marcel Canclini,
8
Document
Classification
Sample Actions:
• Automatic Replies
• Document Routing
• Database Updates
• Storing Attachments
14.6.2019 Mark Cieliebak and Marcel Canclini,
10
• Spam Detection in Emails
• Sentiment Analysis
• Topic Categorization
• Age/Gender/Dialect Classification
• Hate Speech Detection
14.6.2019 Mark Cieliebak and Marcel Canclini,
11
Supervised Machine Learning
Training
Application
Predicted
Label
Source: http://bigsnarf.files.wordpress.com/2013/04/supervised.png
14.6.2019 Mark Cieliebak and Marcel Canclini,
12
Showcase: Medical Document Processing
Klinik für Kardiologie
Gruppenpraxis Meister & Muster Kantonsspital Winterthur
Pfanzschulstrasse 4 Birmensdorferstrasse 497
8008 Zürich 8400 Winterthur
Zürich, 4. April 2014
Überweisung Kardio-Checkup, Laura Ackerminze, f, 07.12.2005
Sehr geehrte Damen und Herren
Wir überweisen Ihnen Frau Ackerminze für einen Kardio-Checkup.
Aktuelles Leiden
Der Patient beklagt sich seit längerer Zeit Lorem ipsum dolor sit amet consectetuer in
porta Curabitur in In. Malesuada ante quam Sed Vestibulum Donec risus Curabitur ut wisi
mollis. Non ante sagittis Sed Phasellus dui platea tempus Integer justo et. Tempor turpis
semper volutpat leo pretium montes Curabitur est ipsum Sed. Mauris quis metus odio orci
Donec semper commodo mauris scelerisque laoreet. Non et Mauris sem Phasellus ridiculus
mattis Vestibulum.
Fragestellung
Es soll geklärt werden, ob ein Vorhofventrikelanomalie besteht. Zudem Amet iaculis at
pretium at et eget Aenean dapibus amet sit. Eget eget urna Pellentesque Curabitur lacinia
nascetur dictumst convallis cursus eget. At consequat est et leo mollis Ut adipiscing Nulla
elit hac. In wisi convallis Curabitur Donec quis sed suscipit eu enim lorem. Nunc et Morbi
pretium lobortis congue ut tempus quis sagittis pede. Pellentesque Vestibulum nec ut
Bericht
Bitte senden Sie uns den Bericht und die 24h-EKGs an meistermuster@larnags.ch
Freundliche Grüsse
Digital visiert von Dr. Meister
am 4. April 2014 um 13:45
[Authentisiert durch HIN]
Clinical Information
System
14.6.2019 Mark Cieliebak and Marcel Canclini,
15Data Labeling
14.6.2019 Mark Cieliebak and Marcel Canclini,
16Data Labeling
14.6.2019 Mark Cieliebak and Marcel Canclini,
17Data Labeling
14.6.2019 Mark Cieliebak and Marcel Canclini,
18Data Labeling
14.6.2019 Mark Cieliebak and Marcel Canclini,
19Results
14.6.2019 Mark Cieliebak and Marcel Canclini,
21Klinik für Kardiologie
Gruppenpraxis Meister & Muster Kantonsspital Winterthur
Segmentation Pfanzschulstrasse 4
8008 Zürich
Birmensdorferstrasse 497
8400 Winterthur
Zürich, 4. April 2014
Überweisung Kardio-Checkup, Laura Ackerminze, f, 07.12.2005
Sehr geehrte Damen und Herren
Klinik für Kardiologie
Wir überweisen Ihnen Frau Ackerminze für einen Kardio-Checkup.
Gruppenpraxis Meister & Muster Kantonsspital Winterthur
Aktuelles Leiden
Pfanzschulstrasse 4 Birmensdorferstrasse 497
Der Patient beklagt sich seit längerer Zeit Lorem ipsum dolor sit amet consectetuer Klinik fürinKardiologie
8008 Zürich
Klinik für Kardiologie 8400 Winterthur
Gruppenpraxis Meister & Muster porta Curabitur in In. Malesuada
Gruppenpraxis
Kantonsspital Winterthur ante quam
Meister & Sed Vestibulum
Muster Donec risus Curabitur ut wisi
Kantonsspital Winterthur
Pfanzschulstrasse 4 mollis. Non ante sagittis
Birmensdorferstrasse Sed
497 Phasellus dui platea tempus Integer justo et. Tempor turpis
Pfanzschulstrasse 4 Birmensdorferstrasse 497
Klinik für Kardiologie8008 Zürich
semper volutpat leo pretium montes Curabitur est ipsum Sed. Mauris quis metus odio orci
8400 Winterthur
Gruppenpraxis Meister & Muster Kantonsspital Winterthur 8008 Zürich 8400 Winterthur
Donec semper commodo mauris scelerisque laoreet. Non etZürich, Mauris 4.
sem Phasellus
April 2014 ridiculus
Pfanzschulstrasse 4 Klinik für Kardiologie
Birmensdorferstrasse 497 mattis Vestibulum.
Zürich, 4. April 2014
Gruppenpraxis
8008 Zürich Meister & Muster Kantonsspital Winterthur
8400 Winterthur Fragestellung
Pfanzschulstrasse 4 Birmensdorferstrasse 497 Überweisung
Überweisung Kardio-Checkup, Laura Ackerminze, f, 07.12.2005 Kardio-Checkup, Laura Ackerminze, f, 07.12.2005
Sehr geehrte Damen und Herren Es soll geklärt werden, ob ein Vorhofventrikelanomalie besteht. Zudem AmetZürich, iaculis4.atApril 2014
8008 Zürich Klinik für Kardiologie 8400 Winterthur Wir überweisen Ihnen Frau Ackerminzepretium
Sehr geehrte Damen und Herren
at et eget Aenean dapibus amet sit. Eget eget urna Pellentesque Curabitur lacinia
für einen Kardio-Checkup.
Gruppenpraxis Meister & Muster Kantonsspital Winterthur Aktuelles Leiden Wir überweisen
nascetur dictumst Ihnen
convallis Fraucursus
Ackerminze
eget. At fürconsequat
einen Kardio-Checkup.
estAckerminze,
et leo mollis f, Ut07.12.2005
adipiscing Nulla
Pfanzschulstrasse 4 Birmensdorferstrasse 497 Zürich, 4. April 2014 Der Patient beklagt sich seit längerer Zeit Lorem ipsum dolor sit ametÜberweisung
consectetuer in Kardio-Checkup, Laura
8008 Zürich 8400 Winterthur porta Curabitur in In. Malesuada ante quam Aktuelles
elit hac.
Sed Vestibulum Leiden
In wisi convallis
Donec Curabitur
risus Curabitur ut wisi Donec quis sed suscipit eu enim lorem. Nunc et Morbi
Sehr geehrte
mollis. Non ante sagittis Sed Phasellus dui platea tempus Integer justo et. Tempor turpis
Damen und Herren
pretium
Derest lobortis
Patient conguemetus
beklagt
Mauris quissich
utseit
tempuslängererquis Zeit
sagittis pede.
Lorem Pellentesque
ipsum Vestibulum
dolor sit amet nec ut in
consectetuer
Überweisung Kardio-Checkup, Laura Ackerminze, f, Zürich, 4. April 2014 semper volutpat leo pretium montes Curabitur ipsum Sed. odio orci
07.12.2005 WirPhasellus
überweisen Ihnen Frau Ackerminze für einen Kardio-Checkup.
Zürich, 4. April 2014
Donec semper commodo mauris scelerisque porta
laoreet.Curabitur
Bericht Non et Mauris in semIn. Malesuada
ridiculus ante quam Sed Vestibulum Donec risus Curabitur ut wisi
Sehr geehrte Damen und Herren
mattis Vestibulum.
mollis. NonSie ante AktuellesSed Leiden
Fragestellung Bitte senden unssagittis
den Bericht Phasellus
und diedui platea tempus
24h-EKGs Integer justo et. Tempor turpis
an meistermuster@larnags.ch
Überweisung
Überweisung Kardio-Checkup,
Kardio-Checkup, Laura Ackerminze, f, Laura
07.12.2005 Ackerminze,
Wir überweisen Ihnen Frau Ackerminze für einen Kardio-Checkup. f, 07.12.2005 semper volutpat
Es soll geklärt werden, ob ein Vorhofventrikelanomalie besteht. Zudem Der Patient
leoAmet iaculis atbeklagt
pretium montes sich seit längerer
Curabitur ZeitSed.
est ipsum Lorem ipsum
Mauris quisdolor
metussit odio
ametorci consectetuer in
Sehr geehrte Damen und Herren
Sehr geehrte Damen und Herren pretium at et eget Aenean dapibus amet sit. Eget eget urna Pellentesque
Donec semper porta
commodo Curabitur
Curabitur lacinia in In. Malesuada ante quam Sed Vestibulum Donec risus Curabitur ut wisi
mauris scelerisque laoreet. Non et Mauris sem Phasellus ridiculus
Aktuelles Leiden
Wir überweisen Ihnen Frau Ackerminze für einen Kardio-Checkup. nascetur dictumst convallis cursus eget. At consequat est et leo mollis Ut adipiscing Nulla
WirDer überweisen Ihnen Frau elit hac. In wisi convallis Curabitur Donec mattis Vestibulum. mollis. NuncNon ante sagittis Sed Phasellus Freundliche GrüsseInteger justo et. Tempor turpis
dui platea tempus
sich Ackerminze
seit längererfür einen Kardio-Checkup.
Aktuelles Leiden quis sed suscipit eu enim lorem. et Morbi
Patient beklagt Zeit Lorem ipsum dolor sit amet consectetuer in congue ut tempus quis sagittis pede. Pellentesque Vestibulum
pretium lobortis
semper nec ut
volutpat leo pretium montes Curabitur est ipsum Sed. Mauris quis metus odio orci
Der Patient beklagt sich seit längerer Zeit Lorem ipsum dolor sit amet consectetuer in Fragestellung Digital visiert von Dr. Meister
portaAktuelles
portain In.
Curabitur Leiden
Curabitur
Malesuada antein quam
In. Malesuada anterisus
Sed Vestibulum Donec quam Sedut Vestibulum
Curabitur wisi Donec risus Curabitur
Berichtut wisi
Donec semper commodo mauris scelerisque am 4.laoreet. Non
April 2014 umet13:45
Mauris sem Phasellus ridiculus
mollis. Non ante sagittis Sed Phasellus dui platea tempus Integer justo et. Tempor turpis
Der mollis.
Patient Non ante
beklagt sagittis Sed Phasellus dui platea tempus Integer justo et. Tempor turpis Es soll geklärt werden, ob ein Vorhofventrikelanomalie besteht. Zudem Amet iaculis at
Bitte senden Sie uns den Bericht und die 24h-EKGs an meistermuster@larnags.ch
semper volutpat leo pretium montessich seitest
Curabitur längerer Zeitquis
ipsum Sed. Mauris Lorem ipsum
metus odio orci dolor sit amet consectetuer in mattis Vestibulum.
semper volutpat leoMalesuada
pretium montes Curabitur est ipsum Donec
Sed. Mauris quis metus pretium atFreundlicheet egetGrüsse Aenean dapibus amet sit. Eget eget urna [Authentisiert
Pellentesquedurch HIN]
Curabitur lacinia
Donecporta
semper Curabitur
commodo inscelerisque
mauris In. laoreet. Nonante quam
et Mauris sem Sed Vestibulum
Phasellus ridiculus risus Curabitur utodio
wisi orci
mattis Vestibulum. nascetur dictumst Fragestellung
convallis cursus eget. At consequat est et leo mollis Ut adipiscing Nulla
Donec
mollis.
Fragestellung
Non semper
ante commodo
sagittis Sed mauris
Phasellus scelerisque
dui platea laoreet.
tempus Non et
IntegerMauris
justo sem
et. Phasellus
Tempor ridiculus
turpis Digital visiert von Dr. Meister
semper
Es soll mattis
geklärt Vestibulum.
volutpat
werden, leo pretium montes
ob ein Vorhofventrikelanomalie besteht.Curabitur est ipsum
Zudem Amet iaculis at Sed. Mauris quis metus odio orci elit hac. Inamwisi Es
4. April soll
convallis
2014 geklärt
um 13:45Curabitur werden,
Donec ob ein
quis Vorhofventrikelanomalie
sed suscipit eu enim besteht.
lorem. Nunc Zudem
et Morbi Amet iaculis at
[Authentisiert durch HIN]
pretium at et eget Aenean dapibus amet sit. Eget eget urna Pellentesque Curabitur lacinia
Donec semper commodo mauris scelerisque laoreet. Non et Mauris sem Phasellus ridiculus pretium lobortis pretium
congue at
ut et
tempuseget Aenean
quis dapibus
sagittis pede.amet sit. Eget
Pellentesque eget urna
Vestibulum Pellentesque
nec ut Curabitur lacinia
Fragestellung
nascetur dictumst convallis cursus eget. At consequat est et leo mollis Ut adipiscing Nulla
mattis
elit hac. In wisiVestibulum.
convallis Curabitur Donec quis sed suscipit eu enim lorem. Nunc et Morbi Bericht nascetur dictumst convallis cursus eget. At consequat est et leo mollis Ut adipiscing Nulla
Es soll geklärt werden, ob ein Vorhofventrikelanomalie besteht. Zudem Amet iaculis at
pretium lobortis congue ut tempus quis sagittis pede. Pellentesque Vestibulum nec ut elit hac. In wisi convallis Curabitur Donec quis sed suscipit eu enim lorem. Nunc et Morbi
Fragestellung
Bericht pretium at et eget Aenean dapibus amet sit. Eget eget urna Pellentesque Curabitur lacinia Bitte senden Sie uns den Bericht und die 24h-EKGs an meistermuster@larnags.ch
pretium lobortis congue ut tempus quis sagittis pede. Pellentesque Vestibulum nec ut
BitteEs nascetur
soll
senden uns dendictumst
Siegeklärt werden,
Bericht convallis
und dieob cursus eget. At consequat
ein Vorhofventrikelanomalie
24h-EKGs an meistermuster@larnags.ch est et leo
besteht. mollis
Zudem Ut adipiscing
Amet iaculis at Nulla
Bericht
elit hac.
pretium at et In eget
wisi Aenean
convallisdapibusCurabitur amet Donec quis sed
sit. Eget egetsuscipit eu enim lorem.
urna Pellentesque Nunc et
Curabitur Morbi
lacinia Freundliche Grüsse
Freundliche Grüsse
pretium
nascetur lobortisconvallis
dictumst congue ut tempus
cursus eget.
Digital quisAt sagittis
visiert consequat
von pede.
Dr. Meister estPellentesque
et leo mollis Vestibulum
Ut adipiscing nec ut
Nulla Bitte senden Sie uns den Bericht und die 24h-EKGs an meistermuster@larnags.ch
Digital visiert von Dr. Meister
elit hac. In wisi convallis CurabituramDonec
Bericht quis
4. April 2014 um sed
13:45 suscipit eu enim lorem. Nunc et Morbi
14.6.2019
[Authentisiert durch HIN] 22 am 4. April 2014 umMark 13:45
Cieliebak and Marcel Canclini,
pretium lobortis congue ut tempus quis sagittis pede. Pellentesque Vestibulum nec utKlinik für Kardiologie
Gruppenpraxis Meister & Muster Information Extraction
Kantonsspital Winterthur
Pfanzschulstrasse 4 Birmensdorferstrasse 497
8008 Zürich 8400 Winterthur
Zürich, 4. April 2014
Überweisung Kardio-Checkup, Laura Ackerminze, f, 07.12.2005
Sehr geehrte Damen und Herren • Sender and Addressee
Wir überweisen Ihnen Frau Ackerminze für einen Kardio-Checkup.
Aktuelles Leiden
Der Patient beklagt sich seit längerer Zeit Lorem ipsum dolor sit amet consectetuer in
porta Curabitur in In. Malesuada ante quam Sed Vestibulum Donec risus Curabitur ut wisi • Date
mollis. Non ante sagittis Sed Phasellus dui platea tempus Integer justo et. Tempor turpis
semper volutpat leo pretium montes Curabitur est ipsum Sed. Mauris quis metus odio orci
Donec semper commodo mauris scelerisque laoreet. Non et Mauris sem Phasellus ridiculus
mattis Vestibulum. • Diagnosis
Fragestellung
Es soll geklärt werden, ob ein Vorhofventrikelanomalie besteht. Zudem Amet iaculis at
pretium at et eget Aenean dapibus amet sit. Eget eget urna Pellentesque Curabitur lacinia
nascetur dictumst convallis cursus eget. At consequat est et leo mollis Ut adipiscing Nulla • Medication
elit hac. In wisi convallis Curabitur Donec quis sed suscipit eu enim lorem. Nunc et Morbi
pretium lobortis congue ut tempus quis sagittis pede. Pellentesque Vestibulum nec ut
Bericht
Bitte senden Sie uns den Bericht und die 24h-EKGs an meistermuster@larnags.ch • etc.
Freundliche Grüsse
Digital visiert von Dr. Meister
am 4. April 2014 um 13:45
[Authentisiert durch HIN]
14.6.2019 Mark Cieliebak and Marcel Canclini,
23Medical Document Classification:
Lessons Learned
• 5000 training documents for 10 classes is ok
• ~20 days for data acquisition and labeling
• Amount and quality of training data has
largest impact
14.6.2019 Mark Cieliebak and Marcel Canclini,
24How to Approach a
Classification Project
14.6.2019 Mark Cieliebak and Marcel Canclini,
28How to Approach a
Classification Project
1. Ask Yourself: Do i really need an automatic tool?
14.6.2019 Mark Cieliebak and Marcel Canclini,
29How to Approach a
Classification Project
1. Ask Yourself: Do i really need an automatic tool?
2. Ask an Expert: How much will it take?
14.6.2019 Mark Cieliebak and Marcel Canclini,
30How to Approach a
Classification Project
1. Ask Yourself: Do i really need an automatic tool?
2. Ask an Expert: How much will it take?
3. Multiply estimates by 3 at least!
14.6.2019 Mark Cieliebak and Marcel Canclini,
31How to Approach a
Classification Project
1. Ask Yourself: Do i really need an automatic tool?
2. Ask an Expert: How much will it take?
3. Multiply estimates by 3 at least!
4. Build a Proof of Concept
14.6.2019 Mark Cieliebak and Marcel Canclini,
32How to Approach a
Classification Project
1. Ask Yourself: Do i really need an automatic tool?
2. Ask an Expert: How much will it take?
3. Multiply estimates by 3 at least!
4. Build a Proof of Concept
5. Integrate Labeling into Business Process
14.6.2019 Mark Cieliebak and Marcel Canclini,
33How to Approach a
Classification Project
1. Ask Yourself: Do i really need an automatic tool?
2. Ask an Expert: How much will it take?
3. Multiply estimates by 3 at least!
4. Build a Proof of Concept
5. Integrate Labeling into Business Process
6. Setup Iterative Process: label – train – deploy
14.6.2019 Mark Cieliebak and Marcel Canclini,
34Project Effort
Data Preparation
Implementation
Standard Job-Ads Insurance Economic Medical Legal Reputation
Classification Coverage News Document Clauses Monitoring
Tasks Categorization Classification
14.6.2019 Mark Cieliebak and Marcel Canclini,
35Thank You!
Marcel Canclini Mark Cieliebak
marcel.canclini@spinningbytes.com ciel@zhaw.ch
14.6.2019 Mark Cieliebak and Marcel Canclini,
36Acknowledgements
Collaboration:
The results presented in this talk are based on a collaboration with BlueCare AG, Winterthur, Switzerland, who
also provided the sample documents.
Images:
• https://apps-cloud.n-tv.de/img/19733937-1488905601000/16-9/750/imago59671311h.jpg
• https://apps-cloud.n-tv.de/img/19733937-1488905601000/16-9/750/imago59671311h.jpg
• https://career.guru99.com/wp-content/uploads/2017/11/customer-service.jpg
• http://www.fpcit.co.uk/images/backgrounds/03.jpg
• https://bs-uploads.toptal.io/blackfish-uploads/blog/post/seo/og_image_file/og_image/15293/nlp-tutorial-text-
classification-60b609c0b7a2622d2b0d6122f2b27f97.png
• http://bigsnarf.files.wordpress.com/2013/04/supervised.png
• https://i.pinimg.com/236x/91/99/4c/91994c29c47fb835ce9091531b23fa52--ruins-presentation.jpg
• https://downloads.healthcatalyst.com/wp-content/uploads/2014/05/179478680.jpg
• https://leadtechconsulting.com/wp-content/uploads/2013/10/Service-Audit.jpg
• https://pbs.twimg.com/profile_images/488369322654314496/l_JwD9As.jpeg
• http://www.cs4fn.org/machinelearning/images/robotreading.jpg
• http://wallpapers-3d.ru/sstorage/53/2011/02/11002111451139523.jpg
14.6.2019 Mark Cieliebak and Marcel Canclini,
37Sie können auch lesen
