Künstliche Intelligenz für IP und CI - Data Science now and then Trends und Technologien für maschinelles Lernen und Visualisierung - europatent GmbH
←
→
Transkription von Seiteninhalten
Wenn Ihr Browser die Seite nicht korrekt rendert, bitte, lesen Sie den Inhalt der Seite unten
Data Science now and then
Künstliche Intelligenz für IP und CI
Trends und Technologien für maschinelles Lernen
und Visualisierung
Dr. Ralf Schönmeyer
03.11.2020
© 2020 Ralf Schönmeyer, europatent GmbH – alle Rechte vorbehalten
Agenda
Überblick
• Vorstellung
• Künstliche Intelligenz (KI)
• Definition, Starke/Schwache KI
• Regelbasierte Verfahren und Maschinelles Lernen
• Technologische Evolution, historischer Abriss
• Künstliche Neuronale Netze, Deep Learning, Transferlernen
• Anwendungsbeispiel für IP/CI: Textanlyse zur Bewertung von Dokumenten
• Visualisierungsbeispiele
• Fazit
Seite 2
Vorstellung
Ralf Schönmeyer
• Studium der Physik an der Universität Frankfurt am Main
• Promotion am Brain Imaging Center, Uniklinikum Frankfurt am Main
• Segmentierung von Hirnstrukturen aus kernspintomografischen Bilddaten
Seite 3
Vorstellung
Ralf Schönmeyer
• Definiens AG , München (seit 2019: AstraZeneca Digital Pathology)
• Gegründet 1995 vom Nobelpreisträger Prof. Dr. Gerd Binnig
• Entwicklung und Vermarktung eines AI-Ansatzes zur Bilddaten-
auswertung für die Digitale Pathologie/Pharma-Industrie
• Von 2007 bis 02/2020 im Research Team
• Seit 2018 zusätzlich:
Intellectual Property Management
• europatent GmbH
• Seit 03/2020: Schwerpunkt Data Science – AI-Systeme und Visualisierungen
Seite 4
Vorstellung
Mission und Vision der europatent GmbH
• Durch den starken Anstieg von Patentanmeldungen in den letzten Jahrzehnten
wird es für Firmen jeglicher Größe immer wichtiger, die Beantwortung folgender
Fragen sicherzustellen
1. Sind meine F&E-Projekte von Schutzrechten bedroht?
2. Verpasse ich relevante Trends (Wettbewerber oder Technologien)?
3. Werden meine Ressourcen richtig eingesetzt?
• Europatent bietet Dienstleistungen im Bereich IP-Intelligence
IP-Software Schulungen Services Seite 5
Künstliche Intelligenz
Definition
• KI ist ein Teilgebiet der Informatik, dass sich mit der Automatisierung
intelligenten Verhaltens und dem maschinellen Lernen befasst
Artificial Intelligence
Reasoning
Machine Learning
Natural
Language
Processing
Supervised Unsupervised Reinforcement Neural Networks
Learning Learning Learning Deep Learning
Planning
Seite 6
Künstliche Intelligenz
Definition
• Schwache KI
• Systeme, die kognitive Fähigkeiten ersetzen können, die bislang als rein
menschliche Fähigkeiten galten und vorab definierte Aufgaben lösen
• Assistenzsysteme, um z.B. Bilder und Sprache zu erkennen
Seite 7
Künstliche Intelligenz
Definition
• Starke KI
• Computersysteme, die „auf Augenhöhe mit Menschen“ die Arbeit zur
Erledigung schwieriger Aufgaben übernehmen können
• Erfordernisse:
• logisches/strategisches Denkvermögen auch bei Unsicherheit
• Eigenständige Kombination schwacher KIs für ein übergeordnetes Ziel
• Beispiel: Data aus Star Trek
Seite 8
Künstliche Intelligenz
Regelbasierte Verfahren
• ein von Experten definiertes mitunter komplexes
Regelwerk wird erstellt und angewandt
• Versuch der Nachbildung von klaren Gedankengängen
Seite 9
Künstliche Intelligenz
Regelbasierte Verfahren: Technologien
Bildanalyse
• Cognition Network Technology
Objekte
Pixel
Seite 10Künstliche Intelligenz
Regelbasierte Verfahren: Technologien
Bewertung von Dokumenten
• Content Score (Relevanz von Schutzrechten)
• Setzt sich zusammen aus gewichteten
Beiträgen von Bewertungsregeln
• Das System lernt, da Experten-
Bewertungen Einfluss auf künftige
Ergebnisse haben
Seite 11Künstliche Intelligenz
Maschinelles Lernen
• künstliche Generierung von Wissen aus Erfahrung
• Ein System lernt aus Beispielen und kann diese nach Beendigung einer
Lernphase verallgemeinern
Hunde Katzen
?
Seite 12Künstliche Intelligenz
Maschinelles Lernen
• künstliche Generierung von Wissen aus Erfahrung
• Ein System lernt aus Beispielen und kann diese nach Beendigung einer
Lernphase verallgemeinern
Relevante Dokumente Nicht-relevante Dokumente
?
Seite 13Künstliche Intelligenz
Regelbasierte Verfahren vs. Machine learning
Regelbasierte Verfahren
• Ergebnisse können nachvollzogen und erklärt werden
Machine Learning
• Blackbox, bei der nicht wirklich erklärbar ist,
warum bestimmte Ergebnisse erzielt werden
Seite 14Maschinelles Lernen
Historischer Abriss: neuronale Netze
• Haben die Wirkungsweise und das Zusammenspiel von Neuronen des Gehirns
zum Vorbild
• 1950er/60er: theoretische Grundlagen und erste Versuchscomputer
• Perceptron
x w1
y w2
output0
w3
z
Seite 15Maschinelles Lernen
Historischer Abriss: neuronale Netze
• 1990er: Multi-Layer-Netze und Training mit Backpropagation-Algorithmus
inputs outputs
input layer hidden layer output layer
https://playground.tensorflow.org
Seite 16Maschinelles Lernen Historischer Abriss: neuronale Netze • Seit 2009: Anwendungserfolge durch größere und neue Netz-Architekturen: Deep Learning • Ermöglicht durch effizientere Algorithmen und leistungsfähigere Hardware (massive Parallelisierung durch GPUs/TPUs) 2014: Inception Net v1, 22 Layer, 5 Millionen Parameter, https://research.google.com/pubs/archive/43022.pdf Seite 17
Maschinelles Lernen
Historischer Abriss: neuronale Netze
• Seit ca. 2 Jahren: Transferlernen
• Netze, die noch umfangreicher, aber vortrainiert, zur Verfügung gestellt
werden
• Beispiel Textverarbeitung (Natural Language Processing, NLP):
• BERT-Modell: 340 Millionen Parameter
https://arxiv.org/abs/1810.04805 Seite 18Maschinelles Lernen
Anwendungserfolge
• Spiele meistern (Schach/Go) AlphaGo
AlphaGo Zero
• Handschriftenerkennung (OCR)
• Industrie 4.0: Predictive Maintenance
• z.B. intelligente Wartungsintervalle aus Daten per Internet der Dinge
Seite 19Maschinelles Lernen
Anwendungserfolge
• Fortschritte beim autonomen Fahren (Computer Vision)
• Situationen erkennen und Aktionen daraus ableiten
https://www.wir-fahren-zukunft.de/projekt/ Seite 20Maschinelles Lernen
Anwendungserfolge
• Analyse medizinischer Daten
• z.B. Vorhersage der Krankheitsentwicklung aus Bilddaten
http://www.sys-med.de/de/verbuende/sysimit/tp-4/
Seite 21Maschinelles Lernen
Anwendungserfolge
• Synthese realistisch wirkender Bilder
NVIDIA, styleGAN, https://thispersondoesnotexist.com
Seite 22Maschinelles Lernen
Anwendungserfolge
• Natural Language Processing (NLP)
• Sprache/Texte erzeugen und verstehen
• Texte übersetzen, klassifizieren
• Frage/Antwort-Systeme (Chatbots)
Seite 23Maschinelles Lernen
vom traditionellen Deep Learning zum Transferlernen
• Traditionelles Deep Learning: das Modell lernt alles von Grund auf neu
• Grundgedanke vom Transferlernen:
„Wer schon Auto fahren kann, muss nicht von Grund auf Motorradfahren
lernen“
• Es werden weniger „Fahrstunden“ benötigt
• Verkehrsregeln bleiben die gleichen
• Kuppeln, Bremsen, etc. müssen vom Prinzip her nicht komplett neu erlernt,
sondern nur anders bedient werden
Seite 24Transferlernen
Natural Language Processing
• Ein sehr komplexes Modell wird auf
umfangreichen Textbeständen vortrainiert
• Die „Bedeutung“ von Wörtern und Sätzen wird aus
ihrem Kontext heraus bewertet
Die Autos halten an, weil die Ampel auf ……… geschaltet hat.
Die Autos halten an, weil die ……… auf rot geschaltet hat.
Der Räuber geht wieder nach Hause.
Die Bank brennt.
Das Material war wohl aus Holz.
Seite 25Transferlernen
Natural Language Processing
• Googles BERT-Modell wurde anhand sämtlicher Texte aus der englischen
Wikipedia (~2.5 Milliarden Wörter) + 11.000 weiteren Büchern trainiert
• wird dort seit 2019 verwendet, um Suchanfragen besser zu verstehen
• vortrainierte Modelle stehen jedem open-source zur Verfügung,
um sie für eigene Aufgaben anzupassen und zu verwenden
Bidirectional Encoder Representations from Transformers
• BERT
• DistilBERT
• CamemBERT
Seite 26IP/CI Anwendungsbeispiel: Relevanzbewertung
automatisierte Bewertung von Schutzrechtsschriften
• Datengrundlage: Dokumente von Patentämtern
Intellektuelle Bewertung eines Experten
nach Relevanz im Technologie- und UnternehmenskontextIP/CI Anwendungsbeispiel: Relevanzbewertung
automatisierte Bewertung von Schutzrechtsschriften
• Personal IP Assistant (PIA)
• Trainiert im Technologie- und UnternehmenskontextDer europatent Datenbestand Das seit 18 Jahren gesammelte Wissen von Patentexperten
IP/CI Anwendungsbeispiel: Relevanzbewertung
automatisierte Bewertung von Schutzrechtsschriften
• Personal IP Assistant (PIA)
• Trainiert im Technologie- und Unternehmenskontext
Textaufbereitung Training
Abstrakt, Beschreibung eines Deep Learning Netzes,
und Ansprüche fine-tuning DistilBERT-ModellIP/CI Anwendungsbeispiel: Relevanzbewertung
automatisierte Bewertung von Schutzrechtsschriften
Konfusionsmatrix
Seite 31IP/CI Anwendungsbeispiel: Relevanzbewertung
automatisierte Bewertung von Schutzrechtsschriften
• Aktualität: Immer anwendbar auf dem aktuellsten Stand der verfügbaren Daten
• Kontinuierliche Verbesserung: weiteres Anwenderfeedback optimiert das Verfahren
Seite 32Einsatzszenario
“Relevanz-Brille” zur Untersuchung von Schutzrechtsportfolios
Seite 33Einsatzszenario
“Relevanz-Brille” zur Untersuchung von Schutzrechtsportfolios
Seite 34Einsatzszenario
“Relevanz-Brille” zur Untersuchung von Schutzrechtsportfolios
Seite 35Anwendungsbeispiel: nach neuen Technologie-Trends suchen
Mit maschinell erzeugten Eigenschaften Daten strukturieren
Ich will wissen, was ich
nicht weiß!
Seite 36Anwendungsbeispiel: nach neuen Technologie Feldern/Trends suchen
Mit maschinell erzeugten Eigenschaften Daten strukturieren
KI hilft
Strukturen in Daten
zu offenbaren…
Seite 37Anwendungsbeispiel: nach neuen Technologie Feldern/Trends suchen
Mit maschinell erzeugten Eigenschaften Daten strukturieren
… und zu sortieren.
Seite 38Anwendungsbeispiel: nach neuen Technologie Feldern/Trends suchen
Mit maschinell erzeugten Eigenschaften Daten strukturieren
… und zu sortieren.
Seite 39Anwendungsbeispiel: nach neuen Technologie Feldern/Trends suchen
Mit maschinell erzeugten Eigenschaften Daten strukturieren
Neue Daten können
zugeordnet werden.
Seite 40Fazit
• Künstliche Intelligenz ist ein sehr aktives Forschungs- und
Anwendungsgebiet
• State-of-the-Art entwickelt sich rasch weiter
• Technologietrends werden von großen Playern geprägt
(Google, Microsoft, Amazon, etc.)
• KI-Technologie immer mehr ein modular einsetzbares Asset
Seite 41Fazit
• Spezifisches Domänenwissen ist für Dienstanbieter wichtiger, als eigene
Technologie zu entwickeln
• Gutes Verständnis und gute Schnittstellen für Anwender erforderlich
• Fortschritt besteht aus geschickter Kombination von Technologien
mit regel- und datenbasierten Ansätzen
Seite 42Fazit
• Schwache KIs als Assistenzsysteme werden immer besser und leisten
allerorten Dienste, die vorher nur von Menschen (oder gar nicht) erledigt
werden konnten
• Z.B. Fleißarbeiten bei der Relevanzbewertung von Dokumenten
unterschiedlicher Sprachen
Seite 43Fazit
• Starke KIs
• Der Mensch ist das beste Beispiel, das Intelligente
Organismen/Maschinen prinzipiell möglich sind
• Zufriedenstellende künstliche Systeme sind nicht in Sicht
• Ist „echtes“ Bewusstsein dafür nötig?
• Überzeugende Konzepte auch für z.B. Emotionen, Humor, Ironie, etc.
fehlen bislang
Seite 44Fazit
• Die Gute Nachricht
• Menschen werden weiterhin benötigt
• Da Patentschriften humor- und ironiefrei sind, braucht PIA das
nicht beigebracht werden, um erfolgreich zu sein ☺
Seite 45Danke für Ihre Aufmerksamkeit
Dr. Ralf Schönmeyer
r.schoenmeyer@europatent.net
europatent GmbH
Aufkirchner Str. 5
82335 Berg am Starnberger See
Tel: +49 8151 65 99 1-0
Fax: +49 8151 65 99 1-10
Seite 46Für weitere Fragen und Anregungen stehen wir auch gerne
nach dem Vortrag zur Verfügung.
Um auf dem Laufenden zu bleiben, können Sie sich
zu unserem Newsletter anmelden:
https://www.europatent.net/newsletter/
Bildnachweise:
Slide 8: https://en.wikipedia.org/wiki/File:DataTNG.jpg, Fair Use
Slide 10 (rechts): DOI 10.1038/modpathol.2016.203, CC BY 4.0
Slide 26: Detail aus https://en.wikipedia.org/wiki/File:Bert_and_Ernie.JPG, Fair use
Verwendete Namen/Logos sind ggf. eingetragene Marken ihrer Eigentümer.
Ansonsten sind die Abbildungen Public Domain oder die Benutzungsrechte liegen bei Ralf Schönmeyer bzw. der europatent GmbH.
Sämtliche Folien: © 2020 Ralf Schönmeyer, europatent GmbH – alle Rechte vorbehalten Seite 47Sie können auch lesen
