Validierung von non-target Methoden - erste Erfahrungen - BVL Symposium 2021 Data Science / Labor 4.0 - Neue Formen der Datengewinnung und ...
←
→
Transkription von Seiteninhalten
Wenn Ihr Browser die Seite nicht korrekt rendert, bitte, lesen Sie den Inhalt der Seite unten
Validierung von non-target Methoden - erste Erfahrungen BVL Symposium 2021 Data Science / Labor 4.0 - Neue Formen der Datengewinnung und –analyse 06.10.2020 PD Dr. habil. Steffen Uhlig uhlig@quodata.de
target versus non-target Methoden
Targeted: Bei spektrometrischen 4 250
Methoden, die darauf abzielen, den 3.5
200
Gehalt oder die Anwesenheit einer 3
Intensity, A.U.
oder mehrerer chemischer
Peak area
2.5 150
Substanzen in einer Probe zu 2
bestimmen, gibt es im jeweils 1.5
100
gemessenen Spektrum einen oder
1 50
mehrere Peaks, welche diesen
0.5
Substanzen zugeordnet werden 0
0
kann. 38 43 0 1 2 3
Retention Time, min Konzentration, ng/ml
Non-target: Bei
spektrometrischen Methoden,
die darauf abzielen, z.B. die
Herkunft einer Probe zu
überprüfen, gibt es manchmal
keine charakteristischen
Substanzen oder Peaks,
sondern nur verschiedene
Peakmuster
KI-basierter Ansatz zur Entwicklung von non-target
Methoden
Input-Schicht: 20 – 2.000.000 Peaks (Spektrum einer Probe)
4 verborgene
Schichten mit
32, 12, 6 und 3 Neuronen
Output-Schicht: z.B. 3 Neuronen, die für 3 Klassen stehen (e.g. Spezies 1, Spezies 2, Spezies 3)
Jedes Output Neuron erhält einen Wert zwischen 0 und 1.
Uhlig, Steffen; Uhlig, Carsten; Colson, Bertrand; Gowik, Petra; Hettwer, Karina; Simon, Kirsten; Stoyke, Manfred; (2018).
A.I. methods for Food Fingerprinting. In: Book of Abstracts of the AOAC Meeting & Exposition 2018. 132nd AOAC
Annual Meeting & Exposition 2018 - Educate, Network, Collaboration. Toronto. AOAC International.
Was bedeutet Validierung?
Autonomes Fahren
Laboruntersuchungen
(„Autopilot“)
Möglichst wenige Fehler, z.B.
Keine Unfälle
weniger als 1% falsche
Ziel (bzw. deutlich weniger Unfälle
Klassifizierungen
als mit menschlichem Fahrer)
(Justiziabilität!)
Erprobung auf
Erprobung mit
verschiedensten Straßen,
unterschiedlichsten Proben
Validierungs- bei unterschiedlichen Verkehrs-
in unterschiedlichen Laboren,
verfahren und Wetterbedingungen
mit unterschiedlichen
mit unterschiedlichsten Fahrern
Bearbeitern
In unterschiedlichen Ländern.
Einbeziehung (anonymisierter)
Weitere
In der Regel nicht verfügbar Verkehrsdaten und
Daten
UnfallanalysenValidierung der Methode des selbstfahrenden Autos
Videoquelle: https://bit.ly/33ffRT4Zielsetzung der Validierung einer (non-target)
Untersuchungsmethode im Labor
• Die Validierung dient der Prüfung ihrer Leistungsfähigkeit und der
Justiziabilität der Untersuchungsergebnisse, u.a. zur Überprüfung folgender
Fragen:
– Wie groß ist der zu erwartende Fehler bzw. wie sicher ist das
Untersuchungsergebnis?
– In welchem Maße hängt das Untersuchungsergebnis vom
untersuchenden Labor ab?
– Hängt das Untersuchungsergebnis auch davon ab, ob das
Probenmaterial z.B. aufgrund eines längeren Transportwegs nicht mehr
ganz frisch ist?
– Wie sicher ist das Untersuchungsergebnis, wenn die Probe selbst nicht
aus der Mitte der fraglichen Population, sondern aus der Peripherie
stammt (z.B. umfasst das Anbaugebiet, in dem Trauben für den
Champagner angebaut werden dürfen, verschiedene Bodentypen und
Mikroklimata)?Anforderungen an eine Validierung einer (non-target)
Untersuchungsmethode im Labor
• Für die Validierung einer Untersuchungsmethode sind in der Regel nur vergleichsweise
wenige Datensätze bzw. Proben verfügbar.
• Die Validierungsdaten weisen deshalb einen nicht unerheblichen statistischen Fehler
auf.
• Durch geeignete Validierungsprotokolle, Versuchsdesigns und statistische Methoden
kann der statistische Fehler minimiert werden.
Uhlig, Steffen; Colson, Bertrand; Hettwer, Karina; Simon,
Kirsten; Uhlig, Carsten; Wittke, Stefan et al. (2018): Valid
machine learning algorithms for multiparameter methods.
Eurachem Workshop on Data – Quality, Analysis and Integrity,
14 May 2018 in Dublin, Ireland
Uhlig, Steffen; Colson, Bertrand; Hettwer, Karina; Simon,
Kirsten; Uhlig, Carsten; Wittke, Stefan et al. (2019): Valid
machine learning algorithms for multiparameter methods.
Accreditation and Quality Assurance, 575 (1), S. 265.Beispiel einer In-house Validierung:
resistente versus nicht-resistente Staphylokokken
MSSAS
Type MRSAR
Type
• Das non-target Verfahren liefert einen
3
quantitativen Score, der für jede Probe
einheitlich berechnet und definiert werden
kann.
2 • Wenn dieser Score Y einen Threshold k
überschreitet, entscheidet man sich für die
Population R (resistent), ansonsten für S
1 (sensitiv).
• Zu unterscheiden ist zweierlei: Trueness
Replicate 2
(Proben + Matrixeffekte) und Precision
0 (Laboreffekte)
-3 -2 -1 0 1 2 3
-1
-2
-3
Replicate 1
Uhlig, Steffen; Nichani, Kapil; Colson, Bertrand; Hettwer, Karina; Simon,
Kirsten; Uhlig; Carsten, Stoyke, Manfred; Steinacker; Ulrike, Becker;
René; Gowik, Petra; (2019). Performance characteristics and criteria for
non-targeted methods. Eurachem workshop on validation of targeted and
non-targeted methods of analysis, 21 May 2019 in Tartu, EstoniaWie viele Proben sind für die Validierung
erforderlich?
• Werden der Probenpopulation genau 60 Proben zufällig entnommen, beträgt die
Wahrscheinlichkeit, dass ein 5%-Anteil der Population in der Stichprobe der 60 nicht
enthalten ist, genau 0,05.
0.6
Mit anderen Worten: Mit 60 Proben kann man zum Konfidenzniveau 95%
Wahrscheinlichkeit, dass die Teilpopulation nicht in
0.55
Sicher sein, dass in der Validierung kleine Teilpopulationen ab 5% Anteil
0.5
an der Gesamtpopulation nicht völlig unter den Tisch fallen („5-Prozent-Hürde“).
der Zufallsstichprobe enthalten ist
0.45
0.4
0.35
0.3
0.25
0.2
0.15
0.1
0.05
0
0% 1% 2% 3% 4% 5% 6% 7% 8% 9% 10% 11%
Prozentualer Anteil der Teilpopulation an der Gesamtpopulation
Uhlig et al., Validation for non-target methods, 2020, In preparation.Diskussion
• Die Validierung von non-target Untersuchungsmethoden erfordert die Durchführung von
Validierungsstudien, in denen pro untersuchter Population jeweils mindestens 60
Proben untersucht werden müssen. Diese 60 Proben müssen zuvor hinsichtlich ihrer
Eigenschaften und ihrer Herkunft charakterisiert werden.
• Die Aussagekraft von non-target Methoden scheint in hohem Maße vom jeweiligen
Laborequipment abhängig zu sein. Die Bedeutung von nicht-standardisierten In-house
Untersuchungsmethoden könnte deshalb in der Zukunft zunehmen.
• Wichtig daher: Entwicklung neuer Formen der Standardisierung für
Untersuchungsmethoden, die nur in wenigen Laboren bzw. nur in einem Labor zum
Einsatz kommen. Dies schließt auch die Entwicklung geeigneter Datenbanken ein.
• Aufwand für Validierung und Qualitätssicherung nimmt gegenüber klassischen
standardisierten Untersuchungsmethoden beträchtlich zu.
• Wichtig ist deshalb für die Validierung und Qualitätssicherung der Einsatz effizienter
Versuchsprotokolle und Datenanalysemethoden (KI+mathematische Statistik).PD Dr. habil. Steffen Uhlig
uhlig@quodata.de
quodata.de
@Quodata
Vielen Dank!Sie können auch lesen
