So verändert die Holo-medizin die Spielregeln - WEKA ...
←
→
Transkription von Seiteninhalten
Wenn Ihr Browser die Seite nicht korrekt rendert, bitte, lesen Sie den Inhalt der Seite unten
Mixed Reality / BILDVERARBEITUNG
Die Holomedizin umfasst
die Kombination der beiden
Bereiche Holografie und
Medizin.
Bilder: Microsoft
So verändert die Holo-
medizin die Spielregeln
Die Herausforderung beim Einsatz neuer Technologien in der Medizin isolierten Kommandoraum per Video zu,
bestehen immer darin, es spielerisch aussehen zu lassen, ohne dass der sprach mit und war so trotz Distanz am
Patientenbett dabei.
Arztberuf zum Computerspiel verkommt. Das ist bei MR-Anwendungen »Wir halten das für nützlich, denn wir
nicht anders. Zwar sind deren Praxisbeispiele noch überschaubar, aber konnten so schnell umstellen«, sagt Dr.
schon jetzt zeigen diese, wo die Reise mithilfe von Hologrammen hin- James Kinross, Facharzt für kolorektale
gehen könnte. Chirurgie am St. Mary’s Hospital in Lon-
don. Statt sechs oder sieben Ärzte schickte
die Klinik nur eine einzelne Person auf die
Melanie Ehrhardt
Redakteurin medical design Covid-Station. Während einer vierwöchi-
gen Testphase kamen so laut Kinross 80
F
Weg gewählt: Sie gingen mit einer Mixed- Prozent weniger Ärzte unmittelbar mit Co-
ernwartung von Maschinen per Reality-Brille auf Visite. Hauptaufgabe der vid-19 in Kontakt. Außerdem wurden pro
Video oder Augmented Reality Hololens 2 war in diesem speziellen Fall Woche circa 700 Artikel Schutzkleidung
(AR) kennt man. Aber die Fern- die Videoübertragung aus der Perspek- eingespart. Kinross experimentiert bereits
wartung von Menschen? Das ist tive des Brillenträgers. Das heißt, Pfleger seit knapp drei Jahren mit der Microsoft-
neu, wurde aber im Rahmen der und Ärzte konnten so im Alleingang auf Brille, beispielsweise bei der 3D-Visualisie-
Corona-Pandemie immer wichti- Visite gehen, die normalerweise in klei- rung von medizinischen Bildern.
ger. Um die Kontakte auch im Klinikalltag nen Teams aus Ärzten und Studierenden Das Beispiel zeigt, ganz neu ist der
auf ein Minimum zu reduzieren, haben geschieht. Der Rest des Teams schaute Einsatz von Mixed Reality (MR) in der Medi-
Ärzte in London einen ungewöhnlichen dem Patientenbesuch aus einem Corona- zin nicht. Auch in Deutschland gibt es im-
www.medical-design.news 01/2021 35
BILDVERARBEITUNG / Mixed Reality
mer mehr Kliniken, die mithilfe der »Holo
medizin« neue Wege gehen. Hinter dem
Begriff verbergen sich eigentlich zwei Be-
reiche, die man auf den ersten Blick nicht
zusammen bringt: die Holografie, also die
Darstellung eines virtuellen 3D-Abbildes
eines realen Ursprungsgegenstandes, und
eben die Medizin. Damit der Arzt, zum Bei-
spiel während der Visite, dieses Hologramm
sieht, benötigt er eine MR-Brille. Was sich
insbesondere im Gaming-Bereich großer
Beliebtheit erfreut, wird immer mehr zur
medizinischen Spielwiese für Technologie-
Konzerne. Vor allem Microsoft hat sich in
diesem Bereich mit seiner Hololens bisher Im November 2019 kam die Hololens 2 nach Deutschland, diese präsentierte sich deutlich
besonders hervorgetan. ausgereifter als ihr Vorgängermodell.
■■ Brille auf dem Kopf,
Hologramm im Raum
In seiner Ganzheit besteht eine MR-Archi-
tektur aus einer Anzeige, einem Eingabe-
gerät, der passenden Software und einer
Cloud. Dabei kommt nicht zuletzt dem Ge-
rät für die Anzeige eine besondere Rolle
zu. Denn damit der Endanwender ohne
größere Hürden damit agieren kann, sollte
dieses nicht nur handlich, sondern auch
leicht – im Idealfall intuitiv – zu bedie-
nen sein. Im medizinischen Bereich haben Vollgepackt mit Technik: In der MR-Brille befinden sich unter anderem ein Prozessor (Qualcomm),
sich bisher vor allem sogenannt Head- zwei IR-Kameras, vier Kameras für das Kopf-Tracking sowie ein 64-GB-Speicher.
Mounted-Displays (HMD) durchgesetzt.
Auch die MR-Brille von Microsoft gehört Senior Solution Specialist Mixed Reality & nalen Modell ab. Um die eigene Position
in diese Kategorie, obwohl der Begriff Hololens Microsoft Deutschland. Der Trä- und Orientierung im Raum zu bestimmen,
MR-Brille dem Gerät nicht ganz gerecht ger hat zudem die Möglichkeit, die virtu- verwendet die Umgebungserfassung der
wird. Denn das HMD ist vielmehr eine ellen 3D-Abbildungen an einer definierten Hololens verschiedene Sensoren und Ka-
Kombination aus einem kabellosen, mo- Position im Raum zu platzieren und sich meras. Lage und Beschleunigung der Brille
bilen sowie holografischen Computer und um diese herum frei zu bewegen. Dadurch werden mittels der Inertial Measurement
einem tragbaren Anzeigegerät. Ähnlich wie kann er die Objekte aus unterschiedlichen Unit (kurz IMU) ermittelt.
bei einer gewöhnlichen Brille, ist die reale Blickwinkeln betrachten. Um die virtuel- Im Februar 2019 präsentierte Mi-
Umgebung des Trägers durch transparente len Objekte zu stabilisieren, erfasst das crosoft die zweite Gerätegeneration. »Die
Gläser wahrnehmbar. Die digitalen Inhalte MR-System Position und Rotation des Hololens 2 bietet im Vergleich zum Vor-
werden auf zwei transparenten Bildschir- Benutzers im Raum. Dabei rekonstruiert gängermodell ein mehr als doppelt so gro-
men vor den Augen des Trägers angezeigt. die Brille die physische Umgebung und ßes Sichtfeld, deutlich verbesserten Trage-
Dieser kann beide Bildschirme unabhängig speichert diese in einem dreidimensio- komfort durch einen optimierten Schwer-
voneinander ansteuern, sodass ihm unter-
schiedliche Bildinhalte angezeigt werden. KURZ ERKLÄRT: VIRTUAL, AUGMENTED UND MIXED REALITY
Durch eine perspektivische Verschiebung
beider Bilder, entsteht eine räumliche Virtual Reality: Bei der virtuellen Realität (Virtual Reality, VR) taucht der User in
eine komplett computergenerierte, dreidimensionale Umgebung ab. VR-Brillen
Wahrnehmung virtueller Objekte, wel- reagieren auf die Bewegungen des Anwenders und ermöglichen ihm, mit der virtuel-
che wie Hologramme erscheinen. Durch len Welt zu interagieren.
den Benutzer werden beide – reale und Augmented Reality: In der Augmented Reality (AR) wird die reale Welt mit virtu-
virtuelle – Umgebungen als eine Einheit ellen Inhalten in Echtzeit angereichert. Diese lassen sich wahlweise über AR-Brillen
wahrgenommen. oder über mobile Geräte in die Realität einblenden und überlagern beziehungsweise
Die Steuerung der Brille erfolgt via ergänzen die reale Wahrnehmung. Man bezeichnet diese Form daher auch als erwei-
Blick- und Gestensteuerung. »So lassen terte Realität.
sich Hologramme beispielsweise über ge- Mixed Reality: Die Mixed Reality (MR) umfasst im Prinzip die gesamte Bandbreite
zielte Handgriffe im physischen Raum völ- zwischen VR und realer Welt. Bei der gemischten Realität verschmelzen die echte
und die virtuelle Welt und schaffen eine Umgebung, in der physische und digitale
lig frei bewegen, positionieren oder in der Objekte interagieren.
Größe verändern«, erklärt Michael Zawrel,
36 01/2021 www.medical-design.news
punkt sowie eine intuitivere Interaktion mit
den Hologrammen«, sagt Zawrel. Die zweite
Auflage zeigt sich gegenüber dem Erstling
deutlich aufgewertet; das Hardwarekon-
zept macht einen ausgereifteren Eindruck.
Nur bei Gewicht und Akkulaufzeit (2 bis
3 Stunden) hat sich nicht viel verändert.
Das Gewicht liegt bei 566 Gramm, das sind
13 Gramm weniger als beim Vorgänger.
Und damit ist ein bekanntes Problem noch
nicht ganz in den Griff zu bekommen. Denn
aus ergonomischer Sicht heißt das: Der
Benutzer muss nicht nur einen Fremdkör-
per auf dem Kopf tragen, er spürt ihn auch.
Da besteht also Handlungsbedarf, um eine
Überbeanspruchung zu vermeiden. Denn Vorrangig wird die Hololens 2 im OP getestet, aber auch bei der Patientenaufklärung könnte sie ein-
gesetzt werden und dabei helfen, Patienten Eingriffe zu erklären und mögliche Ängste abzubauen.
am Ende sollen die HMDs ihren Träger bei
seiner Tätigkeit unterstützen, ohne ihn zu-
sätzlich zu belasten. In drei Fachgebieten startete das Klinikum entwickelt. Dabei handelt es sich um eine
mit der Einführung der Hololens und der cloudbasierte Anwendung, die aus MRT-
■■ Willkommen in der Anwendung Virtual Surgery Intelligence und CT-Aufnahmen ein dreidimensiona-
(VSI) des Microsoft-Partners ApoQlar: in les Abbild konstruiert und dieses dann
Holoklinik der Urologie, in der Neurochirurgie und als Hologramm in der MR-Brille darstellt
»Das Potenzial der Mixed-Reality-Techno- in der Traumatologie. – Holomedizin in seiner reinsten Form.
logie ist nahezu unbegrenzt und Anwen- Dabei unterscheiden sich die Prozesse Mittels Natural Rendering wird aus einer
dungsmöglichkeiten über alle medizini- in Altona nicht grundlegend von denen in grauen 2D-Bildgebung eine exakte 3D-
schen Fachbereiche sowie Prozesse hinweg anderen Kliniken. Im Falle einer Operation Abbildung in realistischer und natürlicher
denkbar«, so Zawrel. Beispielhaft hierfür folgen die Patientenaufklärung, die OP Farbe, die auch feinste Gewebestrukturen
steht die Asklepios Klinik im Hamburger und die Visite. Bei all diesen Schritten hin gut erkennbar macht. Aus bis zu 500 Auf-
Stadtteil Altona. Das Krankenhaus behan- zur Genesung sind in der Regel zweidimen- nahmen einzelner Schichten von Körper-
delt jährlich mehr als 95.000 Patienten sionale schwarz-weiße MRT- oder CT-Bilder regionen entsteht ein anatomisches Bild.
ambulant und stationär. Sie ist der Haupt- im Einsatz. Um diese entsprechend zu Via Landmarken ermöglicht es das System,
sitz des größten privaten Klinikbetreibers deuten und auszuwerten, bedarf es lang- das 3D-Bild während der OP millimeter-
Europas mit rund 160 Gesundheitseinrich- jähriger Erfahrung. Für das ungeschulte genau über die operierende Stelle, den
tungen, der Asklepios Kliniken GmbH & (Patienten-)Auge ist es schwer, etwas zu sogenannten OP-Situs, zu platzieren. Der
Co. KGaA, und gehört seit Ende Dezember erkennen und zu verstehen. Für Chirurgen Chirurg kann das Hologramm nach Bedarf
2019 zu den ersten Holokliniken weltweit. hat der Microsoft-Partner die VSI-Software drehen, schneiden oder in die Strukturen
Pewatron_MD01_gerastert.pdf;S: 1;Format:(210.00 x 99.00 mm);04.Mar 2021 15:39:28
Anzeige
BILDVERARBEITUNG / Mixed Reality
Hardware Hololens 1 Hololens 2
Durchsichtige holographische Linsen
Optik Durchsichtige holographische Linsen (Wellenleiter)
(Wellenleiter)
2 HD 16:9-Lichtmaschinen, die 2,3 m
Holographische Auflösung 2K 3:2 Light Engines
Gesamt Lichtpunkte produzieren
Anzeige Holographische Dichte > 2.5 k Strahler (Lichtpunkte pro Radiant) > 2,5K Strahler (Lichtpunkte pro Radiant)
Automatische Pupillen-Entfernungs
Augenbasiertes Rendering Anzeigeoptimierung für die 3D-Augenposition
Kalibrierung
Aufösung 1280 × 720 (pro Auge) 2048 × 1080 (pro Auge)
Handverfolgung Eine Hand Beide Hände
„Kopf-Tracking (Nachverfolgung)“ 4 Kameras für sichtbares Licht 4 Kameras für sichtbares Licht
Eye-Tracking (Blickverfolgung) 2 Infrarotkameras (IR) 2 Infrarotkameras (IR)
Tiefe 1-MP-Time-of-Flight-Tiefensensor 1-MP-Time-of-Flight-Tiefensensor
Sensoren
Beschleunigungsmesser, Gyroskop,
Trägheitsmaßeinheit (IMU) Beschleunigungsmesser, Gyroskop, Magnetometer
Magnetometer
Kamera 2.4 MP, HD-Video 8-MP-Standbilder, 1080p30-Video
Akku Lithium-Akkus Lithium-Akkus
Akku-Laufzeit 2-3 Stunden bei aktiver Nutzung 2-3 Stunden bei aktiver Nutzung
Stromversorgung
Standbyzeit Bis zu 2 Wochen Bis zu 2 Wochen
Art der Kühlung Passiv gekühlt (keine Ventilatoren) Passiv gekühlt (keine Ventilatoren)
Prozessor Intel 32-bit (1GHz) Qualcomm Snapdragon 850
Arbeitsspeicher 2 GB RAM 4-GB-LPDDR4x-System-DRAM
Computing und Speicher 64 GB Flash 64-GB UFS 2.1
Konnektivität WLAN Wi-Fi 802.11 AC 802.11ac 2x2
Bluetooth 4,1 Le 5.0
USB Micro USB 2,0 USB-Typ-C
Größe Einheitsgröße mit verstellbarem Band. Einheitsgröße mit verstellbarem Band.
Passt über Brillen Passt über Brillen
Passung
Breite 579 Gramm 566 Gramm
Mikrofon-Array 4 Kanäle 5 Kanäle
Audio und Sprache
Lautsprecher Integrierter Raumklang Integrierter Raumklang
Vergleich der Hardware-Spezifikation der beiden MR-Brillen Hololens 1 & Hololens 2.
hineingleiten. Er sieht so sehr genau, wo und CT/MRT-Bilder. Über die »Speech-to- beispielsweise sind in diesem Bereich ak-
welche Nervenbahnen und Strukturen ver- Text-Funktion« kann der Arztbericht noch tiv. Und obwohl an entsprechender Stelle
laufen und kann so viel präziser operieren. während der Visite erstellt werden. Das ver- bereits geforscht wird, deuten die meisten
Über die Funktion der Telechirurgie schlankt die Arbeitsprozesse und verschafft Studien darauf hin, dass MR in der Ra-
wird zudem der Wissensaustausch verein- den behandelnden Ärzten Freiräume. diotherapie noch mit einigen Einschrän-
facht, indem ein operierender Arzt via Vi- kungen in Bezug auf das Unbehagen der
deoanruf einen Kollegen oder Spezialisten ■■ Virtuelles Klassenzimmer Patienten, die Benutzerfreundlichkeit und
live zur OP dazu holen kann, um anatomi- die sinnvolle Auswahl und Genauigkeit der
sche Überraschungen oder andere nicht
für Medizinstudierende anzuzeigenden Informationen zu kämpfen
vorhergesehene Ereignisse zu besprechen. In Hamburg wird Mixed Reality aber nicht hat. Deutlich weiter ist man da im Bereich
»Das minimiert die Risiken, die jede OP nur während Operationen eingesetzt, son- der bildgebenden Diagnostik. So kündigte
mit sich bringt, und hilft, Komplikationen dern auch im Rahmen der Patientenauf- beispielsweise Siemens Healthineers im
von Anfang an zu vermeiden«, sagt Zawrel. klärung sowie der Visite. Darüber hinaus Rahmen des ECR 2019 an, seine 3D-Visua-
Auch im Nachgang der Operationen haben sind noch weitere Einsatzszenarien denk- lisierungstechnologie Cinematic Rendering
Arzt und medizinisches Personal Zugriff bar, zum Beispiel in der Strahlentherapie. künftig als App für die Hololens 2 anzu-
auf sämtliche Patientendaten, Laborwerte Die Unternehmen Brainlab und Magic Leap bieten. Damit erweitern sich laut Hersteller
38 01/2021 www.medical-design.newsdie Anwendungsbereiche der Technologie, individuell durchlaufen. Natürlich können
die über die Radiologie-Software Syngo. solche Simulationen nicht die tatsächliche
via verfügbar ist. So lassen sich beispiels- Erfahrung am menschlichen Körper erset-
weise komplexe medizinische Fälle leich- zen, aber es werden die grundlegende
ter mit zuweisenden Ärzten diskutieren, Arbeitsabläufe vermittelt. So lassen sich
etwa bei besonders herausfordernden Vorgänge und Prozesse zeitunabhängig
anatomischen Gegebenheiten in der Kin- veranschaulichen. Zudem muss bei einem
Schaltnetzteil mit nur 10mVpp
derheilkunde oder der Unfallmedizin. Es wesentlichen Teil der medizinischen Aus-
sind aber auch weitere Anwendungsfälle bildung nicht länger auf physische Mo- Upgrade
denkbar, zum Beispiel die Erfassung der delle zurückgegriffen werden. Vorteil für
exakten Lagebeziehung von Tumorgewebe die Studenten: Statt passiv im Hörsaal zu für bildgebende
und Blutgefäßen. sitzen, können sie ihren zukünftigen Beruf Anwendungen
Doch auch beim medizinischen im kleinen Maßstab vorab erleben.
Nachwuchs könnten MR-Anwendungen Digitale Bildverarbeitung ist heute
für ein Plus an digitaler Interaktion sor- ■■ Fazit & Ausblick Standard und Teil vieler medizini-
gen, etwa um Eingriffe vorab zu üben. scher Systeme wie beispielsweise
Denn auch wenn das Training am Patien- Dabei sind die technischen Herausforde- Röntgengeräten.
ten lange die akzeptierte Praxis war, setzt rungen laut Zawrel insgesamt überschau- Doch gibt es einen Schwachpunkt:
man bereits heute intelligente Puppen bar: »Neben der leistungsfähigen Mixed- das Rauschverhalten typischer
und/oder Virtual-Reality-Simulatoren ein. Reality-Hardware und einer entsprechen- Schaltnetzteile wirkt störend und
MR könnte hier die logische Weiterent- den Anwendung wird zusätzlich nur eine kann zu einer Unschärfe bzw.
wicklung sein und einen echten Mehrwert schnelle sowie stabile WLAN-Verbindung Kontrastminderung in der Aufnah-
in der chirurgischen Ausbildung bieten benötigt.« Plus ein bisschen Fantasie. Denn me führen – und damit zu Spiel-
und ist bereits auf dem Vormarsch, zum auch wenn es bereits erste vielverspre- raum für Interpretationen in der
Beispiel mit der Anwendung PalpSim von chende Anwendungen gibt, ist der Markt
Diagnose. Ziel ist es daher, dieses
Medical Graphics. Dabei handelt es sich für Mixed Reality noch recht jung, befindet
Bildrauschen im digitalen System
um ein Augmented-Virtuality-System, bei sich aber spürbar im Aufbruch. Insbeson-
auf ein Minimum zu reduzieren.
dem der Auszubildende seine eigenen dere die enge Verzahnung mit Künstlicher
Hände sehen kann, die den virtuellen Intelligenz spielt hierbei nach Ansicht von Ein wichtiger Ansatzpunkt ist hier
Patienten abtasten und eine virtuelle Zawrel eine entscheidende Rolle. Dabei die Wahl des passenden Netz-
Nadel halten. sollte die Technologie am Ende natürlich teils. Denn Schuld am störenden
Neben dem Training von Abläufen nicht komplizierter als nötig sein. »Wir Rauschen sind häufig nicht opti-
umfasst die medizinische Ausbildung glauben, dass Mixed Reality für alle Ent- mierte Netzteile. Sogar Standard-
auch den Erwerb von Grundkenntnissen, wicklerinnen und Entwickler und jedes Un- schaltnetzteile, die speziell für die
zum Beispiel das Erlernen der mensch ternehmen zugänglich sein sollte«. Um die Medizintechnik entwickelt wurden,
lichen Anatomie, die Bedienung von Ge- Vorteile der MR-Technologie in bestimm- legen oft keinen Fokus auf die Re-
räten, Kommunikationsfähigkeiten mit ten Branchen besser verfügbar zu machen, duzierung störender Oberwellen
Patienten und vieles mehr. Der Einsatz arbeitet der Konzern mit Partnern, welche (Ripple & Noise).
von MR-Technologien erlaubt es, Simula- die spezifischen Bedürfnisse der jeweiligen Die Folge: Geräteentwickler in
tionen zu erzeugen, welche die Lernenden Bereiche kennen. ■ der Bildgebung müssen oftmals
aufwendige Entstörmaßnahmen
ergreifen. Ein Aufwand, der um-
QUELLEN
gangen werden kann, wenn man
[1] Isobel Asher Hamilton: Doctors in London hospitals are using headsets from Mi- stattdessen ein sogenanntes Ultra-
crosoft to reduce the amount of staff coming into contact with COVID-19 patients Low-Noise Schaltnetzteil einsetzt
(25. Mai 2020), https://www.businessinsider.com/london-doctors-microsoft-hololens-
headsets-covid-19-patients-ppe-2020-5?r=DE&IR=T (Stand: 21. Januar 2021) wie das LFS-150A des japani-
[2] Jan Wulkop: Automatisierte Umgebungserfassung in Mixed Reality, Bachelorar- schen Herstellers DAITRON.
beit, Duale Hochschule Baden-Württemberg, Mannheim 2018 Mit Ripple & Noise-Werten von
[3] Jannis Moutafis: Microsoft Hololens 2: Alles andere als Spielerei (9. Dezember 10mVpp liegt dieses Schaltnetz-
2019), https://business-user.de/workplace/microsoft-hololens-2-alles-andere-als- teil um das 10-20fache unter den
spielerei/ (Stand: 21. Januar 2021) Werten von Standardnetzteilen.
[4] Nadja Jürgens: Asklepios Klinik Altona wird zur Holoklinik (1. Januar 2020), Perfekt für bildgebende Verfahren
https://vsi.health/de/fakten/asklepios-klinik-altona-wird-zur-holoklinik/
(Stand: 21. Januar 2021) und erhältlich bei Systemtechnik
LEBER.
[5]Long Chen: Recent Developments and Future Challenges in Medical Mixed Reality,
IEEE Xplore (Vortrag), 9. – 13. Oktober 2017
[6] o.A.: Mehr Effizienz in der medizinischen Ausbildung (7. Februar 2020), https://
www.medical-design.news/trends-und-innovationen/software-it/mehr-effizienz-in-der-
medizinischen-ausbildung.173302.html (Stand: 21. Januar 2021)
01/2021 39
www.leber-ingenieure.deSie können auch lesen
