Smart Glasses im Chirurgischen Kontext - Hochschule ...
←
→
Transkription von Seiteninhalten
Wenn Ihr Browser die Seite nicht korrekt rendert, bitte, lesen Sie den Inhalt der Seite unten
Smart Glasses im Chirurgischen Kontext Lena Huber Fabrizio Sedita Fabian Ziegler Hochschule Furtwangen Hochschule Furtwangen Hochschule Furtwangen Furtwangen, Germany Furtwangen, Germany Furtwangen, Germany lena.huber@hs-furtwangen.de fabrizio.deniz.seidita@hs- fabian.ziegler@hs-furtwangen.de furtwangen.de Abstract—Smart Glasses sind Brillen mit einem integrierten jedoch kaum benutzt, obwohl die Hände beim Bedienen der Computer, welche dem Träger visuell Informationen in das intelligenten Brillen nicht benutzt werden müssen. Deshalb Sichtfeld einfügen und mithilfe von Eyetracking, Gesten- und stellt sich die Frage: Wird das immense Potenzial der Smart Sprachsteuerung bedient werden können. Smart Glasses wer- Glasses vollkommen ausgeschöpft, oder gibt es weitere Ein- den bereits heutzutage in vielen verschiedenen Branchen wie Beispielsweise in der Logistik, Bauwirtschaft und Flugzeugwar- satzmöglichkeiten, wie beispielsweise die Chirurgie, welche tung eingesetzt, um verschiedene Problemstellungen der Arbei- weitere Chancen bietet, um einen weitreichenden Mehrwert ter zu vereinfachen beziehungsweise diese komplett zu lösen. In schaffen zu können? Im zweiten Kapitel wird auf aktuelle der Bauwirtschaft werden diese Beispielsweise benutzt, um Lei- Smart Glasses Technologien eingegangen. Hier wird aufge- tungen hinter Wänden und unter den Böden zu visualisieren, zeigt wie Smart Glasses funktionieren und mit anderen End- um diese beim Bohren nicht zu treffen. Aufgrund der variablen geräten kommunizieren. Außerdem wird aufgezeigt in wel- Einsatzmöglichkeiten gewinnen diese auch im medizinischen chen Branchen Smart Glasses bereits eingesetzt werden und Kontext immer mehr an Bedeutung. Dieses Paper zeigt auf, wie wie die Technologien in dem jeweiligen Bereich umgesetzt aktuelle und zukünftige Smart Glasses Technologien in Zukunft wurden. Im dritten Kapitel wird auf die vielseitigen Einsatz- im Chirurgischen Kontext eingesetzt werden können, um den Operationsprozess optimieren zu können. möglichkeiten im Chirurgischen Kontext eingegangen. Im vierten Kapitel wird eine Analyse über die Potenziale, Chan- Schlagwörter—Smart Glasses, Chirurgie, Augumented Re- cen und Risiken durchgeführt. Im fünften Kapitel wird so- ality wohl auf die Akzeptanz von intelligenten Brillen in der Chi- rurgie eingegangen als auch wie diese angehoben werden I. EINLEITUNG kann. Außerdem werden Faktoren, die die Akzeptanz beein- Aufgrund der Digitalisierung und dem damit verbundenen flussen können und die Mensch-Maschine Schnittstelle näher Fortschritt entwickelt sich die Technologie immer schneller erläutert. Im sechsten Kapitel wurde eine Anforderungsana- weiter. Der Trend entwickelt sich von stationären Systemen lyse durchgeführt, bei der zum einen Anforderungen für immer mehr hin zu Mobilen Systemen. Eine mobile Pro- Smart Glasses die während Operationen genutzt werden er- duktkategorie, welche dem Nutzer erlaubt diese zu nutzen, mittelt, sowie zum anderen ein Use Case Diagramm für einen indem er sie trägt, sind die sogenannten Wearables wie bei- Anwendungsfall erstellt wurde. In Kapitel sieben wird auf die spielsweise Smart Watches, Fitnesstracker, Smart Shirts, Rahmenbedingungen eingegangen, die Krankenhäuser erfül- Smart Belts und Smart Glasses. Diese haben im Laufe der len müssen, um die im Kapitel sechs ermittelten Anforderun- letzten Jahre, viele neue Möglichkeiten geschaffen wie intel- gen sinnvoll nutzen zu können. Im achten Kapitel wird auf ligente Geräte vernetzt eingesetzt werden können, um die das Fazit der Arbeit eingegangen sowie ein Ausblick über die Probleme von verschiedenen Nutzern zu verbessern oder Thematik gewährt. diese komplett zu lösen. Meistens werden Wearables einge- A. Verwandte Arbeiten setzt, um Aufgaben oder Tätigkeiten im realen Umfeld zum Smart Glasses werden bereits heute in vielen verschiedenen Beispiel mithilfe von Zusatzinformationen, Anweisungen Branchen eingesetzt. Auch im medizinischen Kontext wer- und Auswertungen zu Unterstützen. In diesem Paper wird der den diese bereits verwendet, um Ärzte Beispielsweise wäh- Fokus auf das Wearable Smart Glasses gerichtet, dieses wird rend Patientenkontrollen zu unterstützen, indem visuell Infor- bereits heute in vielen verschiedenen Bereichen eingesetzt, mationen in das Blickfeld des Arztes eingefügt werden, dies um Probleme zu lösen und einen Mehrwert mithilfe der ein- zeigt auch die Arbeit von Larimo [2]. In diesem Bereich wur- gesetzten Features schaffen zu können [1]. Dies wird in der den bereits Einsatzmöglichkeiten der Smarten Geräte gefun- Luftfahrt deutlich, Beispielsweise werden in der Flugzeug- den, außerdem wurde herausgefiltert, wie diese eingesetzt wartung Smart Glasses eingesetzt, um verschiedene Informa- werden müssen, um einen Mehrwert schaffen zu können. In tionen über das Model, die Bauteile und den Bauplan des diesem Paper werden die bereits bekannten Technologien Flugzeugs angezeigt zu bekommen. Außerdem können Teile aufgegriffen, um einen Anwendungsfall zu erstellen, wie mit- mithilfe von Agumented Reality im Sichtfeld des Nutzers hilfe von Smart Glasses ein Mehrwert im Bereich der Chirur- projiziert werden, um diesen aufzuzeigen welche Teile wo gie entstehen kann. eingebaut werden sollen. Im medizinischen Kontext werden Smart Glasses bereits als Konsultationssysteme zwischen Arzt und Patient eingesetzt [2]. In der Chirurgie werden diese 95
II. AKTUELLE ANWENDUNGSGEBIETE VON SMART GLASSES gabe übernimmt. Ein Beispiel hierfür stellt die Google Glas- Smart Glasses können als Unterstützung von verschiedensten ses dar, welche ein einseitig angebrachtes Display mit einem Zielgruppen und Anwendungsgebieten eingesetzt werden. Farbprismenprojektor besitzt. Mit Hilfe von Knochenlei- Das Konzept beruht auf der Verschmelzung von virtuellen tungswandlern ist es zusätzlich möglich, Geräusche durch die und realen Welten. Brille zu hören. Der Ton wird hierfür in Form von Vibratio- nen an das Innenohr geschickt, was dazu führt, dass sowohl A. Technologie hörende als auch hörgeschädigte Personen diesen wahrneh- Durch den starken Anstieg von Smart Glasses-Anbietern, ha- men können. Dabei werden Umgebungsgeräusche unverän- ben auch Variantenvielfalt und Ausstattungsmerkmale zuge- dert wahrgenommen [4]. nommen. Die meisten Smart Glasses besitzen in ihrem Ge- stell neben dem Mainboard eine Batterie, eine Kamera, ein B. Aktuelle Einsatzgebiete von Smart Glasses Mikrofon, sowie ein Display. Das Brillengestell ist je nach Bauart mit oder ohne Brillengläser ausgestattet. Bestandteile Durch die verschiedenen Ausführungen der Smart Glasses wie Augensensoren, Touchpad, Knochenleitungswandler werden unterschiedliche Verbrauchermärkte angesprochen. und Prisma variieren je nach Hersteller und Modell. Kommu- Im Bildungswesen können Schüler mit Hilfe von Smart Glas- nizieren können die Glasses durch den Anschluss an ein ses und virtual reality, historische Stätten besichtigen, statt Smartphone oder den Einsatz von Bluetooth und WLAN [3]. nur in Büchern davon zu lesen. Abbildung 1 zeigt den Aufbau und die verbauten Einzelteile In der Unterhaltungsbranche werden die Brillen bereits für von Smart Glasses auf. Virtual und Augmented-Reality-Spiele eingesetzt. In Kinos können sich Besucher durch Smart Glasses auch personali- sierte Untertitel, in einer beliebigen Sprache anzeigen lassen. In der Ausbildung können Smart Glasses als Fahr- und Flug- simulationen, sowie für militärisches Training eingesetzt werden. Somit wird zuerst in einer sicheren Umgebung trai- niert, bevor ein Einsatz in der realen Welt stattfindet [4]. Unternehmen können mit Hilfe von Datenbrillen virtuelle Prototypen erstellen und testen. Durch den Einsatz von Eye Tracking kann darüber hinaus ermittelt werden, welchen Pro- dukten ein Kunde mehr Aufmerksamkeit schenkt [5]. Smart Glasses können Daten wie Blaupausen abrufen und den Angestellten der Baubranche aufzeigen, wo sich Wasser- rohre und Elektroleitungen befinden. In der Logistik werden Mitarbeiter mit Hilfe von Smart Glas- ses durch das Lager, direkt zu den gesuchten Produkten ge- führt. In Bereichen, wie Kundenservice und Wartung, kann die Abbildung 1 Aufbau von Smart Glasses Brille dem Mitarbeiter jeden Schritt seines Vorgehens aufzei- gen. Durch farbliche Markierungen und klare Anweisungen Anhand einer direkten Projektion von digitalen Daten in das auf dem Display, können Fehler vermieden und die Effizienz Auge des Nutzers, ist eine freihändige Nutzung möglich. Un- erhöht werden. Treten dennoch Schwierigkeiten auf, kann an- terschieden werden die hierfür eingesetzten Technologien in hand der Videofunktion eine Echtzeitübertragung an einen Virtual reality und Augmented reality. In der Virtual reality Experten stattfinden. Indem ein Träger die Problematik erläu- werden alle äußeren Lichtquellen ausgeblendet, damit der tert und aus seiner Sicht zeigt, ist es dem Servicemitarbeiter Nutzer vollkommen in eine virtuelle Welt eintauchen kann. möglich, das Problem zu erkennen und sein Wissen anzubie- Der Anwender kann mit seinen Bewegungen die Aktionen in ten [6]. der virtuellen Welt beeinflussen. Der Einsatz von Augmented Im medizinischen Bereich zeigen Smart Glasses Studenten reality führt dazu, dass die echte Umgebung durch virtuelle mit Hilfe von Bildern und Videos unter anderem auf, wie me- Inhalte erweitert wird. Der Nutzer sieht seine reale Umge- dizinische Instrumente zusammengebaut werden. Es besteht bung, in welche über ein Prisma weiter digitale Inhalte ein- ebenfalls die Möglichkeit, anhand von 3D-Modellen den geblendet werden. Dem Träger ist es hierbei möglich, mit den menschlichen Körper mit all seinen Muskeln, Adern und virtuellen Objekten zu interagieren. Durch den Einsatz von Knochen darzustellen. Dies dient dazu, die Anatomie des Kameras ist es möglich, Videos und Bilder aus Benutzersicht Menschen zu erforschen, ohne echte Körper zu verwenden freihändig aufzunehmen. Anhand von Augensensoren, kann [7]. In Krankenhäusern können sie dazu eingesetzt werden, die Brille nachverfolgen, wohin der Benutzer sieht. digitale Patientenakten aufzurufen und die aktuellen Vital- Smart Glasses mit Brillengläsern, bieten die Möglichkeit, werte eines Patienten zu zeigen [8]. durch virtual reality die gesamte Wahrnehmung des Trägers zu beeinflussen. Sie werden vorwiegend für die Erschaffung III. EINSATZMÖGLICHKEITEN VON SMART GLASSES IM OP eines visuellen Erlebnisses, statt für die Darstellung von In- Smart Glasses eignen sich hervorragend für den Einsatz im formationen eingesetzt. Besitzt eine Brille keine Gläser, auf OP. Denn: die Informationen projiziert werden, so wird ein kleines Dis- • Die Bedienung kann berührungslos über Sprach- play im Sichtfeld des Nutzers platziert, welches diese Auf- oder Gestensteuerung geschehen 96
• Es kann Bildmaterial aus nahezu idealer Position oder erst nach einer gewissen Dauer, die insbesondere den aufgezeichnet und übertragen werden Hygienemaßnahmen geschuldet ist, stattfinden. Da die Sicht- • Durch offene Plattformen lassen sich einfach indivi- weise aus der ersten Person deutlich mehr Möglichkeiten zur duelle Anwendungen implementieren Hilfestellung bietet, ist eine Unterstützung aus der Ferne deutlich einfacher möglich. Zusätzlich wird damit eine Über- Der Einsatz von Smart Glasses während medizinischer Ope- wachungsmöglichkeit geschaffen, wodurch der operierende rationen lässt sich grob in vier Kategorien unterteilen: Arzt auf sich gestellt ist, jedoch könnte im Notfall sofort ein- gegriffen werden. [11]. A. Vorbereitung Schon vor einer chirurgischen Operation sind sehr viele Eine der Kernfunktionen von Smart Glasses ist die Anreiche- Dinge zu beachten. Es ist gängige Praxis hierfür Checklisten rung der Umgebung mit weiteren Informationen. Im Kontext zu verwenden, durch welche Komplikationen nachweislich von chirurgischen Operationen können so wichtige Vitalpa- verringert werden können. Vielerorts sind diese Checklisten rameter direkt in das Sichtfeld projiziert werden. Diese Funk- in Papierform, oder in digitaler Form an einem festen Bild- tionalität ermöglicht einen deutlich besseren Überblick über schirm, vorhanden und müssen vom Pflegepersonal abgear- die aktuelle Situation des Patienten. In einer Simmulations- beitet werden. Die Listen enthalten Fragen wie: studie konnte der positive Effekt auf die Reaktionszeit bei • Handelt es sich um den richtigen Patienten? Anomalien nachgewiesen werden. Die durchschnittliche Re- • Soll das richtige Körperteil operiert werden? aktionszeit konnte hier im Vergleich zu der Überwachung auf • Sind Allergien vorhanden? herkömmlichen Monitoren um durchschnittlich ca. 30% ge- • Sind Implantate vorhanden? senkt werden [12]. • Untersuchungen zeigten, dass die Prüfung vom Personal oft- Minimalinvasive Operationsverfahren sind aus der heutigen mals im Kopf durchgeführt und nicht wie gefordert direkt mit Medizin kaum noch wegzudenken. Anstatt den Patienten der Liste. Zu begründen ist dieser Umstand hauptsächlich mit großflächig aufzuschneiden, sind oftmals nur kleine Schnitte dem Zeitaspekt. Für einige Punkte ist eine Überprüfung an erforderlich, durch welche Endoskope eingeführt werden, mit einer anderen Stelle notwendig, was schnell dazu verleitet denen dann die eigentliche Operation vorgenommen werden gleich mehrere Punkte auf einmal zu prüfen und dann das ge- kann. Durch die wesentlich kleineren Verletzungen können merkte mit der Liste zu vergleichen. Verständlicherweise diese Wunden deutlich schneller und besser verheilen, als führt dies dazu, dass diese oftmals nicht vollständig bzw. dies bei großen Schnitten der Fall wäre. Ebenfalls verringert nicht korrekt abgearbeitet werden. sich dadurch die Wahrscheinlichkeit möglicher Infektionen Durch den Einsatz von Smart Glasses mit einer entsprechen- während des Heilungsprozesses. Die Schwierigkeit solcher den App kann die Abschlussrate der Checklisten signifikant Eingriffe liegt meist jedoch darin, die richtige Positionen für erhöht werden. Die Gründe hierfür sind die erzwungene se- die Einführungsöffnungen zu lokalisieren. Zusätzlich müssen quenzielle Abarbeitung der einzelnen Punkte, die Ortsunab- die Endoskope anschließend im richtigen Winkel in den Pa- hängigkeit sowie die freihändige Bedienung [9]. tienten eingeführt werden, um die gewünschte Position zu er- Noch relevanter wird die Wegekomponente, wenn es darum reichen. Um dies zu garantieren ist es gängige Praxis zahlrei- geht, die notwendigen Utensilien zu sammeln und diese an che Röntgenaufnahmen während der laufenden Operation an- der richtigen Position bereitzustellen. zufertigen. Die dadurch entstehende Strahlenbelastung stellt sowohl für den Patienten als auch das Personal eine Gesund- B. Aktive unterstützung des Operationsbetriebs heitsgefahr dar. Durch die Kombination von Smart Glasses Aktuell existieren bereits zahlreiche, auf Smart Glasses ba- mit Augumented Reality entstehen völlig neue Anwendungs- sierende Anwendungen, welche einen Operationsprozess ak- möglichkeiten. So ist es möglich dreidimensionale Aufnah- tiv unterstützen. men, wie diese beispielsweise durch eine Computertomogra- Eine sehr zentrale und einfach einzuführende Anwendung fie (CT) oder Magnetresonanztomographie (MRT) vor der stellt das sogenannte Telementoring durch Spezialisten dar. Operation erstellt werden können, virtuell auf den Patienten Hierbei ist es dem Operateur möglich, durch die integrierte zu projizieren. Der Arzt erhält dadurch einen virtuellen drei- Kamera sein Sichtfeld live mit einem Spezialisten zu teilen. dimensionalen Blick ins Innere seines Patienten (siehe Abbil- So ist es auch weniger erfahrenen Ärzten möglich, kompli- dung 2). Somit wird die Positionierung der endoskopischen zierte Operationen durchzuführen. Da der Aufenthaltsort der Werkzeuge sehr erleichtert. Im Vergleich zu den üblichen Experten irrelevant ist, können diese bei deutlich mehreren zweidimensionalen Röntgen- bzw. Ultraschallaufnahmen Operationen unterstützen, als dies der Fall wäre, wenn lange stellt dies eine enorme Verbesserung dar [13]. Reisezeiten anfielen. Experten sind hierbei nicht ausschließ- lich spezialisierte Ärzte, sondern auch Personal von Medizin- geräteherstellern. Insbesondere bei seltenen Eingriffen, bzw. der ersten Verwendung von neuartigen Implantaten kann diese Expertise eine sehr große Hilfe sein [10]. Doch diese Unterstützung ist nicht ausschließlich bei kom- plexen Eingriffen hilfreich, sondern kann ebenso dazu dienen Anfängern den Schritt in die selbstständige Arbeit zu erleich- tern. Ohne Smart Glasses war es gängige Praxis, dass bei auf- tretenden Problemen erst eine weitere Person kontaktiert wer- den musste. Die Unterstützung konnte meist nur telefonisch 97
Gesundheitsdaten zählen mit zu den sensibelsten Daten, die wir kennen. Sollten sich hier negative Vorfälle ereignen, wird dies sehr wahrscheinlich zu massiven Vertrauensverlusten in die Technologien führen. Deshalb ist es sehr wichtig, zum ei- nen immer die neusten Sicherheitsmechanismen zu imple- mentieren und ebenso die Zugriffsberechtigungen vertrau- ensvoll zu verteilen. Insbesondere ist zu prüfen, inwiefern die Daten vom Hersteller ggf. auf externen Server verarbeitet werden bzw. wie dies in lokalen Kontexten geschehen kann. Checklisten: Gegen die Abarbeitung von Checklisten dürfte wohl sehr wenig sprechen, die Vorteile sind jedoch klar vor- handen. Wichtig ist, dass durch definierte Prozesse sicherge- stellt wird, dass hier die richtige Checkliste Anwendung fin- det. Telementoring: Zweifelsfrei bringt das schnelle hinzuziehen von Experten und das Begleiten von Anfängern Mehrwerte. Jedoch darf dies nicht dazu führen, dass sich die operierenden Personen weniger vorbereiten, bzw. fehlende Kompetenzen durch Videoverbindungen ausgleichen wollen. Es muss zu je- der Zeit damit gerechnet werden, dass das System ausfällt. Abbildung 2 Projektion von CT Bildern Somit muss jeder Arzt weiterhin in der Lage sein, die Opera- tion selbstständig auszuführen. Ebenfalls ist positiv heraus- Derzeit kann die erforderliche Präzision von wenigen Milli- zustellen, dass durch diese Verbindung viel Zeit und Material metern Abweichung jedoch noch nicht ausschließlich durch (insbesondere persönliche Schutzausrüstung) eingespart wer- Smart Glasses erreicht werden. Zur Verbesserung gibt es ver- den kann. schiedene Ansätze. Als sehr vielversprechend stellte sich die Anreicherung mit Vitalwerten: Einblenden von Daten ins Kombination mit motion ca ture S stemen heraus. Hierbei Sichtfeld des Trägers ist durch die vorhandenen SDKs ohne werden durch ein sich im Raum befindliches Kamerasystem großen Aufwand möglich. Einige Studien zeigen zwar, dass bestimmte Marker, welche vorher am Patienten und Opera- dadurch ein Mehrwert geschaffen werden kann, jedoch ist mit teur angebracht wurden, erfasst. Das System berechnet die solchen Einblendungen sorgsam umzugehen. Auf keinen Fall genauen Koordinaten der einzelnen Marker im Raum und dürfen diese Informationen den Träger überfordern bzw. ab- kann somit sowohl den Abstand der einzelnen Punkte als lenken. Es ist also sehr genau zu prüfen, welche Informatio- auch deren Ausrichtung zueinander bestimmen. Durch dieses nen einen Mehrwert liefern und dabei nicht übermäßig ablen- Verfahren, kann also das Blickfeld der Brille sehr genau be- ken. rechnet werden. Aus den gewonnenen Informationen kann 3D Projektionen: Aufwändig zu implementieren, jedoch nun die exakte Positionierung der Projektion errechnet wer- sehr vielversprechend sind dreidimensionale Überblendun- den. In Versuchen konnte bereits eine Präzision von weniger gen des menschlichen Körpers. Erstmals wird so ein realisti- als 5mm erreicht werden. Diese Genauigkeit genügt bereits scher Blick ins Innere des Patienten möglich. Die Potentiale um sogar Neurochirurgische Eingriffe zu unterstützen [14]. sind in vielen Disziplinen offensichtlich. Mit heutiger Tech- C. Dokumentation nologie ist schon eine Präzision von wenigen Millimetern möglich [15]. Betrachtet man die Fortschritte im Bereich der Durch die immer optimal positionierte Kamera in Kombina- Augumented Reality und künstlicher Intelligenz, ist hier noch tion mit einer berührungslosen Auslösung ist es wesentlich sehr viel zu erwarten. einfacher detaillierte Dokumentationen der Operationsvor- Die Technologie kann auch über verschiede Eingriffe hinweg gänge durchzuführen. kombiniert werden. Beispielsweise könnte in einer ersten D. Schulung Operation Biopsien durchgeführt werden, wobei die exakten Das bereits erwähnte Telementoring-Verfahren kann ebenso Positionen erfasst und gespeichert werden. Nach der Analyse in umgekehrte Richtung angewandt werden. Hier trägt ein der entnommenen Proben könnte daraus ein aktualisiertes erfahrener Arzt die Brille während er selbst operiert. Die Modell erstellt werden, welches beispielsweise von Tumoren Übertragung erfolgt dann zu weniger Erfahrenen damit befallenes Gewebe detailliert darstellt, um dieses dann in ei- diese die einzelnen Schritte einfach verfolgen können. Der nem weiteren Schritt effizient und vollständig entfernen zu Träger der Brille wird dadurch kaum beeinträchtigt und können. kann seine Schritte zusätzlich noch kommentieren. Dokumentation: Dokumentation von Arbeitsschritten ist aus diversen Gründen wichtig. Dazu zählen unter anderem: IV. POTENTIALE UND RISIKEN VON SMART GLASSES IM OP • Grundlagen für folgende Operationen Wie aus den vorhergehenden Aufzählungen zu entnehmen • Beweismittel für Regressforderungen ist, sind die Potentiale die Smart Glasses im OP bringen kön- • Erforschung bzw. Analyse von verschiedenen Tech- nen enorm. Sowohl die Qualität als auch die Effizienz kann niken durch moderne Technologie gesteigert werden. • Dokumentation für Leistungsberechnungen Jedoch sind auch mögliche negative Auswirkungen genau zu Insbesondere bei der Verwendung als Beweismittel ist damit untersuchen und abzuwägen. zu rechnen, dass bei den Kliniken eine gewisse Skepsis ent- stehen wird, was dazu führen könnte, dass von vorneherein 98
auf den Einsatz verzichtet wird. Umgekehrt könnte es jedoch denstellend [2], [15]. Die Spracherkennung ist zwar vorteil- auch als Entlastung angesehen werden, was zu einer Akzep- haft gegenüber der Handgesten, jedoch ist es besser neben tanz führen würde. der Spracherkennung auch andere optionale Schnittstellen zu haben [15], [18]. Die Kombination verschiedener Schnittstel- V. AKZEPTANZ VON SMART GLASSES-TECHNOLOGIEN IM len zur Erkennung menschlichen Verhaltens könnte Bei- CHIRURGISCHEN KONTEXT spielsweise aus Sprach- und Gestensteuerung mithilfe von In den letzten Jahren wird die Verbreitung von intelligenten Kopfbewegungen bestehen. Mit dieser Kombination könnten Geräten in Bezug auf Mobilität im Vergleich zur Tragbarkeit die Smart Glasses auf verschiedene Art und Weisen bedient neu definiert. Der Trend solcher Mobilen Geräte geht immer werden und je nach Situation könnte der Nutzer entscheiden, mehr von tragbaren Geräten hin zur Wearable Technology wie er diese bedienen will [18]. [2]. Auch im Bereich der Operationen können Wearables wie Beispielsweise Smart Glasses aufgrund von ihrem immensen VI. ANFORDERUNGSANALYSE Potenzial in Zukunft immer mehr an Bedeutung gewinnen Um die Einsatzmöglichkeiten von Smart Glasses im Operati- [16]. Ein wichtiger Aspekt, der beim Einsatz von intelligen- onssaal zu verdeutlichen, wurde eine fiktive Anforderungs- ten Geräten nicht unterschätzt werden darf, ist die Akzeptanz analyse mit dazugehörigem Use Case erarbeitet. der Nutzer, da Funktionen die einen Nutzen haben aber auf- grund von fehlender Akzeptanz nicht verwendet werden, kei- A. Use Case nen Mehrwert generieren können. In nachfolgendem Use-Case Diagramm (Abbildung 3) wird der Einsatz von Smart Glasses exemplarisch an dem erfunde- A. Faktoren die die Akzeptanz beeinflussen nen Anwendungsfall einer chirurgischen Operation darge- Je nach Nutzer und dessen Bedürfnisse, können verschiedene stellt. Aspekte relevanter sein als andere. Beispielsweise bevorzu- gen Chirurgen im Alter von 33-40 Jahren die Genauigkeit und das Design der Geräte, während Chirurgen zwischen 41- 55 Jahren die Benutzerfreundlichkeit als wichtigsten Aspekt ansehen [2]. Die Akzeptanz von allen Nutzergruppen kann deutlich ansteigen, sobald diese erkennen welches Potenzial die eingesetzte Technologie hat und welche Vorteile man dadurch bekommt. Im Allgemeinen gilt jedoch, dass jedes System, dass eine Abnahme der Effizienz und Produktivität verursacht, auch Widerstand und Ablehnung auslösen kann [17]. Es gibt mehrere Fakto- ren, die die Akzeptanz von Smart Glasses beeinflussen wie beispielsweise die Kompatibilität, Art der Mensch-Maschine Schnittstelle, intuitives erlernen der Funktionalitäten und wie gut sich an Schritte für die Nutzung von Funktionen erinnert wird. Ein weiterer Faktor für die Akzeptanz der Nutzer ist die Kompatibilität. Die Kompatibilität erschließt den Kontext, in dem das System die bestehenden Werte, Erfahrungen und Be- dürfnisse der potenziellen Nutzer in Beziehung setzt [2]. Die Abbildung 3 Use Case "Smart Glasses im OP" Kompatibilität kann in vier Konstrukte unterteilt werden: Be- vorzugter Arbeitsstil, bestehende Arbeitspraktiken, frühere Akteure: Erfahrungen und Werte. Alle Konstrukte der Kompatibilität • Operierender Arzt stehen in Beziehung zur Nützlichkeit und Benutzerfreund- • Experte lichkeit [2]. Ein Ziel bei der Entwicklung von Smart Glasses • Krankenschwester/OP-Schwester ist, die einfache und zuverlässige Entwicklung von Systemen • Patientenakte zu entwerfen, die einen einfachen Zugriff auf benötigte Infor- • Medizinstudent mationen wie Vitalwerte und Vorerkrankungen geben, ohne die Operation zu behindern beziehungsweise zu unterbre- Ereignisfluss: chen. Der folgende Ereignisfluss leitet sich aus dem Use-Case Di- B. Mensch-Maschine Schnittstelle agramm (Abbildung 3) ab. Meistens werden Handgesten bei Allzweck-Smart Glasses 1. Die OP-Schwester setz die Smart Glasses auf und gibt den angewendet, um mit diesen zu interagieren [18]. Allerdings Input, dass die Operationswerkzeuge vorbereitet werden sol- werden beide Hände benutzt, während ein Chirurg eine Ope- len. ration durchführt, deshalb muss die Mensch-Maschine Schnittstelle in dem speziellen Anwendungsfall mithilfe von 2. Die Glasses zeigen dem Träger auf, welche OP-Werkzeuge anderen Steuerungsarten wie Beispielsweise der Sprachsteu- für die bevorstehende Operation gebraucht und wie diese zu- erung auskommen [19]. In einer Studie im Gesundheitswesen sammengebaut werden. wurde die Spracherkennung für Datenaustauschprozesse ver- wendet, und der angebotene Service war ausreichend zufrie- 99
3. Die OP-Schwester informiert die Glasses darüber, dass nun alle Operationswerkzeuge vorbereitet wurden. 18. Die Smart Glasses übertragen Skizzierungen des Exper- ten in das Sichtfeld des operierenden Arztes. 4. Die Glasses überprüfen anhand von KI, ob alle Werkzeuge, die auf dem Tisch aufgeführt sind mit den benötigten Werk- 19. Nachdem die Operation beendet wurde, gibt die OP- zeugen übereinstimmen. Schwester den Glasses den Input, dass die Operation abge- schlossen wurde. 5. Erkennt die KI der Smart Glasses eine Abweichung der vorgeschriebenen Werkzeuge, so zeigt sie dem Träger durch 20. Die Smart Glasses überprüfen, ob noch alle Operations- farbliche Abhebung des abweichenden Werkzeugs die Dis- werkzeuge, welche vor der Operation vorbereitet wurden, krepanz auf. vorhanden sind. Bei einem fehlenden Werkzeug geben die Glasses dem Träger die Information aus, welches Werkzeug 6. Die OP-Schwester betritt den Operationssaal, in dem sich fehlt und fragt nach, ob es korrekt ist, dass dieses Werkzeug der Patient befindet und gibt der intelligenten Brille anhand nicht mehr vorhanden ist. Nach der Bestätigung der Korrekt- von Sprachsteuerung die Information, dass die Operation nun heit durch die OP-Schwester quittieren die Glasses die Feh- beginnt. lermeldung. 7. Die Smart Glasses versteht die sprachlichen Informationen 21. Die OP-Schwester gibt den Smart Glasses den Input, dass und zeigt dem Träger die Vitalwerte des Patienten an. die Operationswerkzeuge nun bereinigt und nachbereitet werden müssen. 8. Der operierende Arzt setz die Smart Glasses auf und lässt diese über die Sprachsteuerung wissen, dass er sich im Ope- 22. Die Glasses zeigen dem Träger auf, welche OP- rationssaal befindet. Werkzeuge für die Operation verwendet wurden und wie diese auseinandergebaut und sterilisiert werden. 9. Die Smart Glasses starten die KI basierte Unterstützung an der zu operierenden Stelle des Patienten. B. Spezifische Anforderungen für Smart Glasses im OP 10. Die Smart Glasses verbinden sich mit der elektronischen Basierend auf der Analyse beim Erstellen des Use Cases er- Patientenakte und starten die Projektion von geben sich folgende funktionale Anforderungen: MRT/Röntgenbildern an die zu operierende Stelle des Pati- enten. FA1: Das System muss mit dem Nutzer über einen Sprachas- sistenten kommunizieren. 11. Der Arzt aktiviert durch Sprachsteuerung die Videofunk- FA2: Das System muss in der Lage sein, auf die elektroni- tion der Smart Glasses und ergänzt gegebenenfalls dazu, dass schen Patientenakten zuzugreifen. eine Liveübertragung an einen Vorlesungssaal stattfinden FA3: Das System muss in der Lage sein, die Vitalwerte des soll. Patienten anzuzeigen. FA4: Das System muss in der Lage sein, durch Knochenlei- 12. Die Smart Glasses verbinden sich mit der elektronischen tungswandler Töne an den Nutzer auszugeben. Patientenakte des zu operierenden Patienten, zeichnet Videos FA5: Das System muss über eine WLAN und Bluetooth Ver- aus dem Operationssaal auf und speichert diese in der Patien- bindung die Patientendaten abrufen. tenakte. FA6: Das System muss persönliche Patientendaten sicher verschlüsseln. 13. Die Smart Glasses starten eine Liveübertragung der Ope- FA7: Das System muss in der Lage sein, Videos und Bilder ration an die gewünschten Zuschauer. aufzunehmen und diese in der Patientenakte zu speichern. FA8: Das System muss in der Lage sein, über die Kamera 14. Der operierende Arzt sagt den Smart Glasses, dass er die eine Echtzeitübertragung auszuführen. Unterstützung eines Experten braucht und gibt dem System FA9: Das System muss in der Lage sein, auf die Datenbank den Namen des Arztes, der kontaktiert werden soll. der Operationswerkzeuge zuzugreifen. FA10: Das System muss dem Nutzer die einzelnen Schritte 15. Die Smart Glasses starten eine Liveübertragung der Ope- der Werkzeugvorbereitung aufzeigen. ration an den gewünschten Experten. FA11: Das System muss in der Lage sein, über die Kamera Operationswerkzeuge zu erkennen. 16. Der kontaktierte Experte sieht nun die Liveübertragung FA12: Das System muss in der Lage sein, MRT und Rönt- der Operation und gibt dem operierenden Arzt Anweisungen genbilder des Patienten auf dessen Körper zu projizieren. und hebt durch Skizzieren bestimmte Stellen des Patienten- FA13: Das System muss einem Nutzer die Möglichkeit ge- körpers hervor, um dem operierenden Arzt genau die Stellen ben, bei der Echtzeitübertragung externe Skizzen abzurufen. aufzuzeigen, an denen eine bestimmte Handlung ausgeführt FA14: Das System muss in der Lage sein, über die Kamera werden soll. Auffälligkeiten im Gewebe des Patienten zu erkennen. 17. Die Smart Glasses übertragen die sprachlichen Anwei- sungen des Experten und geben diese an den operierenden Arzt weiter. 100
VII. FAZIT UND AUSBLICK [8] Google Glass proof of concept - Philips Healthcare - Smart Glasses können bereits heute einen Mehrwert während YouTube. [Online]. Available: https:// Chirurgischen Operationen liefern, indem sie Informationen www.youtube.com/watch?v=ssldTFWBv3E (ac- mithilfe von Agumented Reality in das Sichtfeld des Chirur- cessed: Jan. 16 2021). gen sowie seinen OP-Schwestern visualisieren. Allerdings [9] T. Boillat, P. Grantcharov, and i as ncreasing wurden die aktuellen Möglichkeiten bis heute nur Theore- Completion Rate and Benefits of Checklists: Prospec- tisch und unter Laborbedingungen getestet. Fakt ist, dass tive Evaluation of Surgical Safety Checklists With Smart Glasses nur ein Teil eines gesamten digitalisierten Ge- Smart Glasses JMIR mHealth and uHealth, vol. 7, sundheitssystems sein können. In der Literatur werden diese no. 4, e13447, 2019, doi: 10.2196/13447. jedoch meistens nur isoliert und im Vergleich mit der aktuel- [10] atalia r esi s a he use o smart glasses in len Situation betrachtet. Als Beispiel ist hier die Einblendung healthcare nline aila le htt s medtube.net/ von Vitalwerden ins Sichtfeld zu nennen. Hierzu wird leider science/wp-content/uploads/2017/03/04-2015.pdf nur untersucht, ob Ärzte so schneller auf Komplikationen re- #page=31 agieren können. Die Aufgabe des Arztes ist es in erster Linie [11] S. Vallurupalli, H. Paydak, S. K. Agarwal, M. jedoch zu operieren, nicht zu überwachen. Langfristig muss Agrawal, and C. Assad-Kottner eara le technol dieser Schritt von einem technischen System übernommen ogy to improve education and patient outcomes in a werden, durch welches der Arzt nur dann informiert wird, cardiology fellowship program - a easi ilit stu wenn sich die Werte aus dem Normalbereich entfernen. Sol- Health and Technology, vol. 3, no. 4, pp. 267 270, che Betrachtungen und Fragestellungen sind leider selten bis 2013, doi: 10.1007/s12553-013-0065-4. nie zu finden. Stattdessen entsteht sehr schnell der Eindruck, [12] M. H. Iqbal et al., he e ecti eness o Google die Studien sind bereits mit dem Ziel die Vorteile von Smart GLASS as a vital signs monitor in surgery: A simula- Glasses zu belegen begonnen worden. In Zukunft sollte die tion stu International Journal of Surgery, vol. 36, Praktische Durchführung von Operationen mithilfe von CT pp. 293 297, 2016, doi: 10.1016/j.ijsu.2016.11.013. Projektionen getestet und erforscht werden. [13] H. F. Al Janabi et al., ecti eness o the olo ens mixed-reality headset in minimally invasive surgery: a simulation-base easi ilit stu Surgical Endos- copy, vol. 34, no. 3, pp. 1143 1149, 2020, doi: REFERENCES 10.1007/s00464-019-06862-3. [14] K. Maruyama et al., Smart Glasses or eurosurgical a igation ugmente ealit Operative Neuro- [1] O. Thomas and I. Ickerott, Eds., Smart Glasses : Aug- surgery, vol. 15, no. 5, pp. 551 556, 2018, doi: mented Reality zur Unterstützung von Logistikdienst- 10.1093/ons/opx279. leistungen: Springer eBook Collection, 1st ed. Berlin, [15] T. Jung and M. C. Tom Dieck, Augmented Reality and Heidelberg: Springer Berlin Heidelberg, 2020. Virtual Reality: Empowering Human, Place and Busi- [2] J. A. Larimo, M. A. Marinov, S. T. Marinova, and T. ness. Cham: Springer International Publishing; Im- Leposky, International Business and Emerging Econ- print; Springer, 2018. omy Firms. Cham: Springer International Publishing, [16] D. G. Armstrong, T. M. Rankin, N. A. Giovinco, J. L. 2020. [3] u ert Smart Glasses ugmente ealit ills an atsuo a hea s-up display for dia- rillen im lic deinhandy.de, 06 Dec., 2019. betic limb salvage surgery: a view through the google https://blog.deinhandy.de/smart-glasses-2019-aug- loo ing glass Journal of diabetes science and tech- nology, vol. 8, no. 5, pp. 951 956, 2014, doi: mented-reality-brillen-im-blick (accessed: Jan. 16 10.1177/1932296814535561. 2021). [17] 2015 37th Annual International Conference of the [4] Sch ei er Smart glasses technolog an a lica IEEE Engineering in Medicine and Biology Society tions (EMBC): IEEE / Institute of Electrical and Electronics [5] hilli auschna el insat m glich eiten on Smart Engineers Incorporated, 2015. Glasses in nternehmen [18] L.- ee an ui nteraction etho s or Smart [6] M3000 The Next Generation of Smart Glasses for En- Glasses Sur e IEEE Access, vol. 6, pp. 28712 terprise - YouTube. [Online]. Available: https:// www.youtube.com/watch?v=y6SGlOLVpg8 (ac- 28732, 2018, doi: 10.1109/ACCESS.2018.2831081. cessed: Jan. 16 2021). [19] S. Nishio, M. Hossain, B. Hossain, M. Nii, T. [7] D. Welle, How smart glasses will transform surgery | Hiranaka, and S Ko ashi eal-Time Orthopedic Surgery Procedure Recognition Method with Video DW | 26.07.2019. [Online]. Available: https:// Images from Smart Glasses Using Convolutional Neu- www.dw.com/en/how-smart-glasses-will-transform- ral et or in 2018 IEEE International Conference surgery/av-49756710 (accessed: Jan. 16 2021). on Systems, Man, and Cybernetics (SMC), Miyazaki, Japan, 102018, pp. 379 384. 101
Sie können auch lesen