LET'S TRAIN - KOLLABORATIVE VR FÜR DIE BERUFLICHE BILDUNG - LEARNEXT 2018 27./28. JUNI 2018, HANNOVER - LEARNEXT.SPACE
←
→
Transkription von Seiteninhalten
Wenn Ihr Browser die Seite nicht korrekt rendert, bitte, lesen Sie den Inhalt der Seite unten
Let’s Train - Kollaborative VR für die Berufliche Bildung
LearNext 2018
27./28. Juni 2018, Hannover
Prof. Dr. Jonas Schild, Hochschule Hannover / Hochschule Bonn-Rhein-Sieg
2
Interactive Reality Experiences IREX @HS Hannover
• Forschungsgruppe mit 6 Mitarbeitern
‐ Informatik + Mediendesign =
Mediendesigninformatik
‐ Virtual / Augmented Reality, Games,
Mobile, User Experience
‐ Anwendungsbezogen, interdisziplinär
• Hochschule Hannover
‐ 5 Fakultäten / Standorte in Hannover
‐ Ca. 70 Studiengänge (Bachelor & Master) /
10.000 Studierende
‐ 85 drittmittelgeförderte Forschungsprojekte
(ca. 31 Mio €)
jonas.schild@hs-hannover.de 28.06.2018
3
Interaktive Realitäten und Experiences
Kognitive Expertise
VR/AR Reality Erlerntes Wissen
Rationale Angewandte
Reflexion
Interaktive Intuitive Erfahrungs-
und
Realität Impression leistung
Emotionale
Verankerung Trainierte Praxis
Erlangte Fähigkeiten
Affektives
Meisterung
Serious Gaming
Wie entwickeln wir Was ist zu Wie Was ist zu erleben,
Applikationen / sehen/hören/ reflektieren/ zu erfahren,
VR/AR Serious Games? fühlen? empfinden wir? zu lernen?
jonas.schild@hs-hannover.de 28.06.2018
1
Let’s Train - Kollaborative VR für die Berufliche Bildung
1. Notfalltraining EPICSAVE: Inhalte und Technologie
2. Didaktisches Konzept und Evaluierung
3. Perspektive: Multi-user, Gaming, Berufliche Bildung
5
Das Projekt EPICSAVE
Enhanced ParamedIC vocational training with Serious games And Virtual Environments
• Fördergeber: BMBF, DIMEBB 2
• Laufzeit März 2016 - Februar 2019
• Budget 1.98 Mio € / 1.68 Mio € gefördert
• Ziel: Trainingssystem für angehende
Notfallsanitäter
‐ Seltene Notfälle in der Ausbildung
‐ Virtual reality & Serious games
• www.epicsave.de
Das Projekt EPICSAVE (FKZ 01PD15004) wird aus Mitteln des Bundesministeriums für Bildung
und Forschung (BMBF) und aus dem Europäischen Sozialfonds (ESF) der EU gefördert.
jonas.schild@hs-hannover.de 28.06.2018
6
Die schwere allergische Reaktion (Anaphylaxie)
Veränderungen • Unvorhersehbare Dynamik, insbesondere bei
des Bewusstseins
früher Präsentation eines „bunten“ klinischen
Verengung Bildes (Simsons et al. 2015)
der oberen und • Häufig kombinierte Störung mehrerer
unteren Blutdruckabfall
Anstieg der Vitalfunktionen (Rea et al. 2004).
Atemwege
Herzfrequenz • Mit 25-35 % hoher Anteil an Kleinkindern
Störungen • Unzureichende theoretische Kenntnisse (Jacobsen
im Magen- et al. 2012)
Darmtrakt
Haut- • Geringe reale Einsatzerfahrung : 0,2 % aller RD-
Veränderungen Einsätze (Capps JA et al. 2010)
am ganzen Körper • Unter-/Fehltherapie, bes. bei Kindern (Carillo E et
2016; Chung T et al. 2014)
jonas.schild@hs-hannover.de 28.06.2018
7 jonas.schild@hs-hannover.de 28.06.2018
8
Virtueller Patient
• Verhalten, Vitalparameter & • Behandlungsmaßnahmen durch Trainees
Symptomausprägungen ‐ Anlegen eines Pulsoximeters
‐ Nervosität ‐ Pulstastung an Halsschlagader +
‐ Bewusstseinszustand Handgelenk
‐ 8 verschiedene EKG-Bilder ‐ Anlegen einer Blutdruckmanschette
‐ Pulsfrequenz, Sauerstoffsättigung ‐ Temperaturmessung (Ohrthermometer)
‐ Blutdruck (systolisch + diastolisch) ‐ Messung des Blutzuckers
‐ Körpertemperatur, Blutzucker (Blutzuckermessgerät)
‐ Atemfrequenz und –tiefe ‐ Anlegen eines 3-Kanal-EKG
‐ Stridor (Ein- und Ausatmung) ‐ Mundrauminspektion
‐ Augenschwellung, Urtikaria, Zyanose ‐ Lageänderung (Sitzen/Liegen)
‐ Anlegen und Dosierung einer NaCl-
• Durch Trainer-Presets wählbar/dynamisch Infusion
anpassbar ‐ Sauerstoffgabe
‐ Medikamenteninjektion (Spritzen)
• > 60 Interaktionsitems & Medikamente
‐ Entkleiden (Oberkörper + Unterkörper)
‐ Modultaschensystem
‐ Auskultation beider Lungenflügel / des
‐ Menüsteuerung Herzes
• Kombinierbarkeit & Kollaboration
jonas.schild@hs-hannover.de 28.06.2018
9
Interaktion
jonas.schild@hs-hannover.de 28.06.2018
10
Trainingsumgebung
• Rettungshalle/Behandlungsraum
‐ Tutorial
‐ Lernen der Steuerung und Interaktionsmöglichkeiten
‐ Vertrautmachen mit Interaktionsgegenständen und virtuellen Avataren
(Patient & Co-Spieler)
• Konkrete Szenarien (z.B. Park)
jonas.schild@hs-hannover.de 28.06.201811
Mehrbenutzer-Betrieb
• Offline & Online (Server-/Client-Architektur)
• n Trainees (VR)
‐ Kollaboratives Arbeiten in einer synchronisierten
physikalischen Play Area und/oder über das Internet
durch TriCAT-Spaces-System
• 1 Trainer (Desktop)
‐ Leitung des Trainings über Desktop-PC mithilfe eines
angepassten Trainer-Interfaces
‐ Live-Sicht auf die Ego-Perspektive der Trainees
‐ Logging-System
◦ Protokollierung
◦ Debriefing
‐ Kommunikation mit Trainees über Headset
• n Beobachter / andere Akteure
‐ Mobile Endgeräte / mobile VR
jonas.schild@hs-hannover.de 28.06.201812
Iteratives Projekt & interdisziplinäres Konsortium
jonas.schild@hs-hannover.de 28.06.20182
Let’s Train - Kollaborative VR für die Berufliche Bildung
1. Notfalltraining EPICSAVE: Inhalte und Technologie
2. Didaktisches Konzept und Evaluierung
3. Perspektive: Multi-user, Gaming, Berufliche Bildung14
Analyse von Trainingsumgebungen
jonas.schild@hs-hannover.de 28.06.201815
Konzeption: Didaktisches Design und Technologiefeatures
Lehrziele Kompetenz-kategorien Technologiepotentiale
…Leitsymptome richtig Virtueller Patient mit dynamischer visueller u.
diagnostizieren… Clinical Reasoning auditiver Repräsentation klinischer Symptome in
Echtzeit
…die richtigen Maßnahmen Diagnostisches und therapeutisches Inventar
ergreifen… Procedural Reasoning ABCDE-Struktur
…im Team gut zusammen Repräsentation der Teampartner als Avatare (First-
arbeiten… Crew Ressource Person-Perspektive)
Management Räumliche Navigation, „natürliche Interaktion“,
Kommunikation und Kollaboration
Talbot et al. 2012; Kononowicz et al. 2015; Heinrichs et al. 2018
jonas.schild@hs-hannover.de 28.06.2018Rahmenmodell des Lernens in VR-Umgebungen 16
Medienfaktoren
• Plastizität Medienwirkungen
• Darstellungsgenauigkeit • Präsenzerleben (räumliches, soziales)
• Interaktivität • Transportation
• Inhaltsfaktoren
Mediennutzung Lernende Kognitive u. affektive Prozesse Lernprozesse
(Interactive Experience) (Learning Experience) Lernergebnisse
• User-Experience • Cognitive engagement/Involvement • Wahrgenommene
Merkmale Lernende
• Usability • Suspension of disbelief (Rezeptionshaltung) Lerneffektivität
• Cyber Sickness • Motivation / Emotion • Potentiale eines
Lerntransfers
Variablen des didaktischen Designs
u. a. methodisches Arrangement: Prebriefing – Simulation - Debriefing
Rahmenbedingungen – Bildungspraxis
jonas.schild@hs-hannover.de 28.06.201817
Implementierung: Methodisches Arrangement
Briefing Simulationsphase Debriefing
• Lernziele, Aufgabenstellung, • Kollaboratives Problemlösen • Reflektion (double-loop learning)
Unterrichtskontext • Nutzung technologischer Ressourcen • Feedback (closing performance gaps)
• Lernförderliches Klima (Inventar, Interaktionsmöglichkeiten) • Third-Person-Perspektive
• Eingewöhnungszeit in der virtuellen • Beobachtung durch Trainer
Lernumgebung
Gaba 2004; Talbot et al. 2012; Kononowicz et al. 2015; Heinrichs et al. 2018
jonas.schild@hs-hannover.de 28.06.201818
Evaluationssetting
• 2 Ausbildungsbetriebe, 2 Tage pro Akademie Hypothesen
‐ 24 Auszubildende, Beginn 3. Ausbildungsjahr
(1) Hohe Usability korreliert mit
‐ ♂19, ♀5, ẋ = 23.3 Jahre hohem Präsenzerleben
• Prozedur (2) Positive Learning Experience
‐ 2 Auszubildende, 1 AusbilderIn
‐ 30 min Briefing, Eingewöhnung (Sand-Box);
30 min Training; 15 min De-briefing
‐ Szenario: Erwachsener Patient mit Anaphylaxie,
Schweregrad II-III
• Metriken
‐ Usability SUS (System Usability Scale)
‐ Presence IPQ (Igroup Presence Questionnaire)
‐ Learning Experience: TEI (Training Evaluation Inventory)
‐ Interviews Instrumente: Guay et al. 2000; Behr et al. 2015; Schwarzer u. Jerusalem 1999; Schubert 2003;
Kennedy et al. 1993; Brooke 1986; Ritzmann et al. 2014; Ijsselsteijn et al. 2013, Mayring 2015;
Bortz u. Schuster 2010, Tachtsoglou u. König 2017.
jonas.schild@hs-hannover.de 28.06.201819
Ergebnisse: Hohe Präsenz – Usability auf Prototypenniveau
General Spatial presence Involvement Exp. Realism Split-Attention-Effekt
Sample G1 SP INV REAL
M (max=6) 5.04 4.45 3.45 3.16 Interaktion / Navigation
SD 1.09 0.99 1.5 1.01
Interfaces / HMD
Interview Kommentare
• Usability auf Prototypenniveau
• Kabel, Headset, Akustik, Interaktion – verursacht Split-Attention-Effekt
Min 32.5 M=63.95 (SD=12.7) Max 87.5
• Hohe Präsenz,
%-distribution starke
grade scaleKorrelation mit Usability
37,5% • (r=.59 [SUS/Overall experienced presence], r=.63 [SUS/Spatial presence],
29,2%
25,0%r=.48 [SUS/Involvement], r=.73 [SUS/Experienced Realism]
8,3% 0,0%
F D C B A
Interview Kommentare: Kabel, Brillen,
Akustik, visuelle Probleme
Bangor, A.; Kortum P.; Miller, J. (2009): Determining What Individual SUS Scores Mean: Adding an
Adjective Rating Scale. In: Journal of Usability Studies 2009; 4 (3), S. 114–123.
jonas.schild@hs-hannover.de 28.06.201820
Ergebnisse Insgesamt
• Learning Experience (TEI, max=5)
‐ Training Outcome Dimensions: M = 3.8 [SD 0.37]
◦ Reaktion: Subjektiver Spaß, Wahrgenommene Nützlichkeit, Wahrgenommene Schwierigkeit
◦ Lernen: Subjektiver Wissenszuwachs, Einstellung gegenüber des Trainings
‐ Training Design Dimensions: M = 3.4 [SD 0.36]
◦ Problembasiertes Lernen, Aktivierung (von Vorwissen), Demonstration, Anwendung, Integration
➔ Positive Learning Experience,
◦ Überdurchschn. Mittelwerte auf allen Subskalen, Verbesserung möglich
• Enthusiastische Kommentare
‐ „…dass man MINUTEN eigentlich so tief in dem Szenario drin war, was KEIN ANDERES Medium bis jetzt so
hinbekommen hat…“
‐ „dass man doch tatsächlich genau wie im echten Leben so ein Stück weit ins Schwitzen kommt, weil man eben auch
diese wahrheitsgetreuen … Details am Patenten sieht“
jonas.schild@hs-hannover.de 28.06.20183
Let’s Train - Kollaborative VR für die Berufliche Bildung
1. Notfalltraining EPICSAVE: Inhalte und Technologie
2. Didaktisches Konzept und Evaluierung
3. Perspektive: Multi-user, Gaming, Berufliche Bildung22
Technologie für Mehrbenutzer Virtual Reality
Inventar-Systeme zur Unterstützung von Team-Prozessen
Soziale Interaktion mit VR Eye Tracking Wegner, K., Seele, S., Buhler, H., Misztal, S., Herpers, R. & Schild, J. Comparison of two Inventory Design
Seele, S., Misztal, S., Buhler, H., Herpers, R., Schild, J. Here's looking Concepts in a Collaborative Virtual Reality Serious Game. ACM SIGCHI Annual Symposium on Computer-
at you anyway! How important is realistic gaze behavior in co- human Interaction in Play (CHI PLAY) 2017.
located social virtual reality games? ACM SIGCHI Annual
Symposium on Computer-human Interaction in Play - 2017
Visualisierung von Körperposen,
VR Konzeption und Sickness Reduktion vernetzt und in Echtzeit
Schild, J., Lerner, D., Misztal, S., Luiz, T. EPICSAVE – Enhancing
Vocational Training for Paramedics with Multi-user Virtual Reality. Schild, J., Misztal, S., Roth, B., Flock, L., Luiz, T., Lerner, L.,
Proc. of the International Conference on Serious Games and Herkersdorf, M., Wegner, K., Neuberger, M., Franke, A.,
Applications for Health (SeGAH 2018), IEEE, 2018 (accepted). Kemp, C., Pranghofer, J., Seele, S., Buhler, H., Herpers, R.
Applying Multi-user Virtual Reality to Collaborative
Buhler, H., Misztal, S., Schild, J. Reducing VR Sickness through Medical Training. In Proc. of IEEE Virtual Reality 2018
Peripheral Visual Effects. In Proc. of IEEE Virtual Reality 2018 (accepted)
(accepted).
jonas.schild@hs-hannover.de 28.06.201823
Körperpräsenz durch Inverse Kinematik
jonas.schild@hs-hannover.de 28.06.201824
Children‘s Hospital Los Angeles + Oculus
jonas.schild@hs-hannover.de 28.06.201825 Nur noch das eine Level… Nur noch das eine Level… Nur noch das eine Level… Nur noch das eine Level… Nur noch das eine Level… jonas.schild@hs-hannover.de 28.06.2018
26
Gamification: Von Handlungsabläufen zu Game Mechaniken
?
jonas.schild@hs-hannover.de 28.06.201827 Game Design für Multi-user VR Training Games • Szenario ‐ Location und Charaktere • Flexibles Story-telling ‐ Support für Simulation ‐ Handlungsrahmen mit Calls-to-Action • Gamifizierung von Handlungsabläufen ‐ Lernen des Games statt der Realität? • Neuartige Feedbacksysteme ‐ Trainer-basiert ‐ KI-basiert • Spielmechaniken ‐ Konflikte, Herausforderungen, Belohnungen
28
Potential Gaming für VR Training
jonas.schild@hs-hannover.de 28.06.201829
Herausforderungen Allg. Berufliche Aus-/Weiterbildung
• Zusammenarbeit Bundesinstitut für Berufsbildung
• Digitalisierung und Automatisierung
‐ Digitale Krisen: Ausfall des Systems, kein prozedurales Wissen mehr
‐ Alte Belegschaft übernimmt dann
‐ Eingriffspunkte des Menschen in Prozesse werden seltener aber kritischer
‐ Normalfall Unterforderung, Ausnahme Überforderung
• Selbstwert-Problem lernarme Arbeit
‐ Weniger Erfahrungswissen durch Automatisierung
‐ Abbau von Lernkompetenz im Lebenslauf
‐ Gleichzeitig höhere Verantwortung für Gesamtprozesse
jonas.schild@hs-hannover.de 28.06.201830
Interactive Reality Experiences für die Arbeitswelt 4.0
jonas.schild@hs-hannover.de 28.06.201831
Let’s Train - Kollaborative VR für die Berufliche Bildung
• Training von kollaborativen, dynamischen Prozessen
‐ Parametrisierbare Situationen simulieren seltene,
schwerwiegende Ereignisse
• Epicsave Notfallsanitätertraining
‐ Immersive Didaktik / simulationsbasiertes VR-Training
‐ Exploratives, problembasiertes und kollaboratives Lernen
• Vielversprechende Resultate
‐ Nützliches, motivierendes Training
‐ Hohe Präsenzwirkung, Faktor Usability
‐ Einbindung von AusbilderInnen
• Technologie
‐ Soziale, vernetzte VR
‐ Potential Serious Games
‐ Herausforderung Integration Berufspraxis
jonas.schild@hs-hannover.de 28.06.2018Sie können auch lesen
