Eye Movement Analysis for Context Inference and Cognitive-Awareness

Die Seite wird erstellt Sibylle-Eva Burkhardt

Gesundheit und Fitness

Deutsch

Like
Teilen
Einbetten
Vollbild
Folien
HTML Herunterladen
PDF Herunterladen
Missbrauch

←

WEITER LESEN

→

Transkription von Seiteninhalten

Wenn Ihr Browser die Seite nicht korrekt rendert, bitte, lesen Sie den Inhalt der Seite unten

D ISS . ETH N O . 19082

  Eye Movement Analysis for
    Context Inference and
    Cognitive-Awareness:
Wearable Sensing and Activity Recognition
           Using Electrooculography

                A dissertation submitted to
                    ETH Z URICH
                     for the degree of
                   Doctor of Sciences

                       presented by
                A NDREAS B ULLING
Dipl.-Inform., Technical University of Karlsruhe, Germany
              date of birth  February 
                    citizen of Germany

        Prof. Gerhard Tröster, ETH Zurich, examiner
Prof. Peter Robinson, University of Cambridge, co-examiner

                           

Abstract

Context-awareness has emerged as a key area of research in mobile and ubiq-
uitous computing. Context-aware systems aim to sense the user’s context and
use this information to proactively adapt their behaviour to the user’s per-
sonal needs. The context of a person is usually defined as a combination of
different personal and environmental factors. Among these factors, physical
activity is widely considered to be one of the most important contextual cues.
Accordingly, machine recognition of human physical activity has attracted
considerable research interests in recent years.
     Advances in activity recognition were traditionally achieved by using
modalities such as body posture and gestures, interactions between people,
or by combining on-body and ambient sensors. Despite these advances, activ-
ity recognition systems that use such modalities are limited with respect to
the types and complexity of activities they are able to detect. In addition, ac-
tivity recognition using more subtle cues, such as user attention or intention,
or recognition that takes into account cognitive aspects of a user’s activity,
such as the experience or task engagement, remains largely unexplored.
     The current work introduces eye movement analysis as a novel modality
for context inference and cognitive-awareness. The movements our eyes per-
form as we carry out different activities reveal much about the activities them-
selves. In the same manner, location or a particular environment influence our
eye movements. Finally, unconscious eye movements are strongly linked to
a number of cognitive processes of visual perception. This link to cognition
makes eye movements a distinct source of information on a person’s context
beyond physical activity and location. Eventually, information derived from
eye movements may allow us to extend the current notion of context with a
cognitive dimension, leading to so-called cognitive-aware systems.
     This thesis comprises six scientific publications that address five aims of
the work: (1) to introduce eye movement analysis as a modality for context-
awareness and activity recognition as well as a trailblazer for cognitive-aware
systems; (2) to develop a wearable and self-contained eye tracker for long-
term eye movement recordings based on electrooculography (EOG); (3) to
investigate eye gestures continuously detected from EOG signals for real-time
eye-based human-computer interaction; (4) to develop an architecture for eye-
based activity recognition comprising eye movement features and algorithms
for EOG signal processing and eye movement analysis; and (5) to recognise
daily life activities from eye movement data in natural mobile and stationary
settings using this architecture.
     This work developed the so-called wearable EOG goggles, an embedded
eye tracker that - in contrast to common systems using video - relies on EOG.
Challenges associated with wearability, eye movement analysis, and signal
artefacts caused by physical activity were addressed with a combination of
a light-weight mechanical design, robust algorithms for eye movement de-
tection, and adaptive EOG signal processing. The final system features real-

xii

time EOG signal processing, on-board data storage, and wireless transmis-
sion. Its low-power implementation allows for up to 7.2 hours of autonomous
eye movement recordings.
     The robustness and performance of the wearable EOG goggles was evalu-
ated on the example of eye-based HCI in a multi-participant study. The thesis
developed algorithms to encode eye movements detected in EOG signals into
an alphabet of characters. Sequences of several consecutive movements, so-
called eye gestures, can then be linked to (application-dependent) input com-
mands. For continuous eye gesture recognition, the work adopted a string
matching approach to scan the encoded eye movement sequence for eye ges-
tures. Results from the study confirmed comparable performance to a state-
of-the-art video-based eye tracker.
     The eye tracker was complemented with a software architecture compris-
ing eye movement features and algorithms specifically geared towards eye-
based activity recognition. The work developed and evaluated new algorithms
for detecting three different eye movement characteristics from EOG signals:
saccades, fixations, and blinks. In addition, the work proposed a new method
for analysing repetitive eye movement patterns using a wordbook analysis.
These characteristics formed the basis for developing 90 different eye move-
ment features that describe eye movement dynamics.
     The recognition architecture was evaluated on two multi-participant ac-
tivity recognition problems. A first study investigated the problem of spotting
and recognising reading activity of people in transit in a daily life scenario.
Reading was recognised across eight participants with a top recognition rate
of 80.2% using a string matching approach. In a second study, the thesis in-
vestigated the problem of recognising typical office activities from the eye
movements of eight participants in a natural work environment. Using a sup-
port vector machine classifier an average precision of 76.1% and recall of
70.5% was obtained over all classes and participants.
     Finally, as a first step towards cognitive-aware systems, the thesis inves-
tigated the utility of eye movements for assessing memory recall processes
of people looking at familiar and unfamiliar faces. The study revealed signifi-
cant differences in eye movement features across four exposures. This result
is promising for wearable eye tracking to capture eye movement characteris-
tics that reflect memory recall processes.

Zusammenfassung

In den letzten 10 Jahren hat sich die Kontextsensitivität (engl. context-
awareness, auch Kontextabhängigkeit) zu einem zentralen Forschungsbere-
ich innerhalb des allgegenwärtigen Rechnens (engl. ubiquitous computing)
entwickelt. Kontextsensitive Systeme erkennen den Benutzerkontext, um ihr
Verhalten proaktiv an die persönlichen Bedürfnisse des Benutzers anzupassen.
Die Anpassung wird dabei massgeblich durch den Aufenthaltsort und die
körperliche Aktivität des Benutzers bestimmt. Neben der Forschung wird die
automatische Erkennung von körperlicher Aktivität auch für kommerzielle
Anwendungen immer wichtiger, wie z.B. in der persönlichen Gesund-
heitsüberwachung, der medizinischen Rehabilitation, der Arbeitssicherheit
oder der Mensch-Maschine Interaktion.
     Für die automatische Aktivitätserkennung wurden bisher Modalitäten
wie Körperhaltung, Gesten oder Interaktionen zwischen Personen, sowie
Kombinationen aus Sensoren am Körper und in der Umgebung untersucht.
Aktivitätserkennungssysteme, die diese Modalitäten benutzen, sind jedoch in
der Art und Komplexität der damit erkennbaren Aktivitäten eingeschränkt.
Zusätzliche Kontextinformationen, wie z.B. die Aufmerksamkeit oder Ab-
sicht des Benutzers, sowie kognitive Aspekte, wie Erfahrung oder Konzen-
tration, bleiben weitgehend unberücksichtigt.
     Diese Arbeit führt die Augenbewegungsanalyse als neue Modalität für
die Aktivitätserkennung ein. Augenbewegungen werden nicht nur durch die
körperliche Aktivität und die Umgebung beeinflusst, während der bzw. in der
sie ausgeführt werden. Augenbewegungen sind auch direkt mit verschiedenen
kognitiven Prozessen der visuellen Wahrnehmung verknüpft. Diese Eigen-
schaften machen Augenbewegungen zu einer vielversprechenden Informa-
tionsquelle für die Erkennung des Benutzerkontextes. Die Augenbewegungs-
analyse könnte den Benutzerkontext um eine kognitive Komponente erweit-
ern und kognitiv-sensitive Systeme ermöglichen.
     Die vorliegende Arbeit besteht aus sechs wissenschaftlichen Publika-
tionen, die fünf Ziele verfolgen: 1. Einführung der Augenbewegungsana-
lyse als neue Modalität für die Kontext- und Aktivitätserkennung, sowie
als Wegbereiter zur Entwicklung kognitiv-sensitiver Systeme, 2. Entwick-
lung eines tragbaren Blickbewegungsregistrierungsgerätes (engl. eyetracker)
basierend auf Elektrookulografie (EOG), 3. Untersuchung von Augengesten
für die augenbasierte Mensch-Maschine Interaktion, 4. Entwicklung einer
Softwarearchitektur für die augenbasierten Aktivitätserkennung und 5. Erken-
nung verschiedener Aktivitäten in mobilen und stationären Szenarien mit
Hilfe von Augenbewegungsanalyse.
     In dieser Arbeit wurde ein mobiler Eyetracker auf Basis von EOG en-
twickelt. Die EOG-Brille kombiniert ein leichtgewichtiges Design mit ro-
busten Algorithmen für die adaptive EOG-Signalverarbeitung und Augen-
bewegungserkennung und ermöglicht die Langzeitaufnahme, Echtzeitverar-
beitung und Speicherung von Augenbewegungsdaten. Das System wurde in

xiv

einer Benutzerstudie am Beispiel der augenbasierten Mensch-Maschine Inter-
aktion mit dem Computer evaluiert. Die EOG-Brille erzielte dabei eine zu
aktuellen videobasierten Systemen vergleichbare Leistungsfähigkeit.
     Die EOG-Brille wurde mit einer Softwarearchitektur zur augenbasierten
Aktivitätserkennung ergänzt. Die Architektur beinhaltet insbesondere neue
Algorithmen zur Erkennung der drei wichtigsten Augenbewegungscharakter-
istiken - Sakkaden, Fixationen und Blinzeln - und zur Analyse von Augen-
bewegungssequenzen. Diese Charakteristiken bildeten die Basis für die En-
twicklung von 90 verschiedenen Merkmalen zur Beschreibung der Dynamik
von Augenbewegungen. Die Architektur wurde im Rahmen zweier Studien
mit jeweils acht Testpersonen evaluiert. Ziel der ersten Studie war die Erken-
nung der Aktivität Lesen während des Sitzens, Gehens und Stehens. Mit Hilfe
eines String-Matching-Algorithmus wurde eine Erkennungsrate von 80.2%
erreicht. Die zweite Studie untersuchte die Eignung der Augenbewegungs-
analyse zur Erkennung typischer Bürotätigkeiten wie Lesen, handschriftliche
Notizen anfertigen, einen Text am Computer abschreiben oder im Internet sur-
fen. Ein Support Vector Machine erzielte mit personenunabhängigem Train-
ing eine Genauigkeit von 76.1% und eine Trefferquote von 70.5%.
     Als ersten Schritt zur Entwicklung kognitiv-sensitiver Systeme wurde
die Augenbewegungsanalyse zur Analyse von Erinnerungsprozessen unter-
sucht. Sechs Testpersonen wurde hierzu eine Abfolge bekannter und unbekan-
nter menschlicher Gesichter präsentiert. Die Analyse der Augenbewegungen
dieser Personen während des Betrachtens der Gesichter ergab signifikante Un-
terschiede in den Augenbewegungsmerkmalen. Dieses Ergebnis ist vielver-
sprechend und ermöglicht nun Folgestudien zu der Fragestellung, ob visuelle
Erinnerungsprozesse von den Augenbewegungen abgelesen werden können.

Sie können auch lesen