Situated Reference in a Hybrid Human-Robot Interaction System - M. Giuliani et al. 2010

Situated Reference in a Hybrid
Human-Robot Interaction System
         M. Giuliani et al. 2010

        vorgetragen von Bernadett Smolibocki

Überblick
•   Mensch-Roboter-Dialogsysteme
•   Referenzgenerierung
•   Experiment (Evaluation)
•   Ausblick

Mensch-Roboter-Dialoge
                               Was will der
 Was ich alles                 mir schon
 so kann..?!                   sagen…?!

        Guiliani et al. 2010   www.clipproject.info

Mensch-Roboter-Dialoge
First we will build a windmill.                                         Okay.

                                         {Picks up a yellow cube, unnecessary
                                                           piece for windmill.}

You don‘t need a yellow cube to
build a windmill.
To build a windmill, you first need to
build a tower.
{Picking up and holding out red
cube.}
To build the tower, insert the green
bolt through the end of this red
cube and screw it into the blue cube.
                                               {Takes cube, performs action}.
                                                                      Okay.

Architektur
Dialogue History
Physical Context                                                                   speech, object recognition, gesture
  Task Context                                System Input Channel                 recognition

                                                        symbolic
         uses
         and choose a response

                                                Multimodal
   Dialogue              unified hypotheses
                                                  Fusion
   Manager
                                                Component
        sends a high-level spezification of
        the desired response to the
                                                        sub-symbolic

    Output
    Planner                                          Goal          selects the robot`s next action
                                                  Inference        based on the human user`s actions
                                                                   and utterances
                                                   Module

                                                  Output           linguistic content (including mulitmodal referring
                                                                   expressions),
                                                  Channel          facial expressions, gaze behaviours of the talking
                                                                   head, actioins of the robot manipulators

Referenzgenerierung
•   für die Generierung werden zwei unterschiedliche Versionen des inkrementellen
    Algorithmus` (Dale & Reiter 1995) verwendet

1) konstante Version
 soweit bekannt, generiert definite und indefinite Referenzen, und die am ehesten
geeigneten Attributkombinationen

2) adaptive Version
 nutzt zusätzliche Informationen (Dialog-, Taskkontexte), produziert pronominale und
    deiktische Referenzen (es, hier, dort)

Referenzgenerierung
Erweiterung des Algorithmus` von (Dale & Reiter 1995):

-   Modul speichert jetzt zusätzlich auch die Historie der Ausdrücke, die bereits
    erwähnt wurden, sowohl vom User als auch vom System
-   die bereits verwendeten Ausdrücke werden für die Generierung neuer Ausdrücke
    zusammen mit einer Distraktorenmenge verwendet
-   somit gibt es zwei Arten von Objekten, zu denen Referenzen generiert werden
    sollen
           1) konkrete Objekte: in unserem Fall alle Objekte auf dem Tisch oder
           in der Hand des Users oder Roboters
            es sind drei Arten an Distraktorenmengen nötig

         2) Objekte, die noch erstellt werden.
          Keine Distraktorenmenge nötig, es wird der Name des Objektes
         verwendet

Referenzgenerierung
zu 1) die Distraktorenmengen
a) alle Teile, die zur Vervollständigung des Targetobjekts nötig sind
b) alle Objekte, die seit der letzten Erwähnung auf dieses jeweilige Objekt hinwiesen
c)    alle konkreten Objekte in der Welt

Wann werden nun welche Typen an DMengen verwendet?
a) wird ein falsches Tool verwendet zur Vervollständigung eines Tasks
b) in allen Fällen, in denen das jeweilige aktuelle Objekt (OUC) bereits erwähnt wurde
c) in allen Fällen, in denen das jeweilige aktuelle Objekt (OUC) nicht erwähnt wurde

Referenzgenerierung
Ablauf:
1.   DMenge abarbeiten
      Eigenschaften des OUC werden mit den Eigenschaften der Disktraktoren
     verglichen
      sind die Typen eines Distraktors und des OUC verschieden, so wird der
     Distraktor aus der DMenge entfernt
      weiter mit allen weiteren Eigenschaften
      die Eigenschaften eines OUC werden einer Liste hinzugefügt

2. Typenwahl der jeweiligen Ausdrücke
      schaue nach vorherigen Referenzen (PR) des OUC
        wenn es welche gibt: entscheide, ob es im Fokus war

Referenzgenerierung
1) keine PR:
- verwende einen indefiniten Artikel, wenn OUC noch nicht existiert oder eine negative Referenz
     erstellt wird oder wenn OUC und Distraktoren existieren
- verwende einen deiktischen Ausdruck, wenn der Roboter das OUC in der Hand hält
- verwende definite Artikel, wenn das OUC existiert, jedoch keine Distraktoren vorhanden sind

2) PR ist im Fokus:
- verwende ein Pronomen, wenn die PR im aktuellen Prozess ist
- verwende ebenfalls ein Pronomen, wenn PR im vorherigen Schritt vorhanden war, wenn der
    Roboter das OUC gerade nicht in den Händen hält
- verwende deiktische Ausdrücke, wenn der Roboter das OUC in den Händen hält

3) PR ist nicht im Fokus:
- siehe 2.3
- verwende einen definiten Artikel, wenn die PR ein Pronomen, definiter oder deiktischer Artikel war
- verwende definite Artikel, wenn die PR indefinit war und keine Distraktoren existieren
-   verwende indefinite Artikel, wenn die PR indefinit war und Distraktoren existieren

4) Die Sache mit der OUC-Liste:
- existieren noch Eigenschaften eine OUC und soll kein Pronomen verwendet werden, so füge die Eigenschaften
zum Ausdruck hinzu

Referenzgenerierung
Das Beispiel mit „the green bolt“ = „it“:
- bevor das Pronomen verwendet wurde, ist diesen Objekt genannt worden (definit)
- „ To build the tower, insert the green bolt through the end of this red cube and screw it
   into the blue cube.“

-   DMenge = alles zwischen „the green bolt“ und „it“  {red cube}
-   Typ der DMenge ≠ Typ des OUC
     Dmenge = Ø

 da bereits eine definite Referenz im selben Satz existiert, kann gefahrlos ein
Pronomen verwendet werden

Ergebnis

Evaluation
                                       Wie gut wurde der      Der soll erst
                                       weiterentwickelte      mal sprechen
„Konstant, adaptiv,
                                     Algorithmus beurteilt?   lernen..
konstant, adaptiv…“

                      Guiliani et al. 2010                       www.clipproject.info

Resultate

Welche objektiven Faktoren haben den größten Einfluss, um den User
zufrieden zu stellen?

 Wiederholungsanfragen (negativen Effekt)
 Korrektes Erstellen eines Targetobjekts (positiven Effekt)

Literatur
Guiliani et al. (2010). Situated reference in a hybrid human-robot interaction system.

Foster et al. (2008). The roles of haptic-ostensive referring expressions in cooperative,
task-based human-robot dialogue.