Ok Google The End of Search as we know it - Sprachgesteuerte Websuche im Test - B.I.T.online

Die Seite wird erstellt Niko-Veit Gerlach
 
WEITER LESEN
Ok Google The End of Search as we know it - Sprachgesteuerte Websuche im Test - B.I.T.online
Sünkler | Kerkmann | Schultheiß                                                                                     FACHBEITRÄGE                               25

Ok Google … The End of Search as we know it –
Sprachgesteuerte Websuche im Test
Sebastian Sünkler, Friederike Kerkmann und Sebastian Schultheiß
Sünkler | Kerkmann | Schultheiß

1. Einleitung
❱ „Hey Siri“, „Ok Google“ oder „Alexa…“ sind die            Sprachsteuerungssysteme, die den Nutzer auf Zuruf unterstützen, werden im
einleitenden Befehle, um auf Smartphones, Tablets           Zuge der Verbreitung von Smartphones und Lautsprechersystemen wie Amazon
oder Smart-Home-Systemen die dahinterliegenden              Echo oder Google Home zunehmend populär. Eine der zentralen Anwendungen
sprachgesteuerten Assistenten zu starten, die den           dabei stellt die Suche in Websuchmaschinen dar. Wie aber funktioniert „goog-
Nutzer auf Zuruf bei den verschiedensten Aufgaben           len“, wenn der Nutzer seine Suchanfrage nicht schreibt, sondern spricht? Dieser
                                                            Frage ist ein Projektteam der HAW Hamburg nachgegangen und hat im Auftrag
unterstützen sollen. Solche Sprachsteuerungssys-
                                                            der Deutschen Telekom untersucht, wie effektiv, effizient und zufriedenstellend
teme gibt es bereits seit einigen Jahrzehnten, wobei        Google Now, Apple Siri, Microsoft Cortana sowie das Amazon Fire OS arbeiten.
diese bis dato ein Nischendasein führten. Durch die         Ermittelt wurden Stärken und Schwächen der Systeme sowie Erfolgskriterien für
rasante Verbreitung von Smartphones verändert               eine hohe Gebrauchstauglichkeit. Diese Erkenntnisse mündeten in dem Prototyp
sich dieses jedoch zunehmend. So sind die digitalen         einer optimalen Voice Web Search.
sprachgesteuerten Assistenten inzwischen nicht nur          Voice control systems that support the user on call are becoming increasingly
auf den gängigen Smartphones verfügbar, sondern             popular since smartphones and smart speaker such as Amazon Echo and Google
durchdringen mit Lautsprechersystemen wie Ama-              Home have been launched. One of the most popular application is searching in
zon Echo oder Google Home die Gesellschaft immer            web search engines. But how does „googlen“ work if the user does not write his
mehr. Aktuelle Studien zeigen, dass bereits jetzt je-       search query, but gives voice commands instead? This question has been inves-
der zweite Deutsche die Sprachsteuerung nutzt (Bit-         tigated by a project team of HAW Hamburg on behalf of Deutsche Telekom. They
                                                            analyzed how effective, efficient and satisfying Google Now, Apple Siri, Microsoft
kom, 2016) und in den USA knapp 40% der Besitzer
                                                            Cortana and the Amazon Fire OS work. Strengths and weaknesses as well as suc-
auf die Eingabe von Befehlen per Sprache zurück-            cess criteria for a high degree of usability were determined. These findings result-
greifen (Parks Associates, 2016). Sprachsteuerung           ed in a prototype of an optimal Voice Web Search.
auf Smartphones wird dabei überwiegend im priva-
ten Rahmen, z.B. beim Kochen oder während des
Fernsehens genutzt (Google, 2014). Die populärsten
Anwendungszwecke solcher Systeme sind dabei die             2016). Er definiert zunächst den Begriff der sprach-
Suche bei Websuchmaschinen, Terminerinnerungen              gesteuerten Websuche und grenzt damit den Unter-
und Wettervorhersagen (Brandt, 2017). Schätzungen           suchungsgegenstand des Projektes ab. Im Anschluss
gehen davon aus, dass im Jahr 2021 knapp 2 Milliar-         werden die eingesetzten Methoden, die Projektergeb-
den Nutzer auf solche Dienste zurückgreifen werden          nisse dargestellt. Der Beitrag endet mit einem zusam-
(Tractica, 2016).                                           menfassenden Fazit, auch zu den Lernerfolgen der
Mit der populärsten Anwendung, der sprachgesteu-            Studierenden und einem kurzen Ausblick auf künftige
erten Websuche, hat sich das Projekt „Ok Google…            Entwicklungen und Forschungsbedarfe.
The End of Search as we know it“ beschäftigt. Dabei
ist das Projekt im Auftrag der Deutschen Telekom            2. Sprachgesteuerte Websuche
AG den Fragen nachgegangen, wie effektiv, effizient         Die Geschichte der modernen sprachgesteuerten
und zufriedenstellend derzeitige Systeme speziell im        Websuche oder Voice Web Search ist jung. Im Jahr
Bereich der Websuche arbeiten, kurz: wie gut „goo-          2010 veröffentlichten Google und Apple ihre Dienste
geln“ funktioniert, wenn der Nutzer seine Suchanf-          Google Voice Search und Apple Siri; Microsoft brachte
rage nicht schreibt, sondern spricht. Dafür wurden          im Jahr 2014 Microsoft Cortana als Bestandteil von
vier verschiedene Sprachassistenten evaluiert und           Windows 8.1 auf den Markt. Diese Systeme sind
aus den gewonnenen Erkenntnissen Handlungsemp-              momentan – bedingt durch die starke Integration in
fehlungen zur Gestaltung einer eigenen Voice Web            die Betriebssysteme – Marktführer im Bereich der
Search Anwendung für den Auftraggeber abgeleitet.           Smartphones. Bei den Heimlautsprechern ist Amazon
Der folgende Beitrag basiert in weiten Teilen auf dem       Echo das am meisten genutzte System, das allerdings
erarbeiteten Projektbericht (Sünkler & Kerkmann,            auch erst seit 2016 erworben werden kann. Zur Ver-

www.b-i-t-online.de                                                                                                  21 (2018) Nr. 1                        online
                                                                                                                                       Bibliothek. Information. Technologie.
Ok Google The End of Search as we know it - Sprachgesteuerte Websuche im Test - B.I.T.online
26                         FACHBEITRÄGE                                                                                                                               Sünkler | Kerkmann | Schultheiß

                                                arbeitung der Spracheingaben nutzen diese Systeme                                   auch wesentliche Bausteine des Projektmanage-
                                                vergleichbare Technologien. Sie sind selbstlernende                                 ments und Sozialkompetenzen vermittelt. Durch
                                                Systeme, die auf Cloud-Server-Architekturen zugrei-                                 diese Kombination werden die Teilnehmenden auf die
                                                fen, um die Eingaben per Stimme durch ihre Nutzer                                   Komplexität der Berufswelt mit ihrem Bedarf an fä-
                                                zu verarbeiten und Websuchen durchzuführen. Die An-                                 cherübergreifenden und problemlösungsorientierten
                                                bieter der Sprachsysteme setzten entweder auf Such-                                 Arbeitsweisen vorbereitet2 (Modulhandbuch, 2013).
                                                maschinentechnologien, die sie selbst entwickeln
                                                (Google, Microsoft Bing), oder verwenden eine Kom-                                  3.1 Der Projektauftrag
                                                bination vorhandener Suchtechnologien (Apple nutzt                                  Die Zielsetzung des Projekts „Ok Google… The End of
                                                Google, Bing, Yandex und weitere Suchmaschinen).                                    Search as we know it“ bestand darin, die drei markt-
                                                Die Darstellung für den Nutzer und die Verarbeitung                                 führenden Systeme zur sprachgesteuerten Websuche
                                                hängen dabei stark von der Integration der Websuch-                                 Google Now, Apple Siri und Microsoft Cortana sowie
                                                maschinen in das Betriebssystem des Gerätes ab. So                                  das inzwischen nicht mehr erhältliche Amazon Fire
                                                werden akustische Suchanfragen entweder in Text                                     OS3 auf ihre Stärken und Schwächen hin zu evaluie-
                                                umgewandelt und als textuelle Anfrage/Antwort an                                    ren. Ausgehend davon sollten Handlungs- und Gestal-
                                                die Suchmaschine/den Nutzer weitergeleitet oder                                     tungsempfehlungen für die Entwicklung einer sprach-
                                                sie werden bezogen auf das System anderweitig wei-                                  gesteuerten Websuche abgeleitet und eine optimierte
                                                terverarbeitet, z.B. indem eine unmittelbare akusti-                                Oberfläche konzipiert werden. Die Ergebnisse sollten
                                                sche Antwort auf eine Frage erfolgt, ohne dass der                                  in einem Abschlussbericht aufgearbeitet und mit dem
                                                Zwischenschritt über die Websuchmaschine deutlich                                   Auftraggeber in einem Workshop weiterentwickelt
                                                wird. Lautsprechersysteme wie Amazon Echo re-                                       werden.
                                                agieren ausschließlich durch Sprachausgabe auf die
                                                Suchanfragen. Die sprachgesteuerte Websuche hebt                                    3.2 Methodisches Vorgehen
                                                sich von der traditionellen Suche dadurch ab, dass                                  Eine Herausforderung des Projekts bestand darin,
                                                die Systeme zum Teil in der Lage sind, mit dem An-                                  den Projektauftrag, Stärken und Schwächen der Sys-
                                                wender „zu sprechen“, indem sie in den Dialog tre-                                  teme zu evaluieren, in messbare Qualitätskriterien
                                                ten und sich auf vorangegangene Suchen beziehen                                     zu überführen. Als Ausgangsbasis wurden die Qua-
                                                können (z.B. „Wie heißt der Präsident der Vereinigten                               litätsdimensionen konventioneller Desktop-Suchma-
                                                Staaten?“ → Antwort → „Wie groß ist er?“ → Antwort).1                               schinen nach (Lewandowski & Höchstötter, 2007)
                                                                                                                                    gewählt. Die Voice Web Search Systeme sollten so-
                                                3. D
                                                    as Projekt „OK Google… The End of                                              mit anhand ihrer Treffer-Qualität, Recherche-Qualität
                                                   Search as we know it“                                                            sowie Usability beurteilt werden.
                                                Das Projekt „Ok Google… The End of Search as we                                     Im nächsten Schritt galt es für jede Qualitätsdimen-
                                                know it – Sprachgesteuerte Suche im Test“ fand                                      sion testbare Prüfpunkte zu definieren. Die Treffer-
                                                als studiengangsübergreifendes Projekt der beiden                                   Qualität wurde anhand der Retrievaleffektivität der
                                                Studiengänge „Medien und Information“ und „Bib-                                     Systeme, der Personalisierungsmaßnahmen sowie
                                                liotheks- und Informationsmanagement“ am Depart-                                    der Ergebnispräsentation untersucht. Die Recherche-
                                                ment Information der Hochschule für Angewandte                                      Qualität wurde über die Verarbeitung der Suchanfra-
                                                Wissenschaften (HAW) Hamburg im Wintersemester                                      gen und die Dialogfähigkeit evaluiert. Für die Beur-
                                                2015/16 statt. Auftraggeber war die Deutsche Tele-                                  teilung der Usability wurden Kriterien zu Zugang, Be-
                                                kom AG. Insgesamt haben 15 Studierende unter der                                    dienung, Barrierefreiheit und Hilfestellung durch die
                                                Leitung von zwei Verantwortlichen der Hochschule                                    Systeme herangezogen.
                                                sowie einer Ansprechpartnerin seitens des Auftrag-                                  Für die Durchführung der einzelnen Evaluationen
                                                gebers das Projekt durchgeführt. Die studiengangs-                                  wurde den Studierenden ein Methoden-Set aus ver-
                                                übergreifenden Pflichtprojekte am Department Infor-                                 schiedenen experten- und nutzerbasierten Verfahren
                                                mation geben den Studierenden im fünften Semester                                   vorgegeben.
                                                die Gelegenheit, über Studiengangsgrenzen hinweg
                                                gemeinsam für einen realen Auftraggeber eine Auf-                                   2   Je Projekt ist ein Workload von 540 Stunden vorgesehen, so dass die Rah-
                                                gabenstellung des Berufsalltags zu bearbeiten. Dabei                                    menbedingungen gegeben sind, tief in eine Thematik einzusteigen und auch
                                                                                                                                        zeitintensive Vorhaben zu bearbeiten.
                                                werden neben den entsprechenden Fachkenntnissen
                                                                                                                                    3   Das Fire Phone von Amazon, dessen Sprachsteuerung keinen eigenen Namen
                                                                                                                                        trägt und von anderen sprachbasierten Amazon-Diensten wie bspw. Alexa
                                                1   Eine detaillierte Darstellung des derzeitigen Entwicklungsstandes und Funkti-       abzugrenzen ist, ist inzwischen nicht mehr käuflich erhältlich. Das Gerät, das
                                                    onsumfangs zu allen untersuchten Geräten findet sich im Projektbericht, der         durch Netlock ausschließlich an das Netz der Telekom gebunden war, dennoch
                                                    unter http://searchstudies.org/ok-google/ online zur Verfügung steht.               in den Test einzubeziehen, war Wunsch des Auftraggebers.

                     online
Bibliothek. Information. Technologie.
                                        21 (2018) Nr. 1                                                                                                                                    www.b-i-t-online.de
Ok Google The End of Search as we know it - Sprachgesteuerte Websuche im Test - B.I.T.online
Sünkler | Kerkmann | Schultheiß                                                                                                                                             FACHBEITRÄGE                                27

Tab. 1 zeigt die eingesetzten Methoden sowie ihre jeweilige Zielsetzung in der Übersicht:
                                                                    Ziel inhaltlich
                                          Methode                                                                                       Ziel methodisch
                                                                    Qualitätsdimension
                                          Literaturrecherche        State of the Art                                                    Kennenlernen des Systems/Ge-
                                                                                                                                        räts, Einüben von wissenschaft­
                                                                                                                                        lichem Arbeiten
                                          Heuristik                 Identifikation von ‚bedeutenden‘ / ‚katastrophalen‘                 Kennenlernen des Systems/
                                                                    Usability-Problemen, Vergleich der Geräte                           Geräts,
                                                                    Usability                                                           Einüben der Methode
                                          Szenarienbasierter        Identifikation von Usability-Problemen aus Nutzer-                  Kennenlernen der jeweils ande-
                                          Walkthrough               sicht, Hineinversetzen in verschiedene Nutzertypen                  ren Systeme/Geräte,
                                                                    und Nutzungsszenarien                                               Einüben der Methode + Persona-
                                                                                                                                        Entwicklung
                                                                    Usability
                                          Retrievaltest             quantitative Analyse der Retrievaleffektivität unter                Einüben der Methode
                                                                    Laborbedingungen, Vergleich der Geräte

                                                                    Treffer-Qualität

                                          Vorabbefragung            Erfassung demographischer Daten und Vorerfahrung                    Einüben der Methode, „Angst vor
                                                                                                                                        dem Nutzer verlieren“
    nutzerbasiert unter Realbedingungen

                                          Teilnehmende              Identifikation von Stärken und Schwächen unter                      Einüben der Methode
                                          ­ eobachtung
                                          B                         realen Bedingungen
                                                                    Recherche-Qualität, Treffer-Qualität, Usability
                                          Retrospective Thinking    Identifikation von Stärken und Schwächen unter                      s.o.
                                          Aloud                     realen Bedingungen
                                                                    Recherche-Qualität, Treffer-Qualität, Usability
                                          SUS-Fragebogen    4
                                                                    quantitative Analyse der Gebrauchstauglichkeit,                     s.o.
                                                                    Vergleich der Geräte
                                                                    Usability
                                          Nachbefragung             Identifikation von Stärken und Schwächen in der                     s.o.
                                                                    Rückschau
                                                                    Recherche-Qualität, Treffer-Qualität, Usability

Tab. 1: Eingesetzte Methoden und Ziele

Voraussetzung für Walkthrough, Retrievaltest und                                                       chen sind im Gegensatz zur Suche an stationären Ge-
Nutzerstudie waren realistische Suchanfragen, die                                                      räten praktisch von überall möglich und damit stärker
tatsächliche Suchszenarien der Nutzer abbildeten. Zu                                                   von Spontanietät und Ungeduld der Nutzer getrieben.
diesem Zweck entwickelten die Studierenden aus ih-                                                     Dieses Verhalten bilden die Micro-Moments ab, in-
rem eigenen Alltag heraus Suchanfragen, die sich je-                                                   dem sie die verschiedenen Momente, in denen ein
weils an den von Google formulierten Micro-Moments                                                     Nutzer mit seinem Smartphone suchen kann, und die
(Google, 2015) orientierten, um so die verschiedenen                                                   sich daraus ergebenden Suchbedürfnisse beschrei-
Suchintentionen, die im mobilen Kontext auftreten                                                      ben. Tab. 2 zeigt die vier genutzten Micro-Moments
können, gleichmäßig zu berücksichtigen. Mobile Su-                                                     in der Übersicht:

    Micro-Moment Suchintention                                                             Beispiel
    WANT-TO-KNOW                                          informationsorientierte Suche    Nutzer will sich über ein Produkt informieren, das er in diesem
                                                                                           ­Moment in einer TV-Werbung sieht
    WANT-TO-GO                                            lokale Suche                     Nutzer sucht nach einem italienischen Restaurant in seiner Nähe
    WANT-TO-DO                                            Howto-Suche                      Nutzer sucht nach einem Rezept für einen Apfelkuchen
    WANT-TO-BUY                                           transaktionsorientierte Suche    Nutzer befindet sich einem Geschäft und nutzt die Suche als Ent-
                                                                                           scheidungshilfe beim Produktkauf
Tab. 2: Micro-Moments

4                      Der System Usability Scale (SUS) ist ein von John Brooke entwickelter technologieunabhängiger Fragebogen, mit dessen Hilfe sich die Gebrauchstauglichkeit eines
                       Systems verhältnismäßig einfach bewerten lässt.

www.b-i-t-online.de                                                                                                                                                           21 (2018) Nr. 1                        online
                                                                                                                                                                                                Bibliothek. Information. Technologie.
28                         FACHBEITRÄGE                                                                                            Sünkler | Kerkmann | Schultheiß

                                                Diese Methodenvielfalt diente dabei sowohl dem             eine Aussage über die Retrievaleffektivität auf Doku-
                                                konkreten Erkenntnisgewinn als auch dem intensiven         mentebene nicht möglich war.
                                                Kennenlernen der Systeme aus unterschiedlichen             Bei den Nutzertests konnte der Grundsatz, Proban-
                                                Perspektiven. Zusätzlich sollten die Studierenden ein      den die zu evaluierende Anwendung ausschließlich
                                                breites Repertoire an Methoden erlernen.                   mit dem eigenen Endgerät testen zu lassen, um Be-
                                                                                                           dienfehler mangels Erfahrung ausschließen zu kön-
                                                3.3 Methodenkritik                                         nen, nicht berücksichtigt werden. Hintergrund war
                                                Der genutzte Methodenmix war der Versuch, etab-            zum einen die geringe Verbreitung des Microsoft- und
                                                lierte Verfahren der Suchmaschinen- und Usability-         Fire-Phones, zum anderen hätten Verzerrungen durch
                                                Evaluation für ein hoch innovatives Anwendungsfeld         individuelle Personalisierungsmaßnahmen auf dem
                                                zu adaptieren und miteinander zu kombinieren. Da-          eigenen Gerät nicht systematisch ausgeschlossen
                                                bei kam es zu einigen Methodenschwächen, so dass           werden können.
                                                die Ergebnisse (s. 3.4.) zum Teil nur bedingt aussa-
                                                gekräftig sind und als vorläufig betrachtet werden         3.4 Projektergebnisse
                                                müssen. Eine große methodische Herausforderung in          Wie in der Darstellung des methodischen Vorgehens
                                                dem Projekt bestand im Fehlen etablierter Standard-        beschrieben, wurden vielfältige Methoden für die
                                                methoden für die Evaluierung von sprachgesteuerter         Durchführung des Projekts gewählt. Die Teilergeb-
                                                Websuche bzw. in einer Nicht-Übertragbarkeit von           nisse der einzelnen Untersuchungsschritte wurden
                                                Methoden bspw. zur Evaluierung von Websuchma-              für eine abschließende Bewertung der Systeme so-
                                                schinen oder der Usability von Webseiten. Da keine         wie für die Ableitung von Handlungsempfehlungen
                                                geprüfte Heuristik für den Anwendungsfall existiert,       zusammengefasst.
                                                wurde eine eigene Heuristik entwickelt, die zwar rele-
                                                vante Problembereiche (Zugang/Einstieg, Bedienung,         3.4.1 H
                                                                                                                  euristische Evaluation und
                                                Verarbeitung der Suchanfragen, Personalisierung,                 szenarienbasierter Walkthrough
                                                Barrierefreiheit, Ergebnispräsentation und Hilfestel-      Für die heuristische Evaluation der Systeme wurde
                                                lung (Sünkler & Kerkmann, 2016)) abprüfte, jedoch          ein eigener Leitfaden verwendet, der 46 Kriterien u.a.
                                                selbst nicht auf ihre Tragfähigkeit hin validiert wurde.   zu Zugang/Einstieg, Barrierefreiheit, Ergebnispräsen-
                                                Auch bei der Durchführung des Retrievaltests muss-         tation abprüfte. Um dabei auch Besonderheiten, wie
                                                ten Einschränkungen akzeptiert werden, da die klas-        z.B. das Verständnis der Spracheingabe bei Dialekten
                                                sische Methodik zu Information-Retrievalstudien            berücksichtigen zu können, entwickelten die Studie-
                                                nicht übertragbar war. So waren den Juroren die            renden ergänzend 4 Szenarien sowie 4 Personas, die
                                                Systeme bei der Bewertung bekannt. Außerdem va-            als Rahmenhandlung zugrunde gelegt wurden. Die so
                                                riierte die Darstellung bzw. Ausgabe der Ergebnisse        identifizierten Usability-Mängel wurden anschließend
                                                (akustisch vs. herkömmliche Trefferdarstellung mit         mit Hilfe des Stufenmodells nach Nielsen gewichtet
                                                Ergebnisliste) so stark zwischen den Systemen, dass        (s. Tab. 3):

                                                 Stufe      Bezeichnung                            Priorität
                                                 –          Kein Problem                           –
                                                 1          Kosmetisches Problem                   Muss nicht behoben zu werden, außer der Projektrahmen stellt ge-
                                                                                                   nügend Zeit dafür zur Verfügung.
                                                 2          Geringfügiges Usability-Problem        Der Behebung sollte untergeordnete Priorität eingeräumt werden.
                                                 3          Bedeutendes Usability-Problem          Es ist wichtig, das Problem zu beheben.
                                                 4          Usability-Katastrophe                  Es ist ein Muss, dieses Problem zu beheben, bevor das Produkt
                                                                                                   ausgeliefert wird.

                                                Tab. 3: Gewichtung von Usabilityproblemen (nach Nielsen, 1994)

                                                Im Ergebnis zeigte sich in diesem Untersuchungs-           ten, d.h. mit den meisten Usability-Katastrophen und
                                                schritt, dass Google Now zum Zeitpunkt der Unter-          den wenigsten Nicht-Problemen schnitt das Amazon
                                                suchung die wenigsten Usability-Probleme aufweist          Firephone ab (s. Abb. 1).
                                                und weit vor den Mitbewerbern liegt. Am schlechtes-

                     online
Bibliothek. Information. Technologie.
                                        21 (2018) Nr. 1                                                                                          www.b-i-t-online.de
Sünkler | Kerkmann | Schultheiß                                                                                                         FACHBEITRÄGE                                29

                                                                                                                                                    Abb. 1:
                                                                                                                                                    Ergebnisse der
                                                                                                                                                    heuristischen
                                                                                                                                                    Evaluation

3.4.2 Nutzertest                                                                        när (ja/nein) sowie auf einer aufsteigenden 5er-Skala
Für den Nutzertest wurden insgesamt 25 Probanden                                        (0=nicht relevant; 4=sehr relevant) bewertet. Bedingt
rekrutiert, die ein sehr heterogenes Probandenfeld                                      durch die in Abschnitt 3.3. beschriebenen Methoden-
abbildeten (z.B. durch eine Altersspanne von 8-46                                       mängel können die so erhobenen Erkenntnisse zwar
Jahren). Die Probanden wurden dabei im Feld ge-                                         lediglich als Tendenzen verstanden werden, nichts-
testet; sie lösten verschiedene Suchaufgaben u.a. in                                    destotrotz zeigte sich auch in diesem Untersuchungs-
einem Shopping-Center, um die Fähigkeit der Geräte                                      schritt ein Qualitätsgefälle: Die besten, d.h. relevan-
zu testen, trotz Hintergrundgeräuschen richtig auf die                                  testen Suchergebnisse liefert Google; der Verlierer
Anweisungen zu reagieren. Mit Hilfe der Retrospective                                   ist der Dienst Siri von Apple. Amazon Fire OS und Mi-
Thinking Aloud Methode54 wurden die Kommentare                                          crosoft Cortana liegen in Bezug auf die Beantwortung
der Probanden bei der Gerätenutzung im Nachhinein                                       in etwa gleich auf, unterscheiden sich allerdings in der
erfasst und ausgewertet. Zusätzlich wurden die Studi-                                   Qualität ihrer Antworten. Hier ist Cortana dem Dienst
enteilnehmer zu ihrem Eindruck der Systeme befragt.                                     von Amazon in allen Micro-Moments überlegen.
Die gewonnenen Erkenntnisse wurden anschließend
anhand der Kriterien aus der Heuristik systematisiert.                                  3.4.4. Z
                                                                                                usammenfassung der Ergebnisse und
Auch bei den Nutzertests zeigte sich eine Überlegen-                                           Prototypentwicklung
heit von Google Now im Vergleich zu den anderen                                         Im direkten Stärken- und Schwächenvergleich konnte
Systemen sowohl bei der Recherchequalität als auch                                      das System von Google überzeugen, wobei – mit Aus-
in der Gebrauchstauglichkeit.                                                           nahme des Amazon Firephones – auch die übrigen ge-
                                                                                        testeten Sprachsteuerungen eine überwiegend solide
3.4.3 Retrievaltest                                                                     Usability und Suchqualität bieten.
Um neben der Qualität der Gestaltung und Usability                                      Die Vielfalt der angewandten Methoden und die da-
auch die Güte der ausgelieferten Ergebnisse bzw. die                                    mit gewonnene Vielzahl an identifizierten Stärken und
Effektivität des Suchsystems beurteilen zu können,                                      Schwächen machten es zudem möglich, übergrei-
wurde ein Retrievaltest durchgeführt. Dazu wurde die                                    fende Erfolgsfaktoren abzuleiten, die künftig heran-
Relevanz von den Ergebnissen zu 20 Suchanfragen bi-                                     gezogen werden können, um bestehende Systeme in
                                                                                        ihrer Gebrauchstauglichkeit zu beurteilen oder um ein
5   Klassisches Thinking Aloud während der Bearbeitung einer Suchaufgabe hätte          optimiertes System zu konzipieren. Tab. 4 zeigt die
    ggf. die Sprachsteuerung aktiviert und somit zu Komplikationen geführt. Daher       gesammelten Erfolgskriterien in der Übersicht:
    musste auf die Variante des Retrospective Thinking Aloud, also dem lauten
    Denken in der Rückschau auf eine Aufgabe, zurückgegriffen werden.

www.b-i-t-online.de                                                                                                                       21 (2018) Nr. 1                        online
                                                                                                                                                            Bibliothek. Information. Technologie.
30                         FACHBEITRÄGE                                                                                            Sünkler | Kerkmann | Schultheiß

                                                 Zugang/      Bedienung           Suchan­frage-      Personali-   Barrierefrei-     Ergebnis­            Hilfe­
                                                 Einstieg                         Verarbeitung       sierung      heit              präsentation         stellung

                                                 Eindeutig als Lange Sprech­      Akzente und     Standort        Grafiken in       Sprachausgabe bei Fehlermel-
                                                 Sprach-       pausen möglich     Dialekte werden wird bei der    den Ergebnis-     Faktenrecherche   dungen sind
                                                 steuerung                        korrekt erkannt Suchanfrage     sen werden in                       hilfreich
                                                 erkennbar                                        einbezogen      ausreichender
                                                                                                                  Größe darge-
                                                                                                                  stellt
                                                              Brauchbare          Englische          Ausgabe-     Die Schrift-      Akustisches          Aktive
                                                              Ergebnisse bei      Anfragen werde     sprache      größe bei den     Feedback zu den      Unterstüt-
                                                              Stichwortsuchen     korrekt erkannt    wird der     Ergebnissen ist   Ergebnissen nach     zung bei der
                                                                                                     Eingabe-     ausreichend       der Suchanfrage-     Bedienung
                                                                                                     sprache                        verarbeitung
                                                                                                     angepasst
                                                              Interaktion mit     Unbekannte                      Kontrast bei      Sprachausgabe        Links zur
                                                              ­Suchergebnissen    Abkürzungen                     der Ergebnis-     direkt zu den        Hilfe sind
                                                               per Sprache        können inter-                   darstellung ist   Suchergebnissen      vorhanden
                                                               möglich            pretiert werden                 angemessen        wird unterstützt     und gut
                                                                                                                                                         sichtbar
                                                              Suchverarbeitung Korrekte                           Akustische       Passende Dar-         Hilfestellung
                                                              per Sprache      Erkennung der                      Wiedergabe aller stellungen zu den     in Textform
                                                              beenden          Anfrage                            Suchergebnisse Micro-Moments           wird ange-
                                                                                                                                                         boten
                                                              Unterstützung       Autorkorrektur                  Schriftvergrö-    Die Quellen der      Hilfe bei
                                                              von Dialogen        wird unterstützt                ßerung wird       Suchergebnisse       Null-Treffer-
                                                                                                                  unterstützt       sind immer er-       Seiten und
                                                                                                                                    kennbar              nicht ver-
                                                                                                                                                         standenen
                                                                                                                                                         Anfragen
                                                              Echtzeitfeedback                                                      Keyword in Con-
                                                              bei der Verarbei-                                                     text wird unter-
                                                              tung                                                                  stützt
                                                              Zuverlässige                                                          Die Treffer-be-
                                                              Erkennung bei                                                         schreibungen sind
                                                              lauten Umge-                                                          verständlich
                                                              bungsgeräuschen
                                                                                                                                    Die Ergebnisse
                                                                                                                                    sind auf dem aktu-
                                                                                                                                    ellen Stand

                                                Tab. 4: Erfolgsfaktoren für eine sprachgesteuerte Websuche

Abb. 2:
Ablauf des
optimalen Such-
einstiegs

                     online
Bibliothek. Information. Technologie.
                                        21 (2018) Nr. 1                                                                                            www.b-i-t-online.de
Sünkler | Kerkmann | Schultheiß                                                                             FACHBEITRÄGE                                31

Dieser Prüf- und Gestaltungskatalog für gebrauchs-            In Bezug auf die Lernerfolge der Studierenden wurden     Abb. 3: Prototyp
taugliche Voice Web Search Systeme wurde dem                  auf Ebene der Methoden- und Sozialkompetenz Pro-         eines Tutorials (1)
                                                                                                                       sowie einer Anlei-
Auftraggeber zur Verfügung gestellt. Zusätzlich ent-          jektmanagement-Kenntnisse und der professionelle
                                                                                                                       tung (2)
wickelten die Studierenden den Prozessablauf einer            Umgang mit Auftraggeber und Studienteilnehmern
optimalen Voice Web Search. Der Ausschnitt aus dem            eingeübt. Sprache wird als Instrument zur Steuerung
Flussdiagramm (Abb. 2) zeigt, wie ein Sprachsteue-            von Informations- und Kommunikationstechnologien
rungssystem beim Sucheinstieg reagieren sollte, um            immer relevanter und damit in Zukunft auch in Infor-
dem Nutzer ein optimales Sucherlebnis zu bieten.              mationseinrichtungen und Bibliotheken präsent(er).
Zusätzlich wurden Nutzerinterfaces skizziert, wel-            Die Studierenden als künftige Anwender und Multi-
che die Einzelschritte innerhalb des Prozesses unter          plikatoren konnten daher mögliche Hemmungen der-
Berücksichtigung der Erfolgsfaktoren visualisieren.           artigen Steuerungssystemen gegenüber verlieren und
Abb. 3 illustriert beispielhaft die Oberflächen für ein       lernen, mit diesen als Nutzer umzugehen sowie sie als
interaktives Tutorial sowie eine schriftliche Anleitung       Experten zu evaluieren.
für den Nutzer, der die sprachgesteuerte Websuche             Die Themen Sprachsuche und digitale Assistenten
erstmals nutzt.                                               liegen momentan stark im Trend. Während Amazon
                                                              Echo seit dem letzten Jahr auf dem deutschen Markt
3. Fazit und Ausblick                                         verfügbar ist, ziehen andere große Unternehmen wie
Während traditionelle Suchmaschinen-Evaluierung               Google und Apple dieses Jahr mit eigenen Lautspre-
(bislang) vielfach auf „harten“, quantifizierbaren Fak-       chern nach. Es ist sehr wahrscheinlich, dass die Nut-
ten basiert, zeichnen sich Usability-Analysen durch           zung immer weiter zunimmt und auch Einzug in Biblio-
eine überwiegende Nutzung „weicher“ subjektiver               theken und Informationseinrichtungen findet. Daher
qualitativer Kriterien aus, was zugleich jeweils Stärke       ist es wichtig, dieses Thema stärker in Forschung und
und Schwäche dieser Methoden ist. Die Herausfor-              Lehre zu berücksichtigen und dabei auch eine wis-
derung des Vorhabens „Ok Google...“ bestand darin,            senschaftlich fundierte und robuste Methodik für die
beide Felder miteinander zu kombinieren und für den           systematische Evaluierung zu entwickeln. Die Metho-
Anwendungsfall der sprachgesteuerten Websuche                 dik auf dem Projekt „Ok Google…“ bietet dafür erste
anzupassen. Trotz Methodenschwächen konnte das                Vorschläge, die aber in weiteren Forschungsvorhaben
Projekt einen Überblick zu den Stärken und Schwä-             vertieft und ausgearbeitet werden müssten.
chen der marktführenden sprachbasierten digitalen
Assistenten in Bezug auf die Fähigkeiten der Voice
Web Search liefern.

www.b-i-t-online.de                                                                                          21 (2018) Nr. 1                        online
                                                                                                                               Bibliothek. Information. Technologie.
32                         FACHBEITRÄGE                                                                                                     Sünkler | Kerkmann | Schultheiß

                                                4. Danksagung                                                     Sünkler & Kerkmann (2016): Ok Google… The End of Search
                                                                                                                       as we know it. Projektbericht zum Studienprojekt „Ok
                                                Der Deutschen Telekom AG, insbesondere Sonja                           Google… The End of Search as we know it. Sprachgesteu-
                                                Quirmbach, danken wir für den Projektauftrag und für                   erte Suche im Test“, http://searchstudies.org/ok-google/
                                                ihre Bereitschaft, uns inhaltlich sowie durch die Be-             Tractica (2016): The Virtual Digital Assistant Market Will
                                                reitstellung der Smartphones und die Übernahme der                     Reach $15.8 Billion Worldwide by 2021. – URL: https://
                                                                                                                       www.tractica.com/newsroom/press-releases/the-vir-
                                                Probandenvergütung zu unterstützen. Bei den Studie-                    tual-digital-assistant-market-will-reach-15-8-billion-world-
                                                renden bedanken wir uns für ihre Offenheit und enga-                   wide-by-2021/
                                                gierte Mitarbeit, ohne die das Vorhaben nicht hätte
                                                erfolgreich durchgeführt werden können. Bei der Jury
                                                des TIP-Awards bedanken wir uns ganz herzlich für
                                                die Auszeichnung des Projekts. ❙

                                                5. Literaturverzeichnis
                                                Bitkom (2016): Sprachsteuerung setzt sich bei Smartphones                        Friederike Kerkmann
                                                     durch. – URL: https://www.bitkom.org/Presse/Pressein-
                                                     formation/Sprachsteuerung-setzt-sich-bei-Smartphones-
                                                                                                                                 Hochschule für Angewandte
                                                     durch.html                                                                  ­Wissenschaften Hamburg
                                                Brandt, Mathias (2017): Würden die Deutschen Siri und Co.                         Fakultät Design, Medien und
                                                     nutzen. – URL: https://de.statista.com/infografik/8757/                      ­Information
                                                     art-der-nutzung-von-digitalen-sprachassistenten/                              Department Information
                                                Google (2014): Google. (2014). OMG! Mobile voice survey           Finkenau 35, 22081 Hamburg
                                                     reveals teens love to talk. – URL: https://googleblog.       friederike.kerkmann@haw-hamburg.de
                                                     blogspot.de/2014/10/omg-mobile-voice-survey-reveals-
                                                     teens.html
                                                                                                                               Sebastian Sünkler
                                                Google (2015). Micro-Moments Your Guide to Winning the
                                                                                                                               Wissenschaftlicher Mitarbeiter
                                                     Shift to Mobile. – URL: https://think.storage.googleapis.
                                                     com/docs/micromoments-guide-to-winning-shift-to-mo-                       Hochschule für angewandte
                                                     bile-download.pdf                                                         Wissenschaften Hamburg
                                                Lewandowski, Dirk & Höchstötter, Nadine (2007). Quali­                         Fakultät Design, Medien & Information
                                                     tätsmessung bei Suchmaschinen – System- und nutzer-                      Department Information
                                                     bezogene Evaluationsmaße. Informatik Spektrum, 30(3),        Finkenau 35, 22081 Hamburg
                                                     159-169.                                                     sebastian.suenkler@haw-hamburg.de
                                                Modulhandbuch (2013). Modulhandbuch Bibliotheks- und
                                                     Informationsmanagement/Library and Information Sci-
                                                     ence. Bachelor of Arts. Stand 2013-10-02. URL: https://
                                                                                                                                  Sebastian Schultheiß
                                                     www.haw-hamburg.de/fileadmin/user_upload/DMI-I/Stu-                        Hochschule für Angewandte
                                                     dium/Studiengaenge/BIM/BIM2013ModulHandbuch4-1.                            ­Wissenschaften Hamburg
                                                     pdf                                                                         Fakultät Design, Medien und
                                                Nielsen (1994). Heuristic evaluation. In Nielsen, J., and Mack,                  ­Information
                                                     R.L. (Hrsg.), Usability Inspection Methods. John Wiley &                     Department Information
                                                     Sons, New York, NY.
                                                                                                                  Finkenau 35, 22081 Hamburg
                                                Parks Associates (2016): Almost 40% of U.S. smartphone ow-        sebastian.schultheiss@haw-hamburg.de
                                                     ners use voice recognition software. – URL: http://www.
                                                     parksassociates.com/blog/article/pr-01272016

                                                                                              www.b-i-t-online.de
                                                                                              www.libess.de
                                                                                              www.fachbuchjournal.de

                     online
Bibliothek. Information. Technologie.
                                        21 (2018) Nr. 1                                                                                                       www.b-i-t-online.de
Sie können auch lesen