Voicesearch-Umfrage auf der koks.digital – Auswertung
Auf der koks.digital konnten wir eine kleine Stichprobe zum Thema VoiceSearch durchführen. Die Ergebnisse von 15 Smartphones konnten wir am 26.08. vergleichen – verschiedene Geräte/Assistenten, die zur selben Zeit am selben Ort drei identische Fragen gestellt bekamen. Diese waren
- (assistent), ruf mir ein Taxi
- (assistent), wo kann ich hier essen gehen?
- (assistent), wo ist heute abend Party?
Die Intentionen:
- sollte klar und direkt die regional sinnvollste/vom User bevorzugte Art eines Taxirufs generieren.
- sollte lokale Angebote zum Essengehen ergeben, explizit auch mit „hier“ getriggert, und
- war bewusst etwas unkonkreter gehalten, um zu sehen, wie die Assistenten damit umgehen.
Ort und Datum war über den Test gleich, die Herkunft der befragten Personen nicht. Die Stichprobe ist definitiv zu klein, um generalisierende Aussagen in irgend einer Form zu machen, es ergaben sich zumindest interessante Einzelfälle, die zeigen, wie unterschiedlich Voice- und mobile Suchanfragen aussehen können – jenseits der auf den Gerätepräsentationen gern genommenen „Pizza near me“-Beispiele.
Siri, ruf mir ein Taxi
Die konsistentesten Ergebnisse der Analyse. Die Intention und der regionale Aspekt wurde meist verstanden. 6 von 9 Siris listeten die selben drei Taxiunternehmen in Bochum in derselben Reihenfolge auf, das Antippen des Suchergebnisses führte zum Telefonanruf. Die Sonderfälle:
- direkter Anruf ohne Rückfrage: eine Telefonnummer war unter dem Namen „Taxi“ im Adressbuch gespeichert.
- eine iOS-Betaversion verwies auf eine App, die dafür notwendig sei und bot das Durchsuchen des App Store an
- ein Gerät listete drei nicht hilfreiche Ergebnisse (SEO-Spamsite zu KFZ-Versicherungsvergleich, Yahoo Answers und Info zum Taxiruf in GTA 4) bei ansonsten unauffälligen anderen Ergebnissen
OK Google, ruf mir ein Taxi
Der intentionale Inhalt der Suchanfrage wurde nicht erkannt. Durchgehend auf ersten und zweiten Plätzen: ein YouTube-Funvideo zum Thema Taxi rufen mit Siri. Weiter: regional ausgespielte Adwords-Resultate eines Taxiunternehmens in Witten und zwei großräumig operierende Taxiruf-Unternehmen.
Ein Nexus gab ein wenig hilfreiches Direktresultat aus dem Adressbuch zurück: Taxi Berlin war dort ohne Nummer gespeichert und konnte nicht angerufen werden.
Ein Honor7 verstand reproduzierbar statt der Anfrage den Begriff „Gruppentaxi“ mit wenig hilfreichen Ergebnissen (schulbus.ch auf 1)
Siri, wo kann ich hier essen gehen?
Die Ergebnisse zerfallen in zwei Gruppen: vier Siris gaben in der gleichen Reihenfolge die tatsächlich nahegelegen Restaurants Vapiano, Orlando und Extrablatt aus. Vier Siris interpretierten offenbar Lebensmittelkauf und gaben in wechselnder Reihenfolge zwei nahegelegene Rewe- und einen Aldi-Supermarkt an. Unter diesen war auch eine im Test gefragte englischsprachige Siri, die mit dem Taxiruf (auf englisch) keine Probleme hatte.
Eine Siri warf hier die gleichen Ergebnisse wie zur „Party“-Frage aus (letztere wurde in der Regel restaurantlastig beantwortet). Bemerkenswert auch: zum Fragezeitpunkt waren zwei der drei Top-Suchergebnisse noch geschlossen (und wurden im Suchergebnis als geschlossen angezeigt).
OK Google, wo kann ich hier essen gehen?
Keinerlei Hinweis, dass Geolocation in dieser Suchanfrage irgend eine Rolle spielte: durchgehend war der erste Platz restaurantfinder.de, gefolgt von Tripadvisor-Ergebnisseiten, die sich nicht nach räumlicher Nähe, sondern der Passung zur Suchphrase „wo kann ich hier essen gehen“ platzierten: „Man kann hier essen gehen – Poseidon, Koblenz“, weiter Ergebnisse in Konstanz und Breisach.
Siri, wo ist heute abend Party?
Siri setzt „Party“ weitgehend mit Club, Bar, Restaurant gleich: vier mal die auch als Club/Lounge durchgehenden Ergebnisse Musikpalette, Bang Bang Burgers und Breakpoint, dreimal das identische Ergebnis zum Essen gehen: Vapiano, Orlando und Extrablatt. Einmal ist das Musikpalette/Burgers/Breakpoint-Ergebnis ebenfalls Duplikat der Essensabfrage. Auch hier wurden zwei geschlossene Locations als Top-Ergebnis angezeigt, weiter gab es Ergebnisse mit zwei explizit als „geöffnet“ angezeigten Locations und einem ohne Angabe des Öffnungsstatus. Ob eine Anzeige geöffnet/geschlossen überhaupt erfolgt, ist inkonsistent, beobachtet wurde auch das komplette Fehlen.
Außer Konkurrenz: dieselbe Frage gegen 23.00 direkt auf dem OMClub ergab kein Ergebnis.
OK Google, wo ist heute abend Party?
Auch hier wurden nur externe Aggregatoren angezeigt: Das Ruhrgebiets-Magazin coolibri war durchgehend auf allen ersten Plätzen, einmal konnte Virtualnights auf drei landen, ansonsten auf den Plätzen dahinter. Auffällig war hier Variation in den regionalen Unterseiten, die von Coolibri auf den Plätzen 1-3 eingelistet werden: die Folge NRW/Essen/Dortmund wurde ebenso beobachtet wie NRW/Essen/Bochum und NRW/Bochum/Köln. Virtualnights erschien auf Platz 3 mit dem Angebot für Berlin.
Erkenntnisse?
Bei den Google-Anfragen ist zweierlei besonders auffällig:
- Es scheint nicht trivial, Begriffe, die regionale Suchintention signalisieren, als solche (und nicht als Teil der Suchphrase) immer korrekt zu erkennen, ebenso „echt intentionale“ Assistenten-Aufforderungen (siehe YouTube-Taxi-Ergebnisse)
- Ein hoher Anteil von externen Aggregatoren: liefern die bessere/aktuellere Ergebnisse? Oder hat Google Sorge wegen Monopol/Wettbewerbsklagen?
Siri verblüffte insbesondere mit
- einer Zweiteilung bei den „Essen“-Anfragen: die „Supermarkt-Interpretation“ war überraschend
- dem besseren Handling von Intentionen, verglichen mit Google
Aufgrund des Settings konnten weitere Rahmenfaktoren (Suchverlauf, Herkunft/Hauptaufenthaltsort usw.) nicht geprüft werden, bei dieser Stichprobengröße wäre eine Auswertung auch unsinnig gewesen. Die Locationdienste waren durchgehend aktiviert – bei einem Siri-iPhone wurde nach der Frage nach dem Taxi moniert, diese Dienste seien aus und sie müssen zur Beantwortung der Frage aktiviert werden.
Der Einfluss des Locationverlaufs auf spätere Location-bezogene Suchergebnisse wäre eine interessante Frage, andererseits scheint schon das Erkennen eines Location-Bezugs nicht immer trivial zu sein. Auch die komplett unterschiedliche Interpretation identischer (und als identisch erkannter) Suchanfragen ist erstaunlich.
Die Suchergebnisse selber sind wie erwartet weniger „webseitenzentriert“ – Taxis werden angerufen, für Restaurants/Locations werden Anruf oder Wegbeschreibung angeboten. Eine „Voice Search führt zu Kunden/Besuchern, nicht zu Webseitenaufrufen“-Schlussfolgerung wäre etwas gewagt dahingehend, dass diese Resultate stark von den Suchanfragen abhängen, andererseits sind „typische“ (regionale, zu kurzfristigen Intentionen gehörende) VoiceSearch-Anfragen oft mit Anrufmöglichkeiten, Wegbeschreibungen, Reviews besser beantwortet. VoiceSearch-Suchphrasen, für die das nicht gilt, dürften sehr ähnlich wie Tastatur/Desktop-Suchanfragen beantwortet werden und bedürfen weniger Aufmerksamkeit.
Zu guter Letzt: nochmals, das ist in keiner Weise repräsentativ/verallgemeinerbar. Weiter haben die Assistenten in den letzten Wochen mit Sicherheit weitere Fortschritte gemacht. Und am wichtigsten: danke an alle, die mitgemacht haben und an ein großartiges koks.digital-Orgateam!
Trackbacks & Pingbacks
[…] einmal mehr meinem Steckenpferd Voicesearch/Voice Assistenten. 2016 machten wir noch eine kleine Voicesearch-Umfrage und man kann konstatieren: wir sind nicht nur ein Stück weiter, der ganze Bereich hat seine […]
Hinterlasse einen Kommentar
An der Diskussion beteiligen?Hinterlasse uns deinen Kommentar!