NOVA Blog: 15. April 2020

User Experience Questionnaire (UEQ)

Der UEQ versucht, die User Experience eines Systems mit einer großen und stetig wachsenden UX-Benchmark-Datenbank (Stand 03.2020 circa 450 Projekte) zu vergleichen. Neben der Attraktivität eines Produktes operationalisiert der UEQ die Gebrauchstauglichkeit (Usability) mithilfe von Indizes für die Faktoren Durchschaubarkeit, Effizienz und Steuerbarkeit. Darüber hinaus verweisen Fragen, die auf die Originalität und die Stimulation des Produktes eingehen, auf den Erlebniswert. Der Erlebniswert soll dabei entscheidend für das Wecken des Interesses an dem Produkt und die Nutzungsmotivation sein. Hiermit ist also im Grunde die User Experience gemeint.

Auswertungsbeispiel UEQ. Links die einzelnen Items, rechts ein Beispiel eines schlecht bewerteten Produktes (dunkelgraue Linie) im Vergleich zur Benchmark-Datenbank.

AttrakDiff

Der AttrakDiff versucht dagegen zu bewerten, wie begehrenswert ein digitales Produkt ist. Statt einer Benchmark-Datenbank wird das Produkt in einem fixen Schema hinsichtlich seiner „pragmatischen Qualität“ und seiner „hedonischen Qualität“ eingeordnet. Die pragmatische Qualität erfasst dabei die Gebrauchstauglichkeit (Usability) eines Systems. Die hedonische Qualität verweist dagegen auf die Bedürfnisse des Users bei der Entscheidung, ein System zu nutzen. Sie unterteilt sich in die zwei Subkomponenten Identität (inwieweit dient das Produkt dazu, eine gewünschte Identität an andere zu kommunizieren) und Stimulation (inwieweit kann das Produkt das Bedürfnis nach persönlicher Entwicklung unterstützen).

Auswertungsbeispiel AttrakDiff. Links die einzelnen Items, rechts das Schema zur Einordnung. Das Ziel ist ein „begehrtes Produkt“.

So kompliziert das klingt, so kompliziert ist es teilweise unserer Erfahrung nach auch für den Nutzer, das Produkt auf den Skalen der verschiedenen Benchmarks zu bewerten. Wir haben die beiden genannten Methoden bereits in verschiedenen Studien getestet.

Stellen wir uns einmal vor, wir werden zu einem Online-Shop oder einem Smart Fridge gefragt, ob er uns Menschen näherbringt oder von Menschen entfernt und ob das Produkt ausgrenzend oder einbeziehend wirkt. Ziemlich schwierige Fragen.

Das soll nicht heißen, dass es nicht für einige Produkte relevant sein kann, dass sie mich anderen Menschen näherbringen. Für soziale Netzwerke, Dating-Portale, Apps wie Pokemon Go oder auch das ein oder andere Auto ist es sicherlich sehr relevant für die User Experience und Kauf-/Nutzungsentscheidung, dass es mich anderen Menschen näherbringt. Aber in vielen Fällen wirken die Fragen unpassend, künstlich oder sogar befremdlich.

Die Treiberanalyse als alternatives Joy-of-Use-Tracking

Vor einer Weile hatte ich ein interessantes Gespräch mit einem Kunden. Er fragte mich, wie er denn nun die UX seiner App messen und über einen längeren Zeitraum tracken kann. Dabei ging es ihm darum, was die Nutzer an seiner App begeistert und zum Weiternutzen motiviert und welche Aspekte längerfristig optimiert werden müssen, um die Nutzungsmotivation aufrecht zu halten. Schließlich haben es Apps sehr schwer, eine dauerhafte Nutzungsmotivation sicherzustellen: 90% aller Apps werden nach sechs Monaten nicht mehr genutzt.

In der klassischen Markt- bzw. Kundenzufriedenheitsforschung wird für die Fragestellung „Was funktioniert bereits gut und treibt die Nutzung bzw. Weiterempfehlung voran versus was muss noch verbessert werden?“ die Treiberanalyse verwendet.

Bei einer Treiberanalyse bewerten Nutzer ihre Zufriedenheit mit verschiedenen Aspekten eines genutzten Services oder Produktes (wie z. B. Nutzerfreundlichkeit, Inhalte, Design etc.) auf einer Skala (z. B. von „sehr zufrieden“ bis „überhaupt nicht zufrieden“). Darüber hinaus werden die Nutzer klassischerweise gebeten, ihre Weiterempfehlungsbereitschaft anzugeben. Auf Grundlage der Antworten werden so genannte Shapley Values berechnet. Dabei werden alle bewerteten Aspekte mit der Weiterempfehlungsbereitschaft in Beziehung gesetzt: Welche Aspekte werden gut bewertet, wenn auch die Weiterempfehlungsbereitschaft gut ausfällt? Und welche Aspekte werden niedrig bewertet, wenn auch die Weiterempfehlungsbereitschaft niedrig ausfällt? Welche Aspekte haben keinen Einfluss? Letztlich wird der Einfluss (genauer gesagt die „relative Wichtigkeit“) des Erfüllungsgrades (durchschnittliche Bewertung) der Aspekte auf die Weiterempfehlungsbereitschaft im Wertebereich von 0 (keine Wichtigkeit) bis 1 (alleinige Wichtigkeit) ermittelt, wobei alle Aspekte zusammengerechnet einen Wert von 1 bilden.

Verschiedene Aspekte eines Services und ihre relative Wichtigkeit auf die Weiterempfehlungsbereitschaft.

Auf Grundlage der relativen Wichtigkeit für die Weiterempfehlungsbereitschaft und der Zufriedenheit mit den einzelnen Aspekten werden die Aspekte schließlich in vier Quadranten eingeordnet.

Einordnung der Treiber im Rahmen einer so genannten Portfolio-Analyse.

In verschiedenen Projekten haben wir die Treiberanalyse auf digitale Produkte, wie bspw. Apps angewandt. Um hier einen Längsschnitt der Nutzungsmotivation über einen längeren Zeitraum zu erhalten, haben wir über einen Zeitraum von mehreren Monaten immer wieder 30 Nutzern die verschiedenen Features und Inhalte der App bewerten lassen und statt nach der Weiterempfehlungsbereitschaft nach der Wahrscheinlichkeit gefragt, dass die Nutzer die App weiterhin nutzen werden. Als Ergebnis erhalten wir bei einem solchen Vorgehen Aufschluss darüber, welche Aspekte (Inhalte und Features) die Nutzungsmotivation antreiben. Mithilfe der bereits erwähnten Quadranten können wir dann Handlungsbedarfe aufzeigen, um die Nutzungsmotivation und somit die UX langfristig sicherzustellen.

Die vier Quadranten:

Unten links   –

unerfüllte und unwichtige Aspekte: Es wird hingenommen, dass ein Feature oder Inhalt nicht besonders gut umgesetzt ist. Eventuell handelt es sich um Features oder Inhalte, die für die Nutzer nicht besonders relevant sind.

Oben links    –

erfüllte, aber unwichtige Aspekte: Es handelt sich um Hygienefaktoren, die jedes Produkt (eine Website/App) aufweisen sollte, jedoch nicht zur Nutzungsmotivation und Begeisterung beitragen. Das bedeutet nicht, dass diese Features und Inhalte komplett unwichtig für die Nutzer sind. Sie stellen vielmehr Selbstverständlichkeiten dar, die einerseits nicht fehlen sollten. Über die sich das Produkt aber andererseits auch nicht differenzieren kann.

Oben rechts –

erfüllte und wichtige Aspekte: Hier finden sich die Begeisterungsfaktoren, die das Produkt vom Wettbewerb differenzieren! Mit diesen Aspekten wird derzeit beim Nutzer gepunktet. Es gilt, diese Features und Inhalte mindestens weiterhin auf dem bisherigen Niveau zu halten oder noch mehr davon anzubieten, um die Begeisterung und Nutzungsmotivation langfristig zu sichern!

Unten rechts –

unerfüllte, aber wichtige Aspekte: Achtung! Hierbei handelt es sich um Features und Inhalte, die aktuell schlecht umgesetzt sind, aber wichtig für die Nutzungsmotivation sind. Hier sollte dringend nachgebessert werden, um keine Nutzer zu verlieren.

Ein Problem mit klassischen UX-Benchmarks bleibt leider auch bei der Treiberanalyse bestehen. Die Messung basiert rein auf standardisierten (Selbst-)Einschätzungen im Rahmen eines standardisierten Fragebogens (Frage: „Wie wahrscheinlich ist es, dass Du die App weiterhin nutzen wirst?“), nicht auf dem tatsächlichen Nutzungsverhalten. Diese Einschränkung gilt es, wenn möglich, zu überwinden. So können mithilfe einer Tagebuchstudie die standardisierten Einschätzungen um qualitative Schilderungen ergänzt werden. Wann und wie oft wurde das Produkt tatsächlich genutzt und warum hat Aspekt XY gefallen oder nicht gefallen?

Noch näher am tatsächlichen Nutzungsverhalten landen wir, wenn wir auch noch eine Tracking-Lösung dazu nehmen, die uns zuverlässig aufzeigt, wie häufig das Produkt, die Website, App oder Software und im Detail verschiedene Features genutzt werden:

• Für Websites bietet sich hier beispielweise Google Analytics oder Hotjar an, wenn noch detaillierte Nutzungsdaten erhoben werden sollen.
• Im Rahmen von Apps bietet Appsee ein umfassendes Tracking an.
• Bei einer Desktop-Software ermöglicht Revenera, die Nutzung der Software und einzelner Aktionen bzw. Events innerhalb der Software zu tracken.

Mithilfe solcher Tracking-Tools stehen uns verschiedene metrische Daten, wie die Nutzungsfrequenz oder -dauer des Produktes zur Wahl. Darüber hinaus können Nutzer gezielt über die Website, App oder Software zu kurzen Umfragen und somit zur Bewertung genutzter Funktionen eingeladen werden. Diese Bewertungen können wir dann mit der tatsächlichen Nutzungsfrequenz oder -dauer in Beziehung setzen und identifizieren so letztlich die Treiber für das tatsächliche Nutzungsverhalten.

Möchtest auch Du die UX deiner Produkte und Services messbar machen? Dann lass uns doch einfach mal unverbindlich darüber sprechen, welche Metriken für Dein Produkt oder Service am meisten Sinn ergeben!