NOVA Blog: 20. Februar 2020
Card Sorting & Tree Testing – Mentale Modelle von Nutzern messen
Kategorie: Methoden & Tools, Usability, UX Grundlagen
„Unsere Kunden finden die Produkte in unserem Online-Shop nicht.“ Eine solche Aussage in einem Briefing ist für uns oft der Ausgangspunkt zu überprüfen, ob das konzeptuelle Modell des Online-Shops auch wirklich dem mentalen Modell des Nutzers entspricht. Die Lösung ist dann oftmals die Durchführung eines Card Sortings mit einem anschließenden Tree Testing. Gleiches gilt übrigens auch für andere Navigationsstrukturen (oder so genannte Informationsarchitekturen), z. B. bei Informationsportalen oder bei der Einteilung des Menüs eines digitalen Produkt-Interfaces wie bspw. dem Navigations- und Entertainmentsystem im Auto. Aber von vorne!
Konzeptuelles Modell? Mentales Modell? Was ist das überhaupt und was ist der Unterschied?
Das konzeptuelle Modell ist erst einmal die Struktur nach der die Produktverantwortlichen, Entwickler oder auch das Marketing eine Webseite, eine App oder ein digitales Produkt aufgebaut haben. Im Beispiel eines Online-Shops haben sich die Produktmanager oder auch das Marketing Gedanken gemacht, wie sie Produkte platzieren, in Kategorien einteilen und wie sie diese Kategorien in der Navigation des Online-Shops abbilden. Oft stehen hier einfach Mutmaßungen der Produktmanager (wie z. B. „Ich würde einen Fernseher unter Unterhaltungselektronik suchen.“ / „Der Wettbewerber macht es auch so!“) oder aber strategische Entscheidungen des Marketings im Vordergrund („Wir müssen unsere neue Produktreihe präsent auf erster Ebene der Navigation platzieren, um möglichst viel davon zu verkaufen.“).
Das mentale Modell ist dagegen die Vorstellung, mit der die tatsächlichen Nutzer an eine Webseite, App oder ein digitales Produkt herantreten. Es basiert zum einen auf vorherigen Nutzungserfahrungen mit Webseiten, Apps und digitalen Produkten, zum anderen im Falle eines Online-Shops aber auch auf ganz allgemeinen Erfahrungen im Bereich „Einkaufen“. Ein virtueller Einkaufswagen und eine virtuelle Kasse in einem Online-Shop tragen beispielsweise der Erfahrung Rechnung, dass man beim analogen Einkaufen Produkte zunächst in einen Einkaufswagen legt und später an der Kasse bezahlt. Das mentale Modell beinhaltet neben den Vorstellungen des Nutzers über die Interaktionen und den Dialogverlauf eines Online-Shops auch Vorstellungen darüber, wie die Produkte innerhalb des Shops kategorisiert und sortiert sind.
Kommen Nutzer in einem Online-Shop nicht zurecht, liegt das häufig daran, dass das konzeptuelle Modell vom mentalen Modell abweicht. Das passiert beispielsweise dann, wenn oben genannte Mutmaßungen von Produktmanagern nicht zutreffen oder die neue Produktreihe zwar tendenziell benutzerfreundlich prominent platziert wurde, aber das Marketing dem Ganzen einen fancy amerikanisch-klingenden und zur CI des Unternehmens passenden Namen verpasst hat, unter dem sich der Nutzer so gut wie gar nichts vorstellen kann. Um hier gegen zu argumentieren und es besser zu machen, hilft nur, das mentale Modell des Nutzers zu messen und zu verstehen.
Mithilfe von Card Sorting das mentale Modell des Nutzers verstehen
Bei einem Card Sorting lassen wir die Nutzer selbst einmal die verschiedenen Produkte eines Online-Shops, die Themen auf einer Informationswebseite oder auch die Funktionen eines Bordcomputers in Kategorien einteilen. Das kann auf unterschiedliche Weise geschehen. Wir können ein quantifizierendes (meist online durchgeführtes) von einem qualitativen Card Sorting und geschlossenes, offenes und hybrides Card Sorting voneinander unterscheiden.
Online Card Sorting (Optimal Workshop)
Quantifizierendes Card Sorting vs. qualitatives Card Sorting
Ein quantifizierendes Card Sorting ist meist in einem ersten Schritt die richtige Wahl, um mithilfe von circa 100 Nutzern im Rahmen einer Online-Befragung ganz grundsätzlich zu verstehen, nach welchen unterschiedlichen mentalen Modellen bzw. Sortierlogiken Nutzer die Produkte/Inhalte kategorisieren. Zusätzlich ist es möglich, die verschiedenen Sortierlogiken zu quantifizieren: Welches mentale Modell kommt wie häufig vor? Aber auch: Welche Produkte werden wie häufig gemeinsam sortiert? Als Tool nutzen wir hierbei übrigens Optimal Workshop, um das Online Card Sorting zu programmieren.
Bei einem quantifizierenden Card Sorting kommt es häufig zu vielen Aha-Momenten. Es entsteht aber auch das ein oder andere Fragezeichen, warum auf die eine oder andere Weise sortiert wird. Insbesondere wird es kniffelig, wenn einzelne Produkte von der Hälfte der Nutzer in Kategorie A und von der anderen Hälfte in Kategorie B einsortiert werden. –Oder wenn grundsätzlich verschiedene mentale Modelle bzw. Sortierlogiken aufgedeckt werden. Welche ist nun die bessere? Kommen Nutzer, die nach Logik B sortieren, auch mit Logik A zurecht und andersherum?
Clusteranalyse eines Online Card Sortings in Optimal Workshop
Hier kommt das qualitative Card Sorting ins Spiel, denn in oben beschrieben Fällen hilft es ungemein, mit den Nutzern während des Card Sortings zu sprechen und zu hinterfragen, warum sie die Produkte auf die eine oder andere Weise einsortieren und welche Alternativen sie sehen. Daher empfehlen wir meistens mit 85-90 Nutzern ein quantifizierendes Card Sorting durchzuführen und anschließend noch einmal 10-15 Nutzer in 30-minütigen Interviews beim Card Sorting zu beobachten und Rückfragen zu stellen, um die mentalen Modelle wirklich in der Tiefe zu verstehen.
Geschlossenes, offenes oder hybrides Card Sorting?
Grundsätzlich ist es möglich bei einem Card Sorting bereits Kategorien vorzugeben. Man spricht dann von einem geschlossenen Card Sorting. Sinnvoll kann ein solches Vorgehen sein, wenn Kategorien aus bestimmten Gründen schon so gut wie gesetzt sind und es lediglich darum geht, ob die Kategorien im Rahmen des mentalen Modells der Nutzer auch wirklich trennscharf voneinander sind oder bestimmte Inhalte in verschiedene Kategorien passen und es dadurch zu Verwirrungen kommen könnte.
In den meisten Fällen empfiehlt es sich aber dem Nutzer erst einmal alle Freiheiten zu geben. In einem offenen Card Sorting werden keine Kategorien vorgegeben. Der Nutzer sortiert komplett nach seinem eigenen mentalen Modell und benennt die einzelnen Kategorien.
Bei einem hybriden Card Sorting sind bereits ein paar Kategorien vorgegeben, der Nutzer kann jedoch eigene ergänzen. Ein solches Card Sorting kann im Einzelfall sinnvoll sein, wenn z. B. die Kategorien bereits so gut wie gesetzt sind, aber Sie dennoch offen für neue Impulse der Nutzer sind. Aus unserer Erfahrung nutzen jedoch nur wenige Nutzer bei einem hybriden Card Sorting tatsächlich die Möglichkeit, eigene Kategorien zu bilden, sodass es sich meist wirklich nur um einzelne Impulse handelt!
Mit wie vielen Karten sollte getestet werden?
Oft werden wir gefragt, mit wie vielen Karten (Inhalten) maximal getestet werden sollte. Das kommt darauf an, ob es sich um Bildkarten (die z. B. das jeweilige Produkt zeigen) oder reine Textkarten handelt. Bei Bildkarten haben wir die Erfahrung gemacht, dass nicht mehr als 20 Karten im Rahmen einer Online-Befragung sortiert werden sollten. Bei Textkarten sollten nicht viel mehr als 60 Karten verwendet werden.
Schön und gut! Aber ist die neue Struktur aus dem Card Sorting auch wirklich besser?
In der Regel: ja! Schließlich basiert die Struktur aus dem Card Sorting auf dem mentalen Modell des Nutzers. Aber natürlich gibt es hier auch noch eine Methode, um wirklich sicher zu gehen und skeptische Stakeholder zu überzeugen – und dafür muss die neue Struktur auch noch gar nicht aufwendig programmiert werden!
Adé klassischer A/B-Test! Mit einem Tree Testing die neue Struktur gegen die alte testen!
Um etwas Neues gegen etwas Altes im digitalen Kontext zu testen, wird häufig zum A/B-Test gegriffen. Dazu muss aber erst einmal die neue Variante programmiert werden. Das kostet im Zweifel viel Geld und Zeit.
Mithilfe von Optimal Workshop lässt sich im Rahmen einer Online-Befragung jedoch auch ein so genanntes Tree Testing umsetzen. Bei einem Tree Testing erhält der Nutzer in einem Prototyp der neuen bzw. alten Struktur verschiedene Suchaufgaben. – Und dies in der Regel erst einmal losgelöst von jeglichem Design, denn es geht in diesem Schritt um die reine Struktur! (Eine Lösung mit Design zu testen, haben wir hier beschrieben).
Online Tree Testing (Optimal Workshop)
Bei einem Tree Testing empfehlen wir meist mit 150 Nutzern pro Strukturvariante (alt vs. neu) zu testen. Die Nutzer sollten im Rahmen der Online-Befragung maximal 10 Aufgaben in zufälliger Reihenfolge gestellt bekommen. Der Grund: Nutzer lernen mit jeder Aufgabe, sich besser in der Struktur zurecht zu finden, ermüden andererseits aber auch. Bei mehr als 10 Aufgaben muss also mit verzerrten Ergebnissen gerechnet werden. Aufgrund der Lern- und Ermüdigungseffekte sollte jeder Nutzer auch nur eine der beiden Strukturen testen und über die Soziodemographie sichergestellt werden, dass beide Testgruppen vergleichbar sind.
Als Ergebnis des Tree Testings bekommen Sie die Erfolgsrate, die Zeit zur Aufgabenlösung sowie Klickpfade zu beiden Varianten an die Hand. Insbesondere die Klickpfade geben Aufschluss darüber, ob Nutzer sich durch ein bestimmtes Wording in der Navigationsstruktur verwirren lassen und daher falsch „abbiegen“.
Klickpfad-Analyse eines Online Tree Testings in Optimal Workshop
Wie beim Card Sorting, ergibt es auch beim Tree Testing Sinn, noch einmal mit circa 10 Nutzern während des Absolvierens der Suchaufgaben zu sprechen, um wirklich in der Tiefe zu verstehen, warum die Nutzer etwas unter der einen oder anderen Kategorie suchen.
Mit Card Sorting und Tree Testing zu 17% höherer Auffindungsrate
Wir haben Card Sorting und Tree Testing Studien bereits für ganz verschiedene Services durchgeführt: Für Informationsportale, Online-Shops, Kategorisierung von Fotoprodukten, Bordcomputern im Auto oder auch für die Menüstruktur von Heizungscontrollern, und sogar für klassisches Category Management im lokalen Einzelhandel.
Vor ein paar Jahren haben wir einen Case gemeinsam mit idealo erarbeitet. Mithilfe von Card Sorting und anschließendem Tree Testing konnte die Anzahl der Kategorien auf Ebene 2 der Navigation von 481 auf 59 reduziert werden. Als Folge wurde die Struktur um 11%-Punkte übersichtlicher bewertet als die alte Struktur. Die Zeit zur Aufgabenlösung hat sich um 12 Sekunden reduziert und die Erfolgsrate konnte um 17% gesteigert werden.
KPI-Vergleich alte gegen neue Struktur
Aber nun genug mit Infos und Zahlen um sich geworfen! Probieren Sie unsere UX-Suite mit Card Sorting und Tree Testing (und noch mehr) doch einfach einmal selbst hier aus:
Hier haben Sie die Möglichkeit den Blog-Eintrag zu bewerten
Sie sind an Card Sorting, Tree Testing oder einem anderen Tool interessiert oder wünschen einen persönlichen Termin? Gerne.
Autorenprofil
-
UX Research Manager
E-Mail schreiben
Spezialgebiet: Mobile UX, Tools, Quantitative UX Methoden
Letzte Beiträge
- 29. Januar 2024GastbeitrageHealth UX: Die Schlüsselrolle der Nutzerzentrierung
- 16. April 2020Methoden & ToolsUX messbar machen: Joy-of-Use-Tracking
- 20. Februar 2020Methoden & ToolsCard Sorting & Tree Testing – Mentale Modelle von Nutzern messen
- 6. Mai 2019EventsUX als Religion: Eindrücke von der uxinsight!