Analyse und Auswertung von Usability-Tests

So kannst du Usability-Test-Ergebnisse in 5 Schritten auswerten 

Eine Menge qualitativer Daten, Protokolle und Beobachtungen in einen aussagekräftigen Bericht über Usability-Probleme zu verwandeln, kann zunächst überwältigend erscheinen. Dabei geht es aber einfach nur darum, deine Ergebnisse zu organisieren und nach Mustern und wiederkehrenden Problemen in den Daten zu suchen.

1. Schwerpunkte definieren

Bevor du mit der Analyse der Ergebnisse startest, solltest du dir deine ursprünglichen Ziele für den Test ins Gedächtnis rufen. Erinnere dich an die Problembereiche auf deiner Website, die du untersuchen wolltest.

Sobald du mit der Auswertung der Testdaten beginnst, wirst du Hunderte oder sogar Tausende von Erkenntnissen über die Nutzenden erhalten. Wenn du herausfindest, welche Bereiche dich am meisten interessieren, kannst du dich auf das wichtigste Feedback konzentrieren.

Verwende diese Schwerpunkte, um übergreifende und relevante Kategorien zu definieren. Höchstwahrscheinlich entspricht jede Kategorie einer der Aufgaben, die du den Nutzenden während des Tests gestellt hast. Das können Dinge sein wie: sich anmelden, nach einem Artikel suchen oder den Bezahlvorgang durchlaufen etc.

2. Daten organisieren

Gehe deine Testsitzungen nacheinander durch. Sieh dir die Aufzeichnungen an, lies die Transkripte und arbeite deine Notizen sorgfältig durch.

Suche nach:

• Problemen, auf die die Testpersonen bei der Ausführung der Aufgaben gestoßen sind;

• Aktionen, die sie ausgeführt haben;

• Kommentare (positive und negative) der Testpersonen.

Notiere jedes Problem separat, das eine Testperson entdeckt hat, oder jede unerwartete Handlung, die sie ausgeführt hat. Erfasse die Aufgabe, die sie erledigen sollte, und das genaue Problem, auf das sie gestoßen ist, und füge spezifische Kategorien und Tags hinzu (z. B. ortsbezogene Tags wie „Checkout“ oder „Landingpage“ oder erfahrungsbezogene Tags wie „defektes Element“ oder „Zögern“), damit du sie später sortieren und filtern kannst. Wenn du zuvor User Personas oder Testgruppen erstellt hast, kannst du sie hier auch eintragen.

Am besten machst du das digital, mit einem Tool wie Excel oder Airtable, denn du möchtest die Daten umherschieben, mit Tags versehen und nach Kategorien sortieren können.

Profi-Tipp: Achte darauf, dass deine Aussagen prägnant sind und das Problem genau beschreiben.

• Schlechtes Beispiel: Die Testperson hat auf den falschen Link geklickt.

• Gutes Beispiel: Die Testperson hat auf den Link für Rabattcodes geklickt und nicht auf den für Zahlungsinformationen.

Wenn du fertig bist, könnten deine Daten zum Beispiel so aussehen:

3. Schlussfolgerungen ziehen

Beurteile deine Daten sowohl qualitativ als auch quantitativ:

• Die quantitative Analyse liefert dir Statistiken, mit denen du das Vorhandensein und den Schweregrad von Problemen ermitteln kannst.

• Die qualitative Analyse gibt dir Aufschluss darüber, warum es Probleme gibt und wie sie behoben werden können.

Bei den meisten Usability-Studien liegt der Schwerpunkt und der Großteil der Ergebnisse auf qualitativen Aspekten, aber die Berechnung einiger zentraler Daten kann deinen Ergebnissen Glaubwürdigkeit verleihen und als Grundlage für zukünftige Updates der Website dienen.

Quantitative Datenanalyse

Extrahiere konkrete Zahlen aus den Daten, um eine quantitative Datenanalyse durchzuführen. Zahlen wie Rankings und Statistiken helfen dir, herauszufinden, wo die größten Probleme auf deiner Website liegen und wie schwerwiegend sie sind.

Zu den quantitativen Kennzahlen für User-Tests gehören:

• Erfolgsquote: der Prozentsatz der Nutzenden in der Testgruppe, die die zugewiesene Aufgabe am Ende erledigt haben;

• Fehlerquote: der Prozentsatz der Nutzenden, die denselben Fehler gemacht haben oder auf denselben Fehler gestoßen sind;

• Zeit zur Ausführung der Aufgabe: die durchschnittliche Zeit, die für eine bestimmte Aufgabe benötigt wurde;

• Zufriedenheitsranking: die durchschnittliche, von den Nutzenden angegebene Zufriedenheit, gemessen auf einer nummerierten Skala.

Qualitative Datenanalyse

Qualitative Daten sind genauso wichtig, wenn nicht sogar wichtiger als quantitative Analysen, denn sie zeigen, warum bestimmte Probleme auftreten und wie sie behoben werden können. Solche Anekdoten und Insights helfen dir, Lösungen zur Verbesserung der Benutzerfreundlichkeit zu finden.

• Sortiere die Daten in deiner Tabelle so, dass Probleme, die dieselben Aufgaben betreffen, zusammengefasst sind. So bekommst du einen Überblick, wie viele Nutzende Probleme mit einem bestimmten Schritt (z. B. beim Bezahlen) hatten und wie sehr sich diese Probleme überschneiden. Achte auf Muster und Wiederholungen in den Daten, um wiederkehrende Probleme zu erkennen.

• Führe eine fortlaufende Liste der einzelnen Probleme und wie häufig sie auftraten. Dafür erstellst du eine Liste mit Problemen auf der Website. Du könntest zum Beispiel feststellen, dass mehrere Nutzende Probleme mit der Eingabe ihrer Zahlungsdaten beim Checkout hatten. Wenn sie alle das gleiche Problem hatten, lässt sich daraus schließen, dass es hier etwas gibt, das gelöst werden muss.

• Versuche, bestimmte Erkenntnisse auszuweiten, wenn sie nicht genau mit anderen übereinstimmen, aber dennoch einen starken Zusammenhang aufweisen. Eine Nutzerin, die zum Beispiel keine Telefonnummer für den Kundenservice finden konnte, und ein anderer Nutzer, der keine E-Mail-Adresse finden konnte, sollten zu der Schlussfolgerung zusammengefasst werden, dass die Kontaktdaten des Unternehmens schwer zu finden sind.

4. Themen priorisieren

Wenn du eine fertige Liste mit allen Problemen hast, ordne sie nun nach der Wirkung, die sie hätten, wenn sie gelöst würden. Überlege, wie groß das Problem auf der gesamten Website ist und wie schwerwiegend; berücksichtige die Auswirkungen bestimmter Probleme, wenn sie auf die gesamte Website ausgeweitet werden (wenn z. B. eine Seite voller Tippfehler ist, solltest du wahrscheinlich auch den Rest der Website Korrektur lesen lassen).

Sortiere die Probleme nach:

• kritisch: unmöglich für Nutzende, Aktionen auszuführen

• schwerwiegend: frustrierend für viele Nutzende

• geringfügig: ärgerlich, aber nicht so, dass es die Nutzenden vertreibt

Ein Beispiel: Wenn Nutzende Zahlungen nicht abschließen können, ist das ein dringenderes Problem, als wenn ihnen die Farbpalette einer Seite nicht gefällt. Das erste ist ein kritisches Problem, das sofort behoben werden sollte, während das zweite ein geringfügiges Problem ist, das man später in Angriff nehmen kann.

5. Ergebnisbericht erstellen

Um von Usability-Tests zu profitieren, solltest du die Ergebnisse gezielt einsetzen, um deine Website zu verbessern. Sobald du die Daten ausgewertet und die wichtigsten Probleme priorisiert hast, kannst du diese Insights nutzen, um deine Website benutzerfreundlicher zu gestalten.

In manchen Fällen kannst du die Änderungen einfach selbst vornehmen. In anderen Fällen musst du dich vielleicht an deine Vorgesetzten im Unternehmen wenden – und einen Bericht verfassen, in dem du die entdeckten Probleme und deine Lösungsvorschläge beschreibst.

Merkmale eines aussagekräftigen Usability-Berichts

Es reicht nicht aus, den Stakeholdern die Rohdaten zu präsentieren und zu hoffen, dass sie zu Veränderungen führen. Ein guter Bericht sollte:

• die wichtigsten Probleme nach Priorität vorstellen. Zähle nicht einfach alles auf, was schiefgelaufen ist. Konzentriere dich auf die dringendsten Aufgaben.

• konkret sein. Es reicht nicht, einfach zu sagen: „Die Nutzenden hatten Schwierigkeiten bei der Eingabe der Zahlungsinformationen.“ Identifiziere die spezifischen Bereiche des Designs, der Navigation oder des Flows, die das Problem verursacht haben.

• Belege enthalten. Ausschnitte aus Videos, Screenshots oder Transkripte von tatsächlichen Tests können deine Argumentation unterstützen (für manche Stakeholder ist es wirkungsvoller, wenn sie selbst sehen, dass jemand Probleme hatte, als wenn sie nur davon hören). Erwäge deshalb, deinen Bericht in Form einer Präsentation statt als schriftliches Dokument zu erstellen.

• Lösungen aufzeigen. Mach ein Brainstorming über Lösungen für die wichtigsten Probleme. Meist gibt es mehrere Möglichkeiten. Wenn die Nutzenden zum Beispiel die Versandoptionen nicht verstehen, könnte das ein Design- oder ein Textproblem sein. Es liegt an dir und deinem Team herauszufinden, wie ihr das Nutzerverhalten am effizientesten in die gewünschte Richtung lenken könnt.

• auch positive Erkenntnisse beinhalten. Neben den identifizierten Problemen solltest du auch positive Rückmeldungen erwähnen, die du erhalten hast. So weiß dein Team, was gut funktioniert, und kann diese Elemente bei zukünftigen Website-Updates beibehalten.

Im Kapitel zu Vorlagen und Checklisten findest du weitere Hinweise, wie du deine Ergebnisse strukturieren kannst.

Wie es nach der Usability-Test-Analyse weitergeht

Nachdem du die empfohlenen Änderungen beschlossen und umgesetzt hast, solltest du ihre Wirksamkeit weiter testen – entweder mit einer weiteren Runde Usability-Tests oder mit A/B-Tests. Vergleiche das Feedback und die Statistiken zu den Erfolgsquoten, um die Änderungen zu bewerten und zu bestätigen, dass das Problem behoben wurde. Verfeinere die Änderungen und führe weitere Tests durch, bis alles funktioniert – und dann … kannst du mit den Usability-Tests von vorn beginnen.