CRO-Glossar: Statistische Signifikanz

Warum ist statistische Signifikanz wichtig?

Wenn man 10 Mal hintereinander eine Münze wirft, liegt die Chance bei 1:1.024, dass jedes Mal „Kopf“ fällt – das ist nichts anderes als Zufall. Diese Wahrscheinlichkeit mag gering erscheinen, aber wenn 5.000 Menschen das hier lesen und das Experiment durchführen würden, ist die Wahrscheinlichkeit groß, dass mindestens eine Person 10 Mal hintereinander „Kopf“ erhält (die Wahrscheinlichkeit beträgt 99,24 %). Wenn man ein Experiment oft genug durchführt, sind unwahrscheinliche Ereignisse (statistische Anomalien) so gut wie garantiert.

In ähnlicher Weise kann der Zufall bei A/B-Tests zu Ergebnissen führen, die nicht der Realität entsprechen. Die statistische Signifikanz hilft dir, zu bestimmen, welches Risiko du bereit bist einzugehen, und du kannst den Wunsch nach Genauigkeit gegen die dir zur Verfügung stehenden Ressourcen abwägen.

Wenn du also bereit bist, ein größeres Risiko in Kauf zu nehmen, dass deine Ergebnisse zufällig entstanden sind, kannst du die Tests mit einer kleineren Stichprobe durchführen. Das ist oft notwendig, wenn der Traffic auf der Website gering ist und es länger dauert, eine große Stichprobe zu erhalten.

Was bedeutet „Effektgröße“?

Die Effektgröße (auch bekannt als Uplift im Falle eines Anstiegs oder Downlift im Falle eines Rückgangs) ist der prozentuale Anstieg oder Rückgang der Conversions zwischen Version A und Version B eines A/B-Tests. Hier sind die Schritte, um ihn zu berechnen:

• Berechne die Zunahme/Abnahme: neue Zahl - ursprüngliche Zahl

• Teile das Ergebnis durch die ursprüngliche Zahl

• Multipliziere die Antwort mit 100

Beispiel 1: Version A konvertiert zu 10 % und Version B zu 8 %. Die Effektgröße beträgt 20 % (da Version B einen Rückgang der Conversions um 20 % aufweist).

Laut den obigen Schritten:

• 10 - 8 = ein Rückgang von 2

• 2/10 = 0,2

• 0,2 * 100 = 20 %iger Rückgang

Beispiel 2: Version A hat eine Conversion-Rate von 10  % und Version B von 12  %. Die Effektgröße beträgt wieder 20 % (da Version B eine 20%ige Steigerung der Conversions aufweist).

Noch einmal:

• 10 - 12 = eine Steigerung von 2

• 2/10 = 0,2

• 0,2 * 100 = 20 %ige Steigerung

PS: Einen praktischen Rechner findest du unter https://www.skillsyouneed.com/num/percent-change.html

Wenn alle anderen Variablen konstant bleiben, ergibt eine höhere Effektgröße ein höheres Konfidenzniveau. Der Grund dafür ist einfach: Ein großer Unterschied bei der Performance ist weniger wahrscheinlich auf Zufall zurückzuführen, während ein kleiner Unterschied leicht das Ergebnis eines Zufalls sein kann.

Messung der statistischen Signifikanz

Statistiker:innen verwenden eine komplexe Formel, um die statistische Signifikanz zu berechnen, aber darüber musst du dir keine Gedanken machen. Ein Stichprobengrößen-Rechner ermöglicht es dir, den Stichprobenumfang zu berechnen, den du brauchst, wenn du die folgenden Informationen eingibst:

• Baseline-Conversion-Rate (aktuelle Conversion-Rate deiner Kontrollversion A)

• Minimale Effektgröße, die du nachweisen möchtest

• Gewünschte statistische Signifikanz (in CRO und UX ist der akzeptierte Standard 95 %)

Wenn du mit den Zahlen im obigen Rechner spielst, wird der Zusammenhang zwischen Stichprobengröße, Effektgröße und statistischer Signifikanz deutlich.

Was ist, wenn du nicht so viel Traffic hast?

Je mehr Elemente du bei deinem A/B-Test oder MVT untersuchen möchtest, desto mehr Traffic brauchst du, um statistisch aussagekräftige Schlussfolgerungen ziehen zu können, denen du einigermaßen vertrauen kannst. Wenn deine Website nicht so viel Traffic generiert, wie du für eine solche Stichprobengröße brauchst, musst du bei der Auswahl deiner Tests wählerischer sein.

6 Möglichkeiten, um zu testen, was am wichtigsten ist

Um Kernelemente zu testen, solltest du herausfinden, was für deine Zielgruppe am wichtigsten ist. Hier sind sechs Möglichkeiten.

1. Analysiere Produktbewertungen und das Feedback des Kundensupports: Sieh dir an, was die Kund:innen über deine Marke und deine Produkte sagen. Sprich mit deinen Vertriebs-, Kundendienst- und Produktdesign-Teams, um herauszufinden, was deine Kund:innen wirklich von deiner Website/deinem Produkt möchten.

2. Finde heraus, wo Besuchende deine Website verlassen: Traditionelle Analyse-Tools (wie Google Analytics) können dir zeigen, wo Besuchende eine Website verlassen. Du kannst diese Daten mit dem Conversion-Funnel-Tool von Hotjar kombinieren, um ein genaues Bild davon zu erhalten, was vor sich geht und warum die Besuchenden die Website verlassen.

3. Finde heraus, mit welchen Seitenelementen die Besuchenden interagieren: Heatmaps zeigen, wo alle Nutzenden (gesammelt) mit der Maus klicken, scrollen und sie anhalten (oder was sie mit dem Finger auf einem Smartphone oder Tablet antippen). Erkenne Trends in der Art und Weise, wie Menschen mit wichtigen Seiten interagieren, um zu entscheiden, welche Elemente beibehalten werden sollen, weil sie funktionieren, und was von den Leuten ignoriert wird und deshalb geändert/getestet werden muss.

4. Sammele Kunden-Feedback: Mit Onsite-Umfragen, Poll-Umfragen und Feedback-Widgets kannst du offenes Kundenfeedback sammeln, das dir hilft, aus der Sicht deiner Kund:innen zu verstehen, was du verbessern solltest.

5. Schau dir Session-Aufnahmen an: Du kannst sehen, wie sich einzelne (anonymisierte) Nutzende durch deine Website bewegen, wo sie steckenbleiben und wohin sie immer wieder zurückgehen, wenn sie nicht finden, was sie suchen – vor allem kurz bevor sie sich entscheiden, deine Website zu verlassen.

6. Informiere dich über Usability-Tests: Usability-Test-Tools geben Aufschluss darüber, wie Menschen eine Website nutzen. Sammele direktes, mündliches Feedback zu Problemen, die sie haben, und finde heraus, was ihre User Experience verbessern könnte.

Profi-Tipp: Es ist verlockend zu versuchen, die User Experience für alle zu verbessern. Aber es zahlt sich mehr aus, wenn du dich darauf konzentrierst, die Dinge für deine idealen Kund:innen zu verbessern.