Berechnen Sie die erforderliche Stichprobengröße für statistisch signifikante A/B-Tests
Die richtige Stichprobengröße ist entscheidend für aussagekräftige A/B-Tests. Eine zu kleine Stichprobe führt zu nicht-signifikanten Ergebnissen, während eine zu große Stichprobe Zeit und Ressourcen verschwendet.
Die statistische Power gibt an, mit welcher Wahrscheinlichkeit ein tatsächlich vorhandener Effekt erkannt wird. 80% Power bedeutet, dass Sie in 80% der Fälle einen echten Unterschied erkennen werden.
Das Signifikanzniveau bestimmt, wie wahrscheinlich es ist, einen Unterschied zu erkennen, wenn keiner existiert. Ein Niveau von 95% bedeutet, dass Sie nur in 5% der Fälle einen falschen Alarm haben.
Mindestens bis die berechnete Stichprobengröße erreicht ist. Empfohlen wird zusätzlich, über mindestens einen kompletten Wochenzyklus zu testen, um Schwankungen auszugleichen.
Für die meisten Websites sind Verbesserungen von 10-30% realistisch. Kleinere Effekte benötigen deutlich größere Stichproben und sind schwieriger nachzuweisen.
Nein, das führt zu falschen Ergebnissen (peeking problem). Warten Sie immer, bis die geplante Stichprobengröße erreicht ist, um valide Aussagen treffen zu können.
Bei Multi-Varianten-Tests erhöht sich die benötigte Stichprobe pro Variante. Mit drei Varianten benötigen Sie etwa 50% mehr Traffic als für einen Standard-A/B-Test.
Mit der richtigen Stichprobengröße zu statistisch signifikanten Ergebnissen