A/B-Test-Rechner
Prüfen Sie, ob Ihr Test gewonnen hat, planen Sie die Stichprobengröße und die nötigen Wochen und sehen Sie, was die Gewinnervariante an Umsatz bringt. Signifikanz, bayessche Gewinnwahrscheinlichkeit, Prüfung des Stichprobenverhältnisses und Umsatztests an einem Ort. Kostenlos, ohne Anmeldung.
Erstellt von Anatolii Ulitovskyi 
Faktengeprüft von RH Fardin Aktualisiert am Ihre nächste Testidee
Testen Sie als nächste Variante einen KI-Agenten, der Besucherfragen auf Ihrer Preisseite beantwortet.
CRMsoftware.pro beantwortet Fragen auf Ihrer Website, über WhatsApp, Telegram und E-Mail in Sekunden, rund um die Uhr, und macht aus jedem Gespräch einen Kontakt und einen Deal, den Sie messen können.
- KI-Agent, trainiert mit Ihrer Website, Ihren Dokumenten und Richtlinien
- Übergabe an Teammitglieder mit vollständigem Kontext
- Jeder Chat wird zu einem Kontakt und einem Deal in Ihrer Pipeline
Kostenloser Plan, keine Kreditkarte. Bezahlpläne ab 19 $/Monat bei jährlicher Abrechnung.
Die Methode
So funktioniert die Signifikanz beim A/B-Test
Der Rechner führt einen Zwei-Stichproben-z-Test für Anteile durch: Ist der Unterschied zwischen A und B größer, als es zufälliges Rauschen üblicherweise erzeugen würde?
Der Standardfehler ergibt sich aus der gepoolten Konversionsrate beider Gruppen. Der z-Wert wird in einen p-Wert umgerechnet: die Wahrscheinlichkeit, einen so großen Unterschied zu sehen, wenn A und B in Wirklichkeit gleich wären. Ein p-Wert unter 0,05 ist bei 95 % Konfidenz signifikant. Das Konfidenzintervall für den Unterschied verwendet den ungepoolten Standardfehler.
5,0 % gegenüber 5,8 %
z = 2.50, p = 0.012
Je 10.000 Besucher, 500 gegenüber 580 Conversions. B liegt 16 % vorn, signifikant bei 95 %. Der Uplift liegt wahrscheinlich zwischen 3,5 % und 28,5 %.
Einen Uplift von 10 % nachweisen
31.234 Besucher pro Variante
Bei 5 % Konversionsrate, 95 % Konfidenz und 80 % Teststärke. Mit 20.000 Besuchern pro Woche läuft der Test 4 volle Wochen.
Einen Gewinner mit 10 % ausrollen
+100 Conversions = 8.000 $ pro Monat
50.000 Besucher pro Monat bei 2 % und 80 $ pro Conversion. Das sind 96.000 $ pro Jahr.
Vor dem Start
Stichprobengröße und minimal nachweisbarer Effekt
Je kleiner der Uplift, den Sie nachweisen wollen, desto mehr Besucher brauchen Sie. Halbiert man den Uplift, vervierfacht sich die Stichprobe ungefähr.
Der minimal nachweisbare Effekt (MDE) ist der kleinste Uplift, den Ihr Test zuverlässig finden kann. „Test planen“ zeigt die Besucher, die Sie für Ihren MDE brauchen, und in der Tabelle den kleinsten Uplift, den Sie bei einer Laufzeit von 1 bis 8 Wochen nachweisen können. Ist der erhoffte Uplift kleiner als das, was Ihr Traffic nachweisen kann, testen Sie eine mutigere Änderung oder eine Seite mit mehr Traffic.
Wer mehr als zwei Varianten testet, teilt den Traffic auf und braucht eine strengere Schwelle. Der Rechner wendet die Bonferroni-Korrektur auf das Konfidenzniveau an, damit jeder Vergleich mit der Kontrolle belastbar bleibt.
Laufzeit
Wie lange sollte ein A/B-Test laufen?
Bis er die geplante Stichprobengröße erreicht, und zwar in ganzen Wochen.
Jeden Wochentag abdecken
Käufer verhalten sich montags anders als samstags. Runden Sie die Laufzeit auf volle Wochen auf, damit jede Variante dieselbe Mischung sieht.
Stichprobe vorab festlegen
Wer die Ergebnisse täglich prüft und beim ersten signifikanten Moment stoppt, erhält mehr falsche Gewinner. Legen Sie die Stichprobengröße im Voraus fest und lesen Sie das Ergebnis einmal ab.
Auf Verzerrungen achten
Sehr lange Tests werden durch Cookie-Verlust, Saisonalität und andere Kampagnen verfälscht. Wenn Sie Monate bräuchten, testen Sie lieber eine größere Änderung.
Eine andere Sicht
Bayessche Gewinnwahrscheinlichkeit
Neben dem p-Wert zeigt das Ergebnis die Wahrscheinlichkeit, dass B besser ist als A, und wie viel Sie zu verlieren riskieren, wenn Sie B ausrollen und B tatsächlich schlechter ist.
Der Rechner verwendet für jede Variante eine Beta(1, 1)-Priori-Verteilung und berechnet die exakte Wahrscheinlichkeit, dass die wahre Konversionsrate von B über der von A liegt. Im Beispiel ist B mit 99,4 % Wahrscheinlichkeit besser. Viele Teams finden das leichter zu erklären als einen p-Wert, es beantwortet aber eine andere Frage, also nutzen Sie jedes Mal dieselbe Schwelle.
Datenqualität
Abweichung im Stichprobenverhältnis
Wenn Sie den Traffic 50/50 aufteilen, eine Variante aber deutlich mehr Besucher erhalten hat, ist etwas im Setup defekt und dem Ergebnis kann man nicht trauen.
Der Rechner führt einen Chi-Quadrat-Test der Besucherzahlen gegen Ihre geplante Aufteilung durch. Ein p-Wert unter 0,01 zeigt eine Abweichung an. Häufige Ursachen sind Weiterleitungen, die Besucher verlieren, Bots, Tracking, das nur in einer Variante auslöst, und Caching. Beheben Sie die Ursache und starten Sie den Test neu, statt den Zahlen zu vertrauen.
Warum es zählt
Was ein gewonnener Test wert ist
Ein Uplift der Konversionsrate wird erst über Ihren Traffic und Ihren Bestellwert zu Geld.
„Umsatzwirkung“ zeigt außerdem, was jede Woche Verzögerung kostet, sobald Sie einen Gewinner haben, und den Effekt am unteren Ende einer Spanne, wenn Sie einen vorsichtigen Uplift eingeben. Für Umsatz pro Besucher oder durchschnittlichen Bestellwert nutzen Sie „Durchschnittswert“: Dort läuft der Welch-t-Test, der nicht voraussetzt, dass beide Varianten dieselbe Streuung haben.
Tabellen
A/B-Test-Formeln für Excel und Google Sheets
A1 = Besucher A, B1 = Conversions A, C1 = Besucher B, D1 = Conversions B.
Uplift von B gegenüber A
z-Wert
Zweiseitiger p-Wert (E1 = z-Wert)
Besucher pro Variante (F1 = Ausgangs-Konversionsrate, G1 = erhoffte Konversionsrate)
Häufige Fragen
Fragen zu A/B-Tests
Woran erkenne ich, ob mein A/B-Test statistisch signifikant ist?
Geben Sie Besucher und Conversions für beide Varianten ein. Liegt der p-Wert unter 1 minus Ihrem Konfidenzniveau, zum Beispiel unter 0,05 bei 95 %, ist der Unterschied signifikant. Bei 500 von 10.000 gegenüber 580 von 10.000 ist p = 0,012, also gewinnt B bei 95 % Konfidenz.
Wie viele Besucher brauche ich für einen A/B-Test?
Das hängt von Ihrer Konversionsrate und dem kleinsten Uplift ab, der für Sie relevant ist. Bei 5 % Konversionsrate braucht der Nachweis eines relativen Uplifts von 10 % mit 95 % Konfidenz und 80 % Teststärke etwa 31.234 Besucher pro Variante.
Wie lange sollte ich einen A/B-Test laufen lassen?
Bis jede Variante die geplante Stichprobengröße erreicht, aufgerundet auf volle Wochen. Teilen Sie die insgesamt benötigten Besucher durch Ihren wöchentlichen Traffic und brechen Sie nicht vorzeitig ab, nur weil das Ergebnis gut aussieht.
Welches Konfidenzniveau ist sinnvoll?
95 % ist der übliche Standardwert. Nutzen Sie 99 % für Änderungen, die sich nur teuer rückgängig machen lassen, und 90 % für schnelle Tests mit geringem Risiko. Entscheiden Sie vor dem Start.
Was ist Teststärke (Power)?
Die Teststärke ist die Wahrscheinlichkeit, dass Ihr Test einen Uplift von mindestens Ihrem MDE erkennt, wenn er tatsächlich existiert. 80 % sind Standard; 90 % brauchen etwa ein Drittel mehr Besucher.
Bayessch oder frequentistisch: Was sollte ich nutzen?
Beide nutzen dieselben Daten. Der p-Wert steuert, wie oft Sie einen falschen Gewinner ausrufen; die bayessche Gewinnwahrscheinlichkeit sagt Ihnen, wie wahrscheinlich B besser ist. Wählen Sie eine Entscheidungsregel und wenden Sie sie konsequent an.
Was ist eine Abweichung im Stichprobenverhältnis (Sample Ratio Mismatch)?
Eine Besucheraufteilung, die stärker vom Plan abweicht, als der Zufall erlaubt, zum Beispiel 52/48 bei viel Traffic und einem 50/50-Setup. Meist steckt ein Fehler im Tracking oder in einer Weiterleitung dahinter, und der Test sollte korrigiert und neu gestartet werden.
Kann ich Umsatz statt Konversionsrate testen?
Ja. Nutzen Sie „Durchschnittswert“ mit Mittelwert und Standardabweichung des Umsatzes pro Besucher für jede Variante. Dort läuft der Welch-t-Test, der den Unterschied mit einem Konfidenzintervall ausgibt.
Quellenangaben
Quellen
- Stichprobengröße für Conversion-Tests: Evan Miller
- Diagnose von Abweichungen im Stichprobenverhältnis in Online-Experimenten, KDD 2019: Fabijan et al., ACM
- Welch-t-Test: Wikipedia
Weitere kostenlose Vertriebstools
Machen Sie mehr Besucher zu Gesprächen und Gespräche zu Deals.
CRMsoftware.pro beantwortet Ihre Besucher mit KI, erfasst jeden Lead und zeigt, welche Gespräche zum Abschluss führen. Kostenloser Plan, keine Kreditkarte.