report-stories

A/B(/C)-Testing im Onlineshop

Was ist ein A/B/C-Test? Wofür ist er geeignet? Wofür nicht? Wir verraten es euch!

von  Ricarda Klein
19.04.2021

In der Produktentwicklung stehen wir täglich vor der Herausforderung, Entscheidungen über die Weiterentwicklung unseres Onlineshops und den damit verbundenen Systemen wie z.B. den Produktdatenmanagement-, den Stammdaten- oder den Fulfillmentsystemen zu treffen. Dabei begleiten uns beispielhaft Fragen wie:

  • Wie bewegt sich ein Kunde bei einem üblichen Einkauf durch unseren Shop?
  • Wie können wir unseren Kunden den Einkaufsprozess erleichtern?
  • Welche Features sind wirtschaftlich sinnvoll?
  • Welche Auswirkung hat es, wenn wir diesen Button jetzt anders färben?

Um Informationen zu diesen Fragestellungen zu erhalten, gibt es verschiedenen Methoden und Tools. Eine Möglichkeit, Auswirkungen einer Veränderung konkret zu testen, ist ein sogenannter A/B-Test oder auch ein A/B/C-Test. Dieses Verfahren möchte ich euch heute kurz vorstellen.

 

Was ist A/B-Testing und wo ist es sinnvoll?

Das A und das B in der Bezeichnung des Verfahrens stellen zwei unterschiedliche Varianten dar, die gegeneinander zur gleichen Zeit getestet werden. Bevor ein solcher Test aufgesetzt wird, wird eine entsprechende Hypothese gebildet. 

Ein Beispiel aus dem REWE digital-Leben:

Hypothese: Wir nehmen an, dass das Angebot eines Rabatts für bestimmte Artikel für unsere Kunden sehr attraktiv ist und sie den entsprechenden Vorteil nutzen und eine größere Stückzahl bestellen.

Um diese Hypothese zu überprüfen, läuft der Test folgendermaßen ab: Die eine Hälfte  unserer Kunden im Onlineshop erhalten nach einem Zufallsmechanismus eine sogenannte  Kontrollvariante, die dem aktuellen Shop entspricht. Der andere Teil der Kunden landet in der Testgruppe mit dem neuen, zu testenden Feature. Die Testdauer hängt davon ab, wann wir eine statistisch messbare Signifikanz in den Daten erkennen können, die wir erheben. In der Regel läuft ein A/B-Test sechs bis acht Wochen je nach Nutzerzahlen. Je deutlicher sich eine Testvariante von der Kontrollvariante unterscheidet, desto besser können Annahmen validiert werden.

 

In dem Setup können wir das Nutzerverhalten in den zwei Gruppen parallel betrachten und einen direkten Vergleich herstellen, um die Hypothese zu prüfen und uns folgende Fragen zu beantworten:

  • Wurden die Produkte mit der Mengenrabattierung von unseren Kunden angenommen und entsprechend der Hypothese in größeren Mengen gekauft?
  • Hat das Feature insgesamt für mehr Umsatz gesorgt?

Als erweiterte Variante des A/B-Tests würde in einem A/B/C-Test eine weitere Variante hinzugefügt werden und drei verschiedene Szenarien gegeneinander vertestet werden: eine Kontrollgruppe und zwei Testvarianten, die je einem Drittel der Kunden ausgespielt werden. 

 

Wobei hilft uns A/B-Testing?

Es hilft uns dabei, eine datenbasierte Entscheidung zu treffen und zu erkennen, welche Auswirkungen ein Feature auf für uns relevante Kennzahlen hat. Es hilft dabei, subjektive Gefühle mit Daten zu belegen und unsere Produktentwicklung wirtschaftlich und effizient zu gestalten. Das kann bedeuten, dass wir eine Wirtschaftlichkeit in der Umsetzung eines Features erkennen. Es kann aber ebenso bedeuten, dass wir zunächst eine erste Version eines umfangreichen Features in einem A/B-Test geprüft haben und z.B. erkennen, dass die positive wirtschaftliche Auswirkung nicht eintritt und wir somit frühzeitig entscheiden können, keine weitere Arbeit in die entsprechende Idee zu investieren.

 

Wofür ist A/B-Testing nicht geeignet?

A/B-Testing ist rein datenorientiert. Was dieses Verfahren nicht abbilden kann, ist das subjektive Kundenempfinden, also eine qualitative Aussage darüber, wie das Einkaufserlebnis wahrgenommen wird. Es ist zusätzlich sinnvoll und notwendig, das Einkaufserlebnis im Sinne der User Experience (UX) durch andere geeignete Verfahren, wie beispielsweise UX-Tests mit kleinen Kundengruppen, zu untersuchen und greifbarer zu machen. Mein Kollege Philipp hat hierzu einen spannenden Artikel über den “Return on Investment (ROI) of UX-Testing” verfasst. 

 

Unser Fazit

Im Falle des vorgestellten A/B-Tests konnten wir messen, dass sich eine positive Signifikanz bezogen auf den Umsatz der entsprechenden Produkte eingestellt hat. (Ergebnis). Auf die zunächst erste Variante, den sogenannten MVP (Minimum Viable Product), können wir jetzt mit weiteren Planungen und Ausbaustufen ansetzen, um das Feature weiter zu entwickeln.

Wenn Du mehr darüber wissen möchtest, welche spannenden Hypothesen wir verfolgen und welche teils überraschende Ergebnisse wir dabei messbar machen und Du daran sogar mitarbeiten möchtest, freuen wir uns auf deine Bewerbung und einen gemeinsamen Probetag z.B. als Softwareentwickler:in in einem unserer Teams.

 

Nächste Story von  Ricarda Klein

Team Schrödingers: Der Warenkorb ist unsere Domäne!

Ricarda Klein

Suche hier nach Stories, Jobs und Themen…

Zurück
Keine Suchergebnisse für verfügbar
Robot
Leider gibt es unter Deinem Suchbegriff keine Ergebnisse.
Further down we have several terms for you or take a look at our job openings!
Suchvorschläge: