3 Fehler beim A/B Testing, die nicht passieren dürfen

Dieser Artikel wurde im Blog der Barketing IMS GmbH veröffentlicht. LEAP/ ist der Zusammenschluss aus Barketing und ConversionLift.

1. Resultate werden zu schnell für richtig gehalten

Du hast endlich dein ersten A/B Test eingerichtet und wartest nun schon für eine geraume Zeit auf ein signifikantes Ergebnis. Die Daten deines CRO-Tools zeigen, dass deine variierte Landing-Page besser funktioniert als das Original. Die Wahrscheinlichkeit, dass dein Test erfolgreich ist liegt bei 75%. Das klingt doch ganz gut? Nein! Einer, wenn nicht sogar der meist gemachte Fehler bei A/B Testing ist das die Ergebnisse zu früh als Wahr angenommen werden.

Ein Signifikanz von 75% bedeutet, dass bei jedem vierten Test deine neue Landing-Page nicht besser funktionieren wird als das Original. Bevor du also viel Geld und Zeit in die Umsetzung deiner Website investierst, solltest du warten, bis die Wahrscheinlichkeit wenigstens 90% beträgt. Noch besser sind  95% und mehr.

Das Problem der zu kleinen Stichprobe

Ein anderer Grund dafür, dass Testergebnisse nicht der Wahrheit entsprechen sind zu wenig Beispiel-Daten bzw. eine zu kleine Stichprobe. Vor allem wenn der Unterschied zwischen der Variation und dem original am Anfang sehr groß ist, werden häufig zu voreilige Entscheidungen getroffen. Auch viele, bekannte Testing Tools entscheiden hier je nach Einstellungen schnell für einen Gewinner. Die folgende Grafik zeigt einen Testverlauf (Conversion Rate over time) der einen falschen Gewinner hervorgebracht hätte, wenn der Test zu früh beendet worden wäre.

Wie du sehen kannst, hätte dieses Unternehmen eine Menge Geld und Zeit investiert um Gewinner-Variante umzusetzen, obwohl sie dem Unternehmen geschadet hätte. Genau deswegen ist es so wichtig auf eine hohe Signifikanz und große Stichproben zu setzen: Es reduziert die Chance einen Gewinner auszurufen der kein Gewinner ist (False Positive) oder keinen Gewinner zu erkennen, obwohl es einen gibt (False Negative).

Es ist menschlich und ganz normal, dass man sich gerade in der Anfangsphase seinen Tests verbunden füllt. Jeder möchte, dass die Mühe die man ein den Test gesteckt hat, nicht umsonst war und möglichst in ein wahres Ergebnis mündet. Das ist leider auch der Hauptgrund, warum Tests zu früh abgebrochen werden. Deswegen sollte dir als Verantwortlicher Conversion Optimierer auch immer bewusst sein, dass es nicht nur darum geht, eine bessere Landing-Page oder ein schöneres Design zu kreieren.

Es geht darum die Wahrheit zu finden und die Wahrheit hängt von zwei Dingen ab, der Signifikanz und von deinen Hypothesen.

Darum geht es im zweiten Punkt, der häufigsten Fehler beim A/B Testing.

 

2. Testen ohne Hypothesen

Because people are often very excited to start their first test, they mostly forget to create a proper plan first. Starting an A/B-test without having a clear plan will not give you the right answers afterwards. Here are some specific examples of mistakes over-enthusiastic people make when they do not plan their tests properly upfront.

Warum sind Hypothesen beim Testen so wichtig?
Ein Fehler, der ganz oft vorkommt hat mit den Hypothesen zu tun: In ihr Enthusiasmus unterschätzen Menschen oft wie wichtig es ist um Hypothesen aufzubauen bevor man ein A/B Test ausfuhrt. Vielen erwarten das sie hinterher genug interessante Analysen aus die Ergebnisse ziehen können aber das ist ein falsche Gedanke. Hypothesen machen ein Test informativ und Hilfen dabei wirklich Antworten zu finden auf die Fragen die zu ein bessere Conversion Rate leiten.

Merksatz:

„Die Ergebnisse eines A/B Test werden nur so gut sein, wie die getesteten Hypothesen

This means that building proper hypothesis is one of the most important steps of your a/b-test. It is important that you keep looking at the greater picture and not only at the individual test which is in front of you. A/B-testing is a continuous thing and also failed tests should provide information.

Gather Qualitative Data
Every website is different and there is no such thing as a „checklist for a perfectly optimized website“. Therefore it is very important that you do enough research before you start randomly performing A/B-tests. Start by gathering information from the people who use the website every day and use heatmaps and eye-tracking to get more specific details about the problems in your funnel. With the help of qualitative information you will be able to formulate the real problems of your website and base hypothesis on that.

Segmentation
Another thing mistake beginners often make is not  taken segmentation into account when they create their first A/B-test. Do you want to get information about all your visitors or just the new visitors? Do you want to test all types of devices or just desktop-users? How do these decisions influence the sample-size which is needed for a significant result? [Maybe a link to Mistake Number 1 here???]

If you always test the average of the total (which happens without segmentation) you will never see what is going on inside the specific segments. After a failed test people might move on to the next text although the first test might have been successful for a specific segment. New visitors behave different than returning visitors and also age, origin and gender influence the results of your test.

As you can read above, preparation is an important aspect of A/B-testing and is often underestimated. Knowing what you want to test and what to do with the answers to your questions will make you a better conversion optimizer.

3. Der Test wird zu früh beendet

Um ein Signifikante Test ab zu schließen braucht man ein bestimmt Anzahl Teilnehmer und ein bestimmt Anzahl Conversions. Wenn ein Seite richtig viel Besucher hat, kann ein Test manchmal nach weniger als ein Woche schon mit 95% Signifikanz ein Gewinner haben.  Aber… was man bei A/B Tests niemals vergessen dürft ist der Fakt das Externe Faktoren Einfluss haben auf die Testergebnisse.

Externe Faktoren
Die meiste Menschen leben in ein bestimmtes Rhythmus. Rückkehrende Aktivitäten wie Arbeit, Studien und Sport bestimmen was wir auf bestimmte Tage in die Woche machen. Diesen Rhythmus hat ein große Einfluss auf die Conversion Rate von ein Webseite und musst auch mitgenommen werden in ein A/B-Test. Auch Nationale Feiertage oder wenn Deutschland gerade Weltmeister geworden ist werd Mann unterschieden sehen in das Verhalten von Menschen auf Internet.

Dieses Bild zeigt ganz deutlich was hier oben schon beschrieben wird. In diesen Fall sieht man das für diesen Webshop Sonntag ein wesentlich schlechtere Tag als zum Beispiel Freitag.

Um die Einfluss von Externe Faktoren auf unsere A/B-Tests zu minimalisieren lassen wir bei Barketing ein Test immer wenigstens 2 Wochen (und damit auch 2 Wochenende) laufen. Nur dann weißt man sicher das die Seite die getestet wird auch gegen eventuelle Schwankungen in verhalten gewachsen ist.

Beitrag teilen...

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.