TRANSKRIPTION DIESER FOLGE DES PODCASTS

Hallo! Mein Name ist Jörg Dennis Krüger und wie mein Wurst-Kabel-Trommel-Wickler am Empfang gerade gesagt hat: Ja ich bin der Conversion-Hacker. Und in dieser Conversion-Hacking Podcast Folge soll es einmal um das Thema A/B-Testing gehen.

Wer mich kennt, der mich schon ein wenig länger kennt der weiß ja, dass A/B-Testing eines meiner absoluten Basis-Themen ist. Ich habe 2008 mit dem Thema, 2006 sogar schon ein Thema A/B-Testing gestartet damals für Omniture. Mittlerweile ist es Adobe-Test und Adobe-Target, das sind alte Produkte, die wir damals bei großen Firmen wie DKV, Allianz oder ähnlichem genutzt und eingeführt haben. Und das heißt, seit dem A/B-Testing und mein Buch was 2011 erschienen ist, ist Conversion-Boosting mit Website Testing heißt auch nicht ohne Grund ganz genau so.

Mein Buch zu A/B-Testing

Conversion-Boosting mit Website Testing, weil der Fokus des Buches doch schon sehr stark das Thema A/B-Testing ist. Ich stelle dort das Conversion-Boosting Modell vor, wie man überhaupt an das Thema Website Optimierung und Testing herangeht und ich zeige wie man testet, wie man Zeiträume auswertet. La la la la. Ich muss aber sagen, dass ich mittlerweile ein wenig weiter gelernt habe, denn es geht gar nichts bei der Optimierung so ums testen. Ich meine das Testen ist ja groß geworden durch Barack Obama, denn in seinem Wahlkampf hat er durch A/B-Testing extrem viel mehr Spenden gesammelt. Und aus dieser Spenden-Sammelaktion ist dann auch der heutiger A/B-Testing Anbieter Optimizely entstanden. Das ist im Prinzip das, was am Anfang mal irgendwie für die Obama-Kampagne gebaut worden ist. Klar hat sich mittlerweile viel verändert, Optimizely meisten hat irgendwie 80, 90 Millionen Venture-Capital bekommen, um das Tool weiterzuentwickeln und so weiter.

A/B-Testing-Tools: Optimizely, Google Website Optimize & Co.

So sophisticated die Software mittlerweile auch ist - der Einstiegspreis mittlerweile sehr hoch ist. Warum ich nicht mal so häufig empfehle - aber cooles Tool. So also wollten alle A/B-Testing machen, was für Obama funktioniert hat, das funktioniert ja wohl auch für mich und so weiter. Das große Problem ist, die meisten Shops oder Websites, aber bei mir geht es ja meistens um Shops, sind einfach nicht Test bar. Warum? Man hat nicht genug Traffic, denn so ein Test ist eben einfach eine ganz normale Doppelblindstudie wie wir sie aus der Medizin oder aus der generellen Wissenschaft kennen.

Statistisch signifikante Ergebnisse

Und damit ich in so einer Studie genug Ergebnisse habe und statistisch signifikante Ergebnisse habe, brauche ich eben genug Daten und diese Daten sind natürlich immer Besucher auf der Seite auf der anderen Seite Conversion, das sind so die beiden Hauptfaktoren die damit spielen. Und wenn ich zu wenig Besucher auf der Seite habe oder eine derzeit einfach zu geringe Konversionsrate und meistens beides. Dann komme ich auf keine statistisch signifikanten Ergebnisse, dann habe ich immer das Problem, dass ich irgendwie Daten habe, aber wenn ich das ein wenig ausrechne, sind das eigentlich alles Zufalls Daten. In den Testing Tools wird sowas dann auch als Konfidenz oder Signifikanz angezeigt.

Und wenn die dann eben irgendwie nicht über 60, 70 Prozent kommt - Naja also 50 Prozent ist ein Münzwurf - 60, 70 Prozent ist nicht sehr viel besser und, wenn man dann genauer darüber nachdenkt, dann merkt man nun dass, man wirklich viele Daten braucht um wirklich verlässliche Ergebnisse zu bekommen und die auch über einen gewissen Zeitraum denn man muss mindestens 7, wahrscheinlich sogar 14 Tage testen, um jeden Wochentag mindestens einmal eigentlich mindestens zweimal zu haben.

Optimaler Testzeitraum für A/B-Tests

Man darf aber nicht zu lange testen um sich nicht zu viele externe Einflüsse zu viel Rauschen rein zu holen und darum sind so 2 bis 6 Wochen der optimale Test Zeitraum. Und ja, wenn man da dann nicht genug Conversions hat und genug Besuch...