In dem hier eingebundenen, fast einstündigen Video gibt der Gründer der AB-Testing-Software Optimizely, Dan Siroker, seine geballten Erfahrungen aus über 30.000 AB- und Multivariaten-Tests wieder.

Das Video gliedert sich dabei in die folgenden 10 Kapitel:

1. Vorstellung von Dan Siroker und Optimizely
http://www.youtube.com/watch?v=7xV7dlwMChc#t=27s

2. Nichts ist heilig – Hinterfrage Annahmen.
http://www.youtube.com/watch?v=7xV7dlwMChc#t=4m47s

3. Erforsche bevor Du verfeinerst
http://www.youtube.com/watch?v=7xV7dlwMChc#t=12m20s

4. Weniger ist mehr, reduziere die Auswahlmöglichkeiten
http://www.youtube.com/watch?v=7xV7dlwMChc#t=16m58s

5. Wörter sind wichtig – Achte auf Deinen Call-to-Action
http://www.youtube.com/watch?v=7xV7dlwMChc#t=18m36s

6. Scheitere schnell
http://www.youtube.com/watch?v=7xV7dlwMChc#t=22m33s

7. Starte heute
http://www.youtube.com/watch?v=7xV7dlwMChc#t=24m14s

8. Optimizely Live-Demo
http://www.youtube.com/watch?v=7xV7dlwMChc#t=25m16s

9. Zusammenfassung.
http://www.youtube.com/watch?v=7xV7dlwMChc#t=31m42s

10. Fragen & Antworten
http://www.youtube.com/watch?v=7xV7dlwMChc#t=32m22s

Unabhängig davon, ob man die sehr empfehlenswerte A/B-Testing-Software von Optimizely bereits einsetzt oder darüber nachdenkt sie zu nutzen, kann ich dieses Video grundsätzlich jedem ans Herz legen, der sich mit A/B-Tests oder auch Multivariaten-Tests beschäftigt, um seine Webseite zu optimieren.

Falls Du noch andere empfehlenswerte Videos zum Thema kennst, schreibe doch bitte einen Kommentar.

Nachdem wir im letzten Jahr bereits darüber berichtet haben, wie Barack Obama im Präsidentschaftswahlkampf 2008 erfolgreich auf A/B-Testing gesetzt hat, habe ich mir mal die Webseiten seiner potentiellen Herausforderer für die Wahl 2012 angeschaut.

Enttäuschenderweise konnte ich lediglich im Quelltext der Homepage des Ex-Gouverneurs und voraussichtlichen republikanischen Präsidentschaftskandidaten Mitt Romney einen Hinweis auf die Verwendung von A/B-Tests finden. Seine Konkurrenten Rick Perry, Newt Gingrich, Ron Paul und Rick Santorum scheinen hingegen darauf zu verzichten. Vielleicht ein Grund, warum sie wohl keine Chance mehr haben, nominiert zu werden!?

Interessant ist, dass Mitt Romney auf die A/B-Testing-Software von Optimizely setzt, welche von Obamas ehemaligem “Director of Analytics” (Direktor der Analyse) Dan Siroker entwickelt wurde. Dieser konnte offensichtlich auch seinen ehemaligen Chef überzeugen, denn auch auf Barack Obamas Webseite finden sich Hinweise auf den Einsatz von Optimizely (z.B. hier).

Natürlich steht Optimizely auch allen “Normalsterblichen” zur Verfügung. Unabhängig davon, ob man als Politker für den Wahlkampf aktiv werden möchte, den Spendenprozess auf seiner Vereinshomepage optimieren will oder testen möchte, mit welchem Produktbild der E-Commerce-Umsatz maximiert werden kann, besteht die Möglichkeit schon ab ca. 11€ / Monat auf die Dienste von Optimizely zurückzugreifen.

Vor einigen Wochen hat Präsident Obama Palo Alto besucht um auf die gute, alte Art Spenden zu sammeln: Ein Fundraising-Abendessen, an dem jeder Platz 30.400 US$ kostet. Die Fundraisingtechnik ist bewährt und eine großartige Möglichkeit Geld zu sammeln, wenn man es schafft, den Präsidenten der Vereinigten Staaten für ein gemeinsames Abendessen zu begeistern. Wie aber kann man Geld sammeln, wenn niemand je von Dir gehört hat und alles was Du hast eine Webseite ist? Damals, 2007, als Obama sich für die Nominierung zum Präsidentschaftskandidat beworben hat und in den Umfragen zweistellig zurücklag, war das so ziemlich alles was, wir hatten.

Das Experiment

Als „Director of Analytics“ (Direktor der Analyse) der Obama Kampagne war es mein Job Daten auszuwerten, damit wir bessere Entscheidungen treffen konnten. Im Dezember 2007 haben wir mit einem einzigen, einfachen Experiment angefangen. Dieses Experiment lehrte uns, dass jeder Besucher unserer Webseite ein Chance darstellt und uns, wenn wir diese durch Webseitenoptimierung und A/B-Testing nutzten, helfen würde mehrere zehn Millionen US$ zu sammeln.

Das Experiment umfasste dabei zwei Teilbereiche unserer Splash-Page: Den „Media“ Bereich im oberen Teil der Seite und den Call-to-Action „Button“.

Wir haben vier Buttons und sechs verschiedene Medien-Elemente (drei Bilder und drei Videos) getestet. Dazu benutzten wir den Google Website Optimizer und einen voll-faktoriellen, multivariaten Test. Das ist lediglich eine extravagante Ausdrucksweise dafür, dass wir alle möglichen Kombinationen gleichzeitig gegeneinander getestet haben. Mit vier Buttons und sechs verschiedenen Medien-Elementen hatten wir also 24 (4×6) Kombinationen zu testen. Jedem Besucher der Splash Page wurde per Zufall eine dieser Variationen angezeigt und wir haben beobachtet, ob er sich angemeldet hat oder nicht. Bevor Du jetzt runterscrollst um die Ergebnisse zu betrachten, rate doch mal, welcher Button und welches Medien-Element am erfolgreichsten war:

Button Varianten

Variationen der Medien Elemente

Ergebnisse

Das Maß, an dem wir den Erfolg festmachten, war die Sign-Up-Rate (Anmelderate): Die Anzahl der Menschen, die sich angemeldet haben, geteilt durch die Zahl der Menschen, welche die spezifische Variante angezeigt bekommen haben. Insgesamt wurde die Splash Page im Laufe des Tests 310.382 Mal aufgerufen, also gut 13.000 Mal pro Kombination (310.382/13).

Hier sind die Anmelderaten, die wir für jede Variante beobachtet haben:

Hier sind die Anmelderaten für die Kombinationen der verschiedenen Varianten:

Der Gewinner

Die beste Performance eines Buttons mit einem Medien-Element war „Combination 11“ (Kombination 11), der „Learn More“ Button mit dem „Family Image“ (Familienbild):

Vor dem Experiment waren wir davon überzeugt, dass „Sam’s Video“ (das letzte in der obigen Slideshow) zu den besten Resultaten führen würde. Hätten wir das Experiment nicht gemacht, hätten wir wahrscheinlich dieses Video auf der Splash Page verwendet. Das wäre ein großer Fehler gewesen, da alle Videos zu schlechteren Ergebnissen geführt haben als die Bilder. Die beste Kombination führte zu einer Anmelderate von 11,6%. Die ursprüngliche Webseite hatte eine Anmelderate von 8,26%. Dies entspricht einer Steigerung von 40,6%. Was bedeutet eine Steigerung von 40,6%?

Nun, wenn man annimmt, dass diese Steigerung für den Rest der Kampagne konstant bliebe, dann können wir uns die Gesamtzahl am Ende der Kampagne anschauen und den Unterschied ermitteln, den dieses Experiment hatte. Ungefähr 10 Millionen Menschen haben sich während der Kampagne auf der Webseite angemeldet. Wenn wir das Experiment nicht durchgeführt hätten und bei der ursprünglichen Webseite geblieben wären, dann wäre diese Zahl näher an 7.120.000 Anmeldungen. Das ist ein Unterschied von 2.880.000 Emailadressen.

Eine Email an eine der Emailadressen, welche wir über unsere Splash Page generiert haben mit der Bitte um ehrenamtliche Unterstützung hat normaler Weise in 10% aller Fälle zum Erfolg geführt. 2.880.000 zusätzliche Emailadressen haben also zu 288.000 mehr Freiwilligen geführt. Jede Emailadresse welche auf der Splash Page eingegeben wurde führte im Durchschnitt zu 21 US$ Spenden während der gesamten Kampagne. Die 2.880.000 zusätzlichen Emailadressen auf unserer Liste führten also zu ca. 60 Millionen US$ zusätzlicher Spenden.

Lernerfahrungen

1. Jeder Besucher Deiner Webseite stellt eine Chance dar. Nutze sie durch Optimierung Deiner Webseite und A/B-Testing.
2. Stelle Annahmen in Frage. Jeder in der Kampagne hat die Videos geliebt, aber alle Videos führten zu schlechteren Ergebnissen als die Bilder. Wir hätten das niemals rausgefunden, wenn wir nicht unsere Erfahrungen in Frage gestellt hätten.
3. Experimentiere früh und oft! Wir haben dieses Experiment im Dezember 2007 durchgeführt und die Früchte davon während der gesamten Kampagne geerntet. Da dieses erste Experiment so erfolgreich war, haben wir bis zum Ende dutzende weitere Experimente durchgeführt.

Warum Optimizely?

Wir haben Optimizely entwickelt, da wir es einfacher machen wollten Experimente wie diese durchzuführen. Optimizely ist im Endeffekt das Produkt, von dem ich wünschte, wir hätten es während der Kampagne gehabt. Wir konnten nur einen kleinen Teil der Experimente realisieren, die wir durchführen wollten, da damals die Zeit und der Aufwand für solche Experimente zu groß waren. Wenn Du nach einem einfachen Weg suchst Deine Webseite zu testen, versuch es doch mal mit Optimizely.

Update: Wie inzwischen bekannt geworden ist nutzt auch die offizielle Kampagne zur Wiederwahl von Barack Obama in 2012 Optimizely. Deren Stellvertretender Direktor für neue Medien Josh Peck schreibt dazu „Die Verpflichtung zur Wahl Aufforderung Facebook App (Commit to Vote Challenge) war sehr effektiv darin Menschen in den Wahlprozess einzubinden, viele die es sonst nicht gemacht hätten. Es kam kurz nach der Einführung zu einer viralen Verbreitung und hat inzwischen mehr als 1 Million aktiver Nutzer auf Facebook. Dies wäre ohne die Verbesserung dir wir durch die Nutzung von Optimizely gemacht haben nicht möglich.“

Optimizely wird von der Kampagne aber nicht nur zur Verbreitung ihrer Facebook App genutzt. Wer technisch versiert ist sieht auch im Quelltext von www.barackobama.com, dass hier Optimizely eingebunden ist.

a

Die englische Originalversion dieses Artikels ist hier zu finden und wurde von Dan Siroker verfasst, einem der Gründer der A/B-Testing-Software Optimizely. Die hier zu lesende, deutsche Version wurde mit Zustimmung des Autors erstellt, das Update wurde selber verfasst.

Auch die Spendenplattform betterplace.org setzt auf AB-Testing, um die eigene Webseite zu optimieren und so noch mehr Geld für soziale Projekte in aller Welt zu sammeln. Hierbei kam es kürzlich zu einem erstaunlichen Ergebnis.

Bei einem Test wurde ein Teil des Textes auf der Startseite auf eher unscheinbare Weise verändert. Statt mit den Worten „betterplace.org ist Deutschlands große Spendenplattform“ pries man sich versuchsweise mit „betterplace.org ist die wahrscheinlich transparenteste Spendenlattform der Welt.“ an.

Während zuvor deutlich augenscheinlichere Experimente beinah keine Veränderungen im Nutzerverhalten nach sich zogen, hat diese Textänderung zu einer Steigerung der Klicks auf den nebenstehenden Button („Finde Dein Projekt“) um 12,6% geführt.

Das sage noch eine/r, dass sich Transparenz nicht lohnt!

Umgesetzt wurde der Test übrigens mit der AB-Testing Software Optimizely, die man hier kostenlos testen kann (es ist nichtmal eine Anmeldung erforderlich).

Falls Du auf der Suche nach Ideen bist, was für AB-Tests auf Deiner Landingpage Sinn machen könnten, findest Du hier 23 Anregungen zum Ausprobieren:

Teste Deine Überschrift:

• Kurze & knackige Überschriften vs. Lange & beschreibende Überschriften
• Keine Überschrift vs. Überschrift
• Design/Schriftart 1 vs. Design/Schriftart 2
• Kleine Schriftgröße vs. große Schriftgröße
• Überschriftsposition 1 (z.B. links) vs. Überschriftsposition 2 (z.B. rechts)

Teste den „Call to Action“ (zentrale Handlungsaufforderung)

• Buttontext 1 im Button (z.B. „Jetzt kaufen“) vs. Buttontext 2 (z.B. „In den Einkaufswagen“)
• Buttonaufforderung 1 (z.B. „Video ansehen“) vs. Buttonaufforderung 2 (z.B. „Kostenlos testen“)
• Form-/Farb-/Größenvariante 1 des Buttons vs. Form-/Farb-/Größenvariante 2 des Buttons
• Buttonposition 1 (z.B. oben rechts) vs. Buttonposition 2 (z.B. unten links)
• Mehrere „Call to Action“ Buttons vs. Einem „Call to Action Button“

Teste Layout und Design

• Farbschema 1 (z.B. dunkel) vs. Farbschema 2 (z.B. hell)
• Navigationsleiste links vs. Navigationsleiste rechts (oder oben vs. rechts etc.)
• Voreingestellte (default) Schriftgröße/-art/-farbe 1 vs Voreingestellte Schriftgröße/-art/-farbe 2

Teste Deinen Text

• Langer Text vs. Kurzer Text
• Bullet Poinst vs. Keine Bullet Points
• SEO opimierter Text vs. Für Menschen optimierter Text
• Text vs. Kein Text

Teste Formulare

• Langes Formular vs. Kurzes Formular
• Formular auf einer Seite vs. Formular auf mehreren Seiten
• Text über den auszufüllenden Feldern vs. Text neben den auszufüllenden Feldern

Weitere Testideen

• Referenzen vs. Keine Referenzen (oder auch Textreferenz vs. Videoreferenz)
• Kleines Bild vs. Großes Bild
• 50€ vs. 49,99€

Das wie geschrieben nur als Anregung. Wenn Dir noch weitere Ideen einfallen, schreib doch bitte ein Kommentar und ich werde es gerne ergänzen.

a

Die englische Originalversion dieses Artikels ist hier zu finden. Die hier zu lesende, deutsche Version wurde mit Zustimmung des Autors und Gründers des Visual Website Optimizer – Paras Chopra – erstellt.

a.

Optimizely ist ein Online-Tool, mit dem man extrem einfach A/B-Tests oder Multivariate Tests erstellen kann. Durch einen WYSIWYG-Editor kann man auch ganz ohne HTML- oder CSS-Kenntnisse eine Variante der eigenen Webseite oder Landing Page erstellen. Im Gegensatz zu anderen Anbietern kann dieser getestet werden, ohne dass man sich anmelden muss. Gib dafür einfach auf der Startseite die URL der Seite ein, für die Du eine Variation erstellen möchtest, klicke auf den „Get started“ Button und schon geht es los.

Ein Beispiel wie WYSIWYG-Editor von Optimizely im Rahmen eines A/B-Tests der Spendenplattform Spenden.De.

a

Daniel Weinand, der Chefdesigner des Onlineshopanbieters Shopify, schreibt:

Optimizely macht A/B-Testing all denen zugänglich, die über wenig oder kein technisches Wissen verfügen.

Einen guten Überblick gibt auch das unten eingebundene Video in dem Optimizely kurz vorgestellt wird:

Die Benutzerfreundlichkeit und Einfachheit von Optimizely hört aber nicht bei der Erstellung verschiedener Variationen der zu testenden Landing Page auf. Um Optimizely auf der eigenen Seite zu aktivieren, muss einmalig ein kleiner Javascript-Codeschnipsel in den Header der zu testenden Webseite eingefügt werden. Dies sollte jedem, der schon mal ein Youtube-Video in die eigene Webseite eingebunden hat, keine Probleme machen. Alle anderen müssen in diesem Fall doch Kontakt mit der IT-Abteilung aufnehmen, aber diese sollte damit nicht mehr als 2 Minuten beschäftigt sein und muss danach nie wieder belästigt werden. Das Einrichten der zu testenden Ziele (z.B. Klick auf einen bestimmte Link) ist ebenfalls im Handumdrehen gemacht und stellt auch den letzten Schritt dar, bevor es mit dem Test losgehen kann.

Danach verteilt Optimizely die Besucher der Webseite zufällig auf die verschiedenen Versionen der Webseite. Die Ergebnisse kann man auf einer speziellen Übersichtsseite verfolgen, wobei neben den reinen Zahlen jedem Ziel auch 1 bis 5 „Confidence-Punkte“ zugeteilt werden. Anhand dieser „Confidence-Punkte“ kann man schnell erkennen, ob der A/B-Test schon statistisch signifikant ist, oder ob die Gefahr besteht, dass der Zufall hier noch eine zu große Rolle spielt, um wirklich Schlüsse aus dem Test ziehen zu können.

Für fortgeschrittene Nutzer gibt es darüber hinaus eine Vielzahl weiterer Features:

Interaktiver Modus
Um dynamische Webseiten, wie z.B. ein Ajax-Formular mit mehreren Schritten, zu testen, kann der „Interactive Mode“ innerhalb des WYSIWYG-Editors aktiviert werden. So kann auf der zu testenden Seite beispielsweise ein Dialogfenster, ein Dropdown-Menü oder eine Gallerie geöffnet und dort einen entsprechenden Test aktiviert werden

Cross-Browser Testing

Im Rahmen einer Kooperation mit CrossBrowserTesting bietet Optimizely die Möglichkeit sicherzustellen, dass die Varianten der zu testenden Seite in jedem Browser optimal dargestellt werden. Mit einem einzigen Klick kann man sich Screenshots der erstellten Varianten anzeigen lassen und so prüfen, wie diese in verschiedenen Browsern und Betriebssystem aussehen.

Multiple Sign-ins
Es ist möglich, Kollegen oder Kunden Zugang zu seinem Optimizely-Konto zu geben. Diese können sich dann mit einer eigenen E-Mail/Passwort-Kombination einloggen und die Experimente selbstständig bearbeiten bzw. neue anlegen. Wenn man anderen keinen vollen Zugriff auf das Konto geben will, gibt es die Möglichkeit, lediglich die verschiedenen Varianten sowie die Ergebnisse zugänglich zu machen.

Multiple Projects
Wenn man mit Optimizely gleichzeitig mehrere AB-Tests auf verschiedenen Seiten durchführt, kann man für jeden ein eigenes Projekt anlegen und ein eigenes Code-Snippet generieren. In diesem Rahmen ist es dann auch möglich, für jedes dieser Projekte wiederum individuelle Zugangsberechtigungen zu erstellen.

Einfaches Klick-Tracking
Man kann jedes Element der zu testenden Seite markieren und mit dem „Track Clicks“ Feature die entsprechenden Klicks messen.

Cross-Domain-Tests
Sollten sich ein Test oder ein Konversionsziel (Conversion Goal) über mehrere Domains erstrecken, so ist auch das kein Problem und funktioniert mit Optimizely ohne Probleme.

Besucher Segmentierung
Mit Optimizely ist es möglich bestimmte AB-Test-Experimente nur bestimmten Besuchern anzeigen zu lassen. Dies ist nach den folgenden Kriterien möglich:

• Neue vs. Wiederkehrende Besucher – z.B. den Test also nur neuen Besuchern der Webseite anzeigen
• Browser – z.B. den Test nur Besuchern mit mobilen Browsern oder HTML5-fähigen Browsern anzeigen
• Sprache – z.B. den Test nur Besuchern anzeigen, die französische Spracheinstellungen ausgewählt haben
• Cookie – z.B. nur Besuchern mit einem aktiven Session Cookie anzeigen
• Referrer – z.B. den Test nur Besuchern, die über Google oder einer speziellen Landinpage kommen, anzeigen
• Benutzerdefinierte Ereignisse – z.B. den Test nur den Besuchern anzeigen, die das „madePurchase“ event ausgelöst haben
•  Custom Javascript (für Fortgeschrittene) – z.B. den Test nur Besuchern anzeigen, für die gilt ‚user.accountAge > 365‘, oder nur wenn ‚(new Date()).getDay() != 0‘

a

Nach einer 30tägigen Probephase kann Optimizely schon ab ca. 10 € (14 US$) im Monat genutzt werden, wenn man einen 2-Jahres-Vertrag abschließt. Ohne Mindestvertragslaufzeit kann das Angebot ab ca. 14€ (19 US$) genutzt werden. Gegründet wurde Optimizely übrigens von den ehemaligen Google-Mitarbeitern Pete Koomen und Dan Siroker. Letzterer war „Director of Analytics“ der extrem erfolgreichen Online-Wahlkampfkampagne von Barack Obama. Nachdem das Unternehmen im letzten Jahr über 1 Million US$ von bekannten Risikokapitalgebern eingesammelt hat, ist man aktuell dabei, das Team zu erweitern, und dürfte Optimizely künftig noch um viele neue Features erweitern und dazu beitragen, das A/B-Testing von noch mehr Menschen genutzt wird.

Kürzlich hat der Anbieter der A/B-Testing Software Visual Website Optimizer ein neues Feature vorgestellt: Revenue-Tracking, was im Deutschen so viel bedeutet wie Umsatz-Beobachtung (über bessere Übersetzungsvorschläge freue ich mich in den Kommentaren). Dieses neue Angebot ist extrem nützlich, denn so kann man zusätzlich zur Konversionsrate bzw. Conversion-Rate (für Ziele wie Klicks auf Links, Besuch von Seiten, ausgefüllte Formulare, Engagement…) auch verschiedene Umsatz-Metriken verfolgen (z.B. Umsatz pro Besucher, gesamter Umsatz, durchschnittlicher Umsatz pro Bestellung…).

Warum sollte man den Umsatz in einem Split-Test beobachten?

Umsatz-Beobachtungen für A/B-Split-Tests sind extrem wichtig, sobald finanzielle Transaktionen über Deine Webseite abgewickelt werden (entweder sofort, oder am Ende des Konversions-Trichters) und ein Konversionsziel (Conversion Goal) angestrebt wird, das mit potentiell unterschiedlichen, finanziellen Ergebnissen verbunden ist. So kann in einigen Fällen eine höhere Konversionsrate zu einem geringeren Umsatz führen, daher macht es keinen Sinn eine Entscheidung lediglich aufgrund dieser Kennzahl zu treffen.

Nehmen wir zum Beispiel ein Software / E-Commerce Unternehmen, welches einen A/B-Split-Test für die Seite durchführt, auf der sie ihr Preismodell vorstellt und in einer Variation das günstigste Angebot (20 $ – Basic) entfernt – wie unten dargestellt.

Wenn man seine Betrachtung lediglich auf die Konversionsrate beschränkt, treten die folgenden Ergebnisse zu Tage, da das preisgünstigste Angebot nicht mehr zu haben ist:

• Ursprüngliche Seite: 1,2% Konversionsrate
• Seiten Variant (das 20 $ Basic Angebot wurde entfernt): 0,8% Konversionsrate

Wenn man sich aber im Rahmen dieses Split-Tests den Umsatz pro Besucher anschaut, so kann dieser in der neu getesteten Seite sogar höher liegen:

• Ursprüngliche Seite: 28 Cent pro Besucher / Gesamtumsatz: 1.400 $
• Seiten Variant (das 20 $ Basic Angebot wurde entfernt): 36 Cent pro Besucher / Gesamtumsatz: 1.800 $

Natürlich ist die Variante mit einem höheren Umsatz pro Besucher und einem höheren Gesamtumsatz erstrebenswert, selbst wenn die Konversionsrate dabei fällt. Der im Durchschnitt höhere erzielte Preis hat die gefallene Konversionsrate in diesem Beispiel überkompensiert. Daher ist es so wichtig beim A/B-Split-Testing und bei Multivariaten-Tests den Umsatz im Blick zu haben, ist er doch für die meisten Unternehmen, aber beispielsweise auch für Spenden sammelnde Organisationen, die wichtigste Kenngröße.

Umsatz-Beobachtung mit dem Visual Website Optimizer

Das Team hinter dem Visual Website Optimizer hat es sich zum Ziel gemacht die Umsatz-Beobachtung (revenue tracking) so einfach wie möglich zu gestalten. Es sind lediglich die folgenden 3 Schritte notwendig:

1. Erstelle einen A/B-Split-Test oder einen Multivariaten Test (mit dem Visual Website Optimizer ohne Design-/ oder Programmierkenntnisse möglich)
2. Auf der „goals page“ musste Du „Revenue Tracking“ als Ziel wählen (der Visual Website Optimizer steht aktuell nur in englischer Sprache zur Verfügung). Gib dann die URL der Seite ein, auf der Du Zugriff auf die Umsatzzahlen des Besuchers hast (in der Regel eine Dankesseite, welche nach einem erfolgreichen Einkauf angezeigt wird)
3. Auf dieser Dankesseite musst Du dann einfach den Standard Visual Website Optimizer Codeschnipsel einbinden sowie die JavaScript Variable vis_opt_revenue mit der Zahl, welche dem Umsatz des Besuchers entspricht. Das mag jetzt komplizierter klingen als es ist, daher ein Beispiel: Wenn der Besucher 2 Artikel kauft (einen für 15 $ und einen für 7 $), füge einfach „22“ in die Variable ein (15 + 7 = 22). Wenn der Besucher nur einen Artikel für 10 $ erworben hat, füge einfach nur „10“ ein. Das wars! Du musst Dir keine Gedanken darüber machen, welche Seiten-Variante der Besucher gesehen hat, oder welches spezielle Produkt der Besucher erworben hat. Gib einfach den Umsatz des Besuchers ein und der Visual Website Optimizer erledigt den Rest.

Wenn wir uns für das oben beschriebene Beispiel eine imaginäre Dankesseite unter http://www.example.com/vielen-dank-fuer-ihren-einkauf/ vorstellen, so bestünde der notwendige JavaScript-Code lediglich in den folgenden Zeilen:

Natürlich verändert sich die Höhe des Umsatzes in vielen Fällen entsprechend der individuellen Einkäufe der Besucher dynamisch (im Beispiel 22). Wenn Du auf Deiner Webseite schon eine Umsatz-Beobachtung (revenue tracking) eingerichtet hast, z.B. mit Google-Analytics, dann sollte es kein Problem sein diese auch im Rahmen des Visual Website Optimizers einzusetzen. Wenn nein, dann wird es höchste Zeit, wobei Du hier eventuell die Hilfe eines Fachmanns hinzuziehen musst (oder Google und ein wenig Zeit).

Wie sehen die Umsatz-Beobachtungs-Berichte aus?

Sobald alles eingerichtet ist, kannst Du ausführliche Berichte wie auf dem unten eingebundenen Bild sehen:

Es werden diverse Metriken für verschiedene Variationen angezeigt:

• Umsatz pro Besucher
• Gesamtumsatz
• Gesamtzahl der Konversionen (Conversions)

Wenn Du es selber ausprobieren willst, empfehle ich den Visual Website Optimizer hier kostenlos zu testen

a

Die englische Originalversion dieses Artikels ist hier zu finden. Die hier zu lesende, deutsche Version wurde mit Zustimmung des Autors und Gründers des Visual Website Optimizer – Paras Chopra – erstellt.
a.

]]> http://abtests.de/revenue-tracking-visual-website-optimizer/feed 0 http://abtests.de/socialbar http://abtests.de/socialbar#comments Wed, 06 Apr 2011 08:51:13 +0000 http://abtests.de/?p=364 "AB-Tests auf der Socialbar" weiterlesen

]]>

Heute war ich zu Gast auf der Socialbar und habe dort die unten eingebundene Präsentation zum Thema A/B-Testing gehalten. Da diese nicht als stand-alone gedacht ist, empfehle ich für alle, die sich weiter informieren wollen, insbesondere den Artikel Was ist A/B-Testing.

Bei der vorgestellten Software handelt es sich um Optimizely. Ebenfalls empfehlen kann ich den Visual Website Optimizer. Dauerhaft kostenlos und in deutscher Sprache gibt es den Google Website Optimizer, wobei mir dieser persönlich zu umständlich und komplex in der Bedienung ist.

Falls jemand selber A/B-Tests durchführt oder spannende Beispiele kennt, würde ich mich sehr freuen diese hier auf der Seite vorzustellen zu können. Nehmt dazu einfach Kontakt mit mir auf. Weitere Fragen und Anregungen gerne in den Kommentaren.

Update: Hannes Jähnert hat im Rahmen seines Forschungsprojekts „Wissenstransfer aus der Socialbar“ den Vortrag aufgenommen und als MP3 zur Verfügung gestellt

]]> http://abtests.de/socialbar/feed 3 http://abtests.de/ab-testing-registrierungen http://abtests.de/ab-testing-registrierungen#respond Fri, 25 Feb 2011 12:03:42 +0000 http://abtests.de/?p=290 "A/B-Test führt zu 60% mehr Registrierungen" weiterlesen

]]>

Es ist erstaunlich, wie sehr die Ergebnisse von A/B-Teste von dem abweichen, was man intuitiv annehmen würde. Eines der besten Beispiele hierfür ist ein A/B-Split-Test, der kürzlich von Venido, einem Anbieter für kostenlose E-Commerce-Shops, mit Hilfe der A/B-Testing-Software Visual Website Optimizer durchgeführt wurde. Ziel des Tests war es, auf einer speziellen Landing-Page zur Registrierung für die kostenlosen Shops die Registrierungs-Konversionsrate (Conversion-Rate) zu erhöhen

A/B-Test Details

Die ursprüngliche Landing-Page kombiniert Marketinginhalte und Registrierungsfelder mit der Absicht, die Anzahl der Klicks für eine erfolgreiche Registrierung zu minimieren. So sah die ursprüngliche Seite mit dem integrierten Registrierungsformular aus:

Eine solche direkte Einbindung des Registrierungsformulars in die Landing-Page gilt dabei eigentlich als „Best Practise“ (siehe z.B. Facebook). Aus diesem Grund hatte Venido die ursprüngliche Version der Landing-Page lange Zeit gleich gelassen. Denn man hatte angenommen, dass durch die Anzahl der zur Registrierung notwendigen Klicks die Konversionsrate (Conversion-Rate) erhöht würde. Tatsächlich war die Performance der Seite relativ gut, aber man wollte ganz sicher gehen, dass das eingebundene Registrierungsformular nicht zu aggressiv oder limitierend wirkte.

Die Variante der Webseite, welche im Rahmen des A/B-Tests getestet wurde, nutzte ähnliche Bilder und Inhalte. Aber man verzichtete auf jegliche Registrierungsfelder und verwendete ein etwas anderes Styling. Ein Klick auf den „Sign up Now“-Button führte den Besucher auf eine Seite mit Registrierungsformular. Es wurde dem Konversions-Trichter (Conversion-Funnel) also effektiv ein zusätzlicher Schritt hinzugefügt. Keine sehr clevere Idee, wie man glauben mag, oder? So sah die Variante aus:

A/B-Test Ergebnisse

Erstaunlicher Weise war die Performance der Variante ohne eingebundene Registrierungsfelder und mit dem zusätzlichen Schritt deutlich besser. Um genau zu sein hat sich die Zahl der Registrierungen um 60% erhöht!

Vendio hatte dabei Folgendes zu Ergebnissen zu sagen: „Best Practices sind NICHT immer wahr! Es ist noch immer schwer zu glauben, aber die Zahlen lügen nicht.“

Deshalb ist das die größte Lehre hier, und es lohnt sich diese zu wiederholen: „Best Practices sind NICHT immer wahr!“ Wenn Du Änderungen an Deiner Webseite oder Landing-Page ohne A/B-Testing durchführst, tappst Du im Endeffekt im Dunklen. Eine weitere Lehre besteht darin, dass es durchaus Sinn macht, extrem unterschiedliche Variante einer Webseite zu testen, selbst wenn dies auf den ersten Blick wenig sinnvoll erscheint (wie z.B. das eingebundene Registrierungsformular von der Landing-Page zu entfernen).

Referenz für den Visual Website Optimizer

Nach dem erfolgreichen Test hat sich Venido begeistert über den Visual Website Optimizer geäußert:

„Der Visual Website Optimizer (VWO) war außerordentlich nützlich. Er war für uns deutlich einfacher als andere Lösungen (einige konnten wir nicht mal richtig zum Laufen bringen). Ohne den VWO würden auf all diese Registrierungen verzichten müssen, und wir erzielen ach wie vor großartige und überraschende Ergebnisse mit dem VWO.“

a

Die englische Originalversion dieses Artikels ist hier zu finden. Die hier zu lesende, deutsche Version wurde mit Zustimmung des Autors und Gründers des Visual Website Optimizer – Paras Chopra – erstellt.

a

]]> http://abtests.de/ab-testing-registrierungen/feed 0 http://abtests.de/ab-testing-wikipedia http://abtests.de/ab-testing-wikipedia#comments Sun, 13 Feb 2011 20:58:32 +0000 http://abtests.de/?p=254 "+ 416% – A/B-Testing à la Wikipedia" weiterlesen

]]>

Viele von Euch werden sich sicherlich noch an die Spendenaufrufe auf Wikipedia erinnern. Das kostenlose Online-Lexikon konnte so allein 2010 ca. 16 Millionen US$ an Spenden generieren. Weniger bekannt ist, dass im Rahmen dieser Fundraising-Aktion sehr intensiv mit A/B-Tests gearbeitet wurde. So wurden zahlreiche Banner mit zum Teil extrem unterschiedlichen Ergebnissen getestet. Mit Abstand am erfolgreichsten waren die persönlichen Aufrufe des Wikipedia-Gründers Jimmy Wales, insbesondere wenn ein Foto von ihm Bestandteil des Banners war.

Die Ergebnisübersicht eine A/B-Tests von Wikipedia.

a

Besonders beeindruckend war ein A/B-Test am 26. Oktober. Das erfolgreichste Banner hat pro Einblendung zu 416% mehr Spenden geführt als das zweiterfolgreichste. Das lag zum einen an einer höheren Click-Through-Rate (CTR) und zum anderen an einer um ca. 50% höheren Durchschnittsspende.

Der mit Abstand erfolgreichste Banner

a
Im Vergleich zu dem am wenigsten erfolgreichen Banner konnte das Spendenvolumen pro Einblendung sogar um über 2500% gesteigert werden.

Dieser Banner hat schon weniger als 1/5 des besten eingespielt.

a
Wer bisher noch gezögert hat, sich mit A/B-Testing auseinander zu setzen, der sollte spätestens jetzt noch mal drüber nachdenken…

Dieser Banner hat sogar weniger als 5% des besten eingespielt.

a
Wer mehr wissen will, dem sei die von Wikipedia bzw. der Wikimedia-Foundation öffentlich zugänglich gemachte Banner-Testing-Dokumentation ans Herz gelegt, wobei man hier in Sachen Übersichtlichkeit sicherlich noch Potential hat… Etwas verständlicher geht es in den „Updates from the Fundraising Team“ zu, aber auch diese liegen bisher leider nur in englischer Sprache vor.

a

]]> http://abtests.de/ab-testing-wikipedia/feed 1