Mailings: A/B-Test

Der 'A/B-Test' ist ein unverzichtbares Mittel, um das Potenzial Ihres Mailings voll auszuschöpfen. Erreicht Betreff A oder B mehr Öffnungen? Sollte ich morgens oder nachmittags versenden? Erzeugen große Artikelbilder oder ein Gutschein tatsächlich mehr Bestellungen?

Das Prinzip: Der A/B-Test sendet mehrere Varianten Ihres Mailings an zufällig gewählte (kleine) Testgruppen Ihrer Empfänger. Deren Reaktion wird abgewartet. Dann wird automatisch das Gewinnermailing mit der besseren Öffungs- oder Klickrate an den (großen) Rest verschickt. So lernen Sie Ihre Zielgruppe immer besser kennen und schulen permanent Ihre eigene Intuition.

In der Übersicht sehen Sie alle vorhanden A/B-Tests, auch die bereits abgeschlossenen. In der Spalte 'Status' erkennen Sie, in welchem Stadium sich Ihr A/B-Test derzeit befindet.

Neuen A/B Test anlegen

Um einen neuen A/B-Test anzulegen, klicken Sie 'Neuer A/B-Test'.

Reiter 'Grundeinstellungen'

Wählen Sie eine oder mehrere Abonnentenlisten' an die der A/B-Test versendet werden soll. Optional schränken Sie den Empfängerkreis durch Wahl einer 'Zielgruppe' ein.

Wählen Sie unter 'Auswahl E-Mail' das Mailing, dass Sie als Variante A verwenden möchten.

--> Hinweis: Im A/B-Test versenden Sie an Ihre realen Abonnenten. Achten Sie darauf, dass im gewählten Mailing alle zum Versand benötigten Einstellungen (wie z. B. der Absendername) vollständig hinterlegt sind.

Klicken Sie anschließend auf 'Weiter'.

Reiter 'A/B Gruppen'

Stellen Sie per Schieberegler die Größe der gewünschten Testgruppen ein, d.h. wieviel Prozent Ihrer Abonnenten sollen am A/B-Test teilnehmen. Möchten Sie mehr als 2 Varianten Ihres Mailings vergleichen, fügen Sie über den Link 'Gruppe hinzufügen' weitere Testgruppen hinzu. Es lassen sich maximal 7 Testgruppen anlegen, etwa um auf der Suche nach dem besten Versandzeitpunkt die 7 Tage der Woche gegeneinander antreten tu lassen.

Im folgenden Beispiel vergleicht der A/B-Test zwei Testgruppen und wählt pro Gruppe 10% Ihrer Abonnenten zufällig aus.

An diese 20% werden die Testmalings versendet (siehe folgender Abschnitt 'Versand'). Die Öffnungs- und Klickrate der beiden Gruppen wird gemessen. Anschließend können Sie das Gewinnermailing an die übrigen 80% Ihrer Abonnenten versenden, entweder manuell oder automatisch.

--> Hinweis: Sie können die Testgruppen auch auf 100% der Abonnenten verteilen, um das Ergebnis dann für zukünftige Mailings zu nutzen. In dem Fall wird kein Gewinnermailing versendet.

Reiter 'Testkriterium'

Wählen Sie das Testkriterium, in dem die Testgruppen gegeneinander antreten sollen:

Testen Sie verschiedene Betreffzeilen, Absendernamen, Absenderadressen oder Versandzeitpunkte.

Über das Testkriterium 'E-Mail' ist es möglich, die Wirkung verschiedener Mailing-Inhalte miteinander zu vergleichen, z. B. verschiedene Text- oder Bildvarianten. Wählen Sie zum Vergleich mehrere Mailings aus.

Reiter 'Versand'

Legen Sie nun die Einstellungen zum Versand fest.

 

Wählen Sie den Versandzeitpunkt des A/B-Testmailings: Soll das A/B-Testmailing sofort oder zu einem späteren Zeitpunkt versendet werden?

Wählen Sie das Gewinnkriterium: Soll die Öffnungsrate, die Klickrate (aller Zustellungen) oder die Effektive Klickrate (die der Öffner) den Gewinner bestimmen (siehe auch Übersicht, Öffnungs-/Klickrate)?

Wählen Sie die Testdauer: Nach wievielen Stunden (oder Tagen) soll Shared Services - Graubünden Ferien den A/B-Test beenden? Je länger die Testdauer, desto mehr Daten zum Öffnungs- und Klickverhalten der Testgruppen werden gesammelt.

 Für den Versandzeitpunkt des Gewinnermailings haben Sie drei Möglichkeiten:

• Manuell am Ende der Testdauer: Shared Services - Graubünden Ferien zeigt den Gewinner des A/B-Tests an. Sie entscheiden jedoch selbst, welches der Mailings "Ihr" Gewinner sein soll. Sie wählen das Mailing aus, dass an die noch ausstehenden Abonnenten verschickt wird, inkl. Versandzeitpunkt (sofort oder zeitgesteuert). Um vor Ende des ablaufenden A/B-Tests rechtzeitig informiert zu werden, können Sie optional eine E-Mail-Adresse und eine Vorlauf-Zeit eintragen.
• Automatisch am Ende der Testdauer: Das Gewinnermailing wird automatisch sofort nach Ablauf der Testdauer verschickt.
• Zeitgesteuert am Ende der Testdauer: Das Gewinnermailing wird automatisch zum von Ihnen gewählten Zeitpunkt nach Ablauf der Testdauer verschickt.

 

Klicken Sie auf 'Speichern', um die Einstellungen Ihres A/B-Tests abzuspeichern. Ihr A/B-Test ist nun startbereit.

Nach Klick auf 'A/B-Test aktivieren' werden Ihre gewählten Einstellungen noch einmal in einer Übersicht angezeigt. Achten Sie darauf, dass die Einstellungen vollständig und korrekt sind, denn auch im A/B-Test versenden Sie an Ihre realen Abonnenten.

Klicken Sie anschließend auf  'A/B-Test starten'.

Reiter 'Auswertung'

Nach Start des A/B-Tests erscheint der Reiter 'Auswertung'. Hier wird der Verlauf der Öffnungen und Klicks innerhalb der Testdauer dargestellt.

Je nachdem, ob Sie den automatischen oder manuellen Versand des Gewinnermailings eingestellt hatten, zeigt die Auswertung auf der linken Seite folgendes an:

• Manuell am Ende der Testdauer: Klicken Sie auf das Kopieren-Icon Ihres gewünschten Gewinnermailings. Sie finden es anschließend in der "normalen" E-Mail Übersicht und können es dort wie gewohnt bearbeiten und verschicken.
• Automatisch am Ende der Testdauer: Das Gewinnermailing wird automatisch ermittelt und versendet. Der Versandzeitpunkt wird angezeigt.

Die detailierte Statistik des Gewinnermailings finden Sie wie gewohnt im Menü 'Statistik' --> 'E-Mail'.

Sollten beim Durchführen des A/B-Tests Fehler auftreten, erscheint ein weiterer Reiter 'Fehler', der Sie über die Details informiert.