AB-Test: Quoten ohne Abbrecher

Home Usecases Kundenbefragung AB-Test: Quoten ohne Abbrecher

Least-Filled-Quota-Zuteilung nur bei abgeschlossenen Fragebögen

Im Rahmen eines A/B-Tests (auch Split-Test genannt) werden mindestens zwei Varianten eines Elements, einer Online-Umfrage, einer App oder Website gegeneinander getestet. Ziel ist es, nach Abschluss herauszufinden, welche Option besser performt. Mit LamaPoll lassen sich klassische A/B-Tests mit Zufallswerten durchführen, in denen Teilnehmende zufällig einzelne Fragen oder ganze Seiten angezeigt bekommen, um diese zu bewerten. Wenn Sie zudem sicherstellen wollen, dass in die Gleichverteilung ausschließlich abgeschlossene Fragebögen einbezogen werden, Abbrecher also ausgeschlossen bleiben, müssen Sie einige Anpassungen vornehmen. Wir zeigen Ihnen im Folgenden, wie Sie einen A/B-Test mit einer Least-Filled-Quota-Verteilung umsetzen und gleichzeitig die Umfrage-Abbrecher ausschließen.

Warum mit LamaPoll?

Sicher: Ihre Daten werden verschlüsselt in deutschen, ISO-zertifizierten Rechenzentren verarbeitet
Anonym: Ihre Befragung kann sowohl anonym als auch nicht anonym durchgeführt werden
Schön: Sie können das Design nach eigenen Wünschen anpassen, die Umfrage wird auf allen Geräten gut aussehen
Einfach: Sie können die Teilnehmer ganz einfach einladen – über einen Link (oder offline, bspw. einen QR-Code)

Um einen A/B-Test mit Zufallskandidaten umzusetzen, benötigen Sie einen kostenpflichtigen Platin-Tarif.

1. Erste Schritte der Fragebogenerstellung mit LamaPoll

Umfragen lassen sich mit LamaPoll schnell und einfach erstellen. Der Vorgang ist mit PowerPoint vergleichbar – Sie legen Folien / Seiten an und erstellen Elemente (Fragen, Textblöcke, Bilder...) auf den einzelnen Seiten. Dabei stehen Ihnen Funktionen zur Verfügung wie Pflichtfragen (kein Vorankommen ohne Beantwortung), Ein- und Ausblenden (Fragen / Seiten werden nur eingeblendet, wenn…), Sprünge (Falls… dann Sprung zu Seite X) und mehr.

Die wichtigsten Funktionen finden Sie hier:

1.1. Fragebogen-Aufbau für einen A/B-Test mit Quoten ohne Abbrecher

Um Ihnen das Vorgehen Schritt für Schritt zu verdeutlichen, beziehen wir uns im Folgenden auf einen beispielhaften Fragebogenaufbau. Inhaltlich gibt es für Teilnehmende nur Unterschiede auf den Seiten für die Experimental- bzw. Kontrollgruppe (siehe Abbildung 1). Alle weiteren Inhalte sind für alle Teilnehmenden gleichermaßen sichtbar.

Übrigens: Sie können natürlich beliebig viele Seiten für die jeweiligen Vergleichsgruppen anlegen. Im Beispiel nutzen wir jeweils nur eine Seite.

Ausgangsbasis für den exemplarischen Fragebogen im Rahmen der Gleichverteilung von beendeten Teilnahmen.

Abb. 1 - Exemplarischer Fragebogenaufbau für die weiteren Erklärungen

2. Zufallsziehung mit Zufallskandidaten

Um einen klassischen A/B-Test mit LamaPoll umzusetzen, wird die Funktion "Zufallszahl" genutzt. Sobald jedoch die Abbrecher einer solchen Befragung ausgeschlossen werden sollen, benötigen Sie die Funktion "Zufallskandidaten".

2.1. Unsichtbare Dummy-Frage anlegen

Für die Zufallskandidaten-Funktion ist zunächst eine Einfachauswahlfrage notwendig, auf die sich eben diese Zufallskandidaten beziehen können. Legen Sie daher direkt auf Seite 1 eine entsprechende Einfachauswahlfrage mit zwei Items an (siehe Abbildung 2).

Abb. 2 - Einfachauswahlfrage mit 2 Antwortoptionen für Experimentalgruppe und Kontrollgruppe

Verwenden Sie jetzt das Auge-Symbol, um die Sichtbarkeit so einzustellen, dass die Frage dauerhaft für sämtliche Teilnehmer unsichtbar ist (siehe Abbildung 3). Die Einstellungen sind so gewählt, dass die Frage nur sichtbar ist, wenn das Startdatum in der Vergangenheit liegt. Da diese Bedingung immer falsch ist, bleibt die Frage unsichtbar.

Abb. 3 - Sichtbarkeit so definieren, dass das Startdatum in der Vergangenheit liegt

2.2. Zufallskandidaten definieren

Um im nächsten Schritt die Zufallskandidaten zu definieren, nutzen Sie den Menüpunkt "Steuerung" auf der linken Seite und wählen anschließend "+ Neue Zufallsziehung".

Abb. 4 - Zufallskandidaten definieren und relative Gewichtung nach Antworten aktivieren

Nachdem sich das Fenster "Zufallsziehung" geöffnet hat, vergeben Sie einen passenden Namen für Ihr Vorhaben und wählen "Zufallskandidaten" bei der Art der Zufallsziehung aus. Wichtig ist außerdem, dass bei "Wann soll diese Aktion ausgeführt werden?" die letzte Seite oder Endseite der Befragung ausgewählt wird. So stellen Sie sicher, dass die Gruppenzuteilung erst auf der Endseite bzw. bei Abschluss der Online-Umfrage greift. Setzen Sie außerdem den Haken, um die "relative Gewichtung nach Antworten (Least Filled Quota)" zu berücksichtigen (siehe Abbildung 4).

Mit der Methode der Least Filled Quota wird automatisch sichergestellt, dass die Vergleichsgruppen immer möglichst gleich groß bleiben, da die Quote mit dem niedrigsten Füllstand zuerst aufgefüllt bzw. gewählt wird.

Im unteren Part des Fensters geben Sie abschließend die Antwort-Optionen der Dummy-Frage an (siehe Abbildung 5). Filter sowie weitere Einstellungen wie "Priorität" oder "Gewicht" müssen nicht berücksichtigt werden, da letztere automatisch nach dem Speichern auf "1" gesetzt werden.

Antwort-Optionen der Dummy-Frage auswählen und ergänzen Abb. 5 - Antwort-Optionen hinterlegen

3. Sichtbarkeiten für Vergleichsgruppen einstellen

Nachfolgend müssen sämtliche Seiten aller relevanten Gruppen mit den entsprechenden bedingten Sichtbarkeiten versehen werden. So wird sichergestellt, dass das Tool nur die Seite(n) anzeigt, die Sie vorgeben. Nutzen Sie dazu das Auge-Symbol bei den jeweiligen Seiteneinstellungen.

3.1. Seitensichtbarkeit von Gruppe 1

Definieren Sie nun die Sichtbarkeit der ersten Gruppe – im Beispiel hier die "Experimentalgruppe":

Seite ist sichtbar falls mindestens eine Bedingung zutrifft

Quoten für Zufallsziehung __ Stichproben mit 'Experimentalgruppe' __ ≤ 50 %

Sichtbarkeit der Seite(n) von Gruppe 1 Abb. 6 - Stellen Sie die Sichtbarkeit so ein, dass die Seite sichtbar ist, wenn die Quoten für die Zufallsziehung der Stichprobe der Experimentalgruppe kleiner oder gleich 50 Prozent sind.

3.2. Seitensichtbarkeit von Gruppe 2

Definieren Sie anschließend die Sichtbarkeit der zweiten Gruppe mit zwei Bedingungen - im Beispiel hier die "Kontrollgruppe":

Seite ist sichtbar falls folgende Bedingungen zutreffen

Quoten für Zufallsziehung __ Stichproben mit 'Kontrollgruppe' __ < 50 %

UND Quoten für Zufallsziehung __ Stichproben mit 'Experimentalgruppe' __ ≠ 0

Sichtbarkeit der Seite(n) von Gruppe 2 Abb. 7 - Stellen Sie die Sichtbarkeit so ein, dass die Seite nur sichtbar ist, wenn die Quoten für die Zufallsziehung der Stichprobe der Kontrollgruppe kleiner als 50 Prozent sind UND wenn die Quoten für die Zufallsziehung der Stichprobe der Experimentalgruppe ungleich Null sind.

Nutzen Sie für die erste Bedingung nur die Option "< als 50%" und nicht "≤ als 50%" , um im Falle eines Gleichstands nicht automatisch beide Seiten anzuzeigen. Die zweite Bedingung, die per "und" ergänzt wird, ist notwendig, um festzulegen, dass die Kontrollgruppe erst angezeigt wird, wenn die Quote der Experimentalgruppe nicht (mehr) Null ist. Mit anderen Worten: Hat die erste Gruppe noch keine Teilnahmen erhalten, wird die zweite Gruppe nicht angezeigt.

4. A/B-Test: Hinweise zur Auswertung

Im Rahmen Ihrer Auswertung haben Sie neben den Gesamtergebnissen der Befragung auch Zugriff auf die Rohdaten (Einzelergebnisse). Beide Optionen lassen sich exportieren.

Ergebnisse der Auswertung bei 5 Teilnehmern Abb.8 - Eine beispielhafte Ergebnis-Übersicht nach 5 Teilnahmen, davon 2 beendet. Frage 2 gehört zur Experimentalgruppe, Frage 3 zur Kontrollgruppe.

Das Prinzip der bedingungslosen Gleichverteilung von beendeten Teilnahmen wird in Abbildung 8 nochmal verdeutlicht. In diesem Beispiel gab es insgesamt 5 Teilnahmen, davon wurden 2 Fragebögen beendet. Die Dummy-Frage 1 blieb für alle Teilnehmer unsichtbar. Die beendeten beiden Teilnahmen verteilen sich jeweils auf die Experimental- sowie auch die Kontrollgruppe (Fragen 2 und 3). Die darauffolgenden Fragen waren wieder für alle Befragten sichtbar und wurden in Gänze beantwortet.

Nutzen Sie außerdem die Ergebnisfilter, um individuell nach Ihren Gruppen zu filtern (Auswerten > Ergebnisse > mehr Filter), wie in Abbildung 9 zu sehen.

Abb. 9 - Ergebnisse können individuell nach Gruppen gefiltert werden

Die Vergleichen-Funktion steht Ihnen bei der Umsetzung eines A/B-Tests mit Zufallskandidaten nicht zur Verfügung.

5. Tipps zur Erstellung & Durchführung des A/B-Tests

Legen Sie zunächst Ihren Fragebogen in Gänze an, bevor Sie die Zufallskandidaten und dynamischen Elemente definieren. Sollten Sie mehrere Seiten pro Gruppe für Ihre Befragung benötigen, ist es ratsam, Verzweigungen statt Sichtbarkeiten zu verwenden.
Bei der Verwendung der Quoten-Funktion kann es zu kleinen Überbuchungen kommen, da Teilnehmende begonnene Befragungen zu Ende bringen dürfen. Mit anderen Worten: Wenn zwei Teilnehmende derselben Gruppe zugewisen werden und es danach keine weiteren Teilnehmer mehr gibt, kann die Diskrepanz nicht mehr ausgeglichen werden.
Benötigen Sie Unterstützung bei der Umsetzung Ihres A/B-Tests? Dann nehmen Sie gern Kontakt mit unserem kompetenten Support auf.
Weitere Informationen zu Randomisierung in Online-Umfragen finden Sie hier: Online-Umfrage Randomisierung und zusätzliche Inhalte zu A/B-Tests im Helpdesk: AB-Test

nach oben

A/B-Test: Gleichverteilung beendeter Teilnahmen