Was ist A/B-Testing? (Leitfaden 2024)

Du möchtest deine Website, App, Werbeanzeigen oder E-Mail-Kommunikation optimieren? Doch wie findest du heraus, was wirklich funktioniert und was nicht? A/B-Testing ist eine hervorragende Methode, mit der du verschiedene Varianten ausprobieren und bewerten kannst. Denn sie liefert dir datenbasierte Ergebnisse, auf die du dein weiteres Vorgehen stützen kannst.

Wie A/B-Testing funktioniert, wo es überall zum Einsatz kommt und wie du selbst A/B-Tests durchführen kannst, erfährst du hier.

Was ist A/B-Testing?

Der A/B-Test ist ein beliebte Testmethode, die vor allem in der Informatik und im Onlinemarketing zum Einsatz kommt. Sie dient dem direkten Vergleich zweier oder mehrerer Varianten einer Sache. Zum Beispiel kann die Wirkung von verschiedenen Newslettern oder Werbeanzeigen via A/B-Test miteinander verglichen werden. Besonders beliebt ist die A/B-Testmethode außerdem bei der Optimierung von Websites, zum Beispiel im E-Commerce.

Der A/B-Test wird englisch auch „Split Test‟ oder „Split-Run-Test‟ genannt. Das Testverfahren inklusive der Vorbereitung, Zielsetzung und Auswertung des Tests wird A/B-Testing genannt.

Immer wenn die Nutzererfahrung im Fokus steht und verbessert werden soll, sind A/B-Tests ein probates Mittel, um die Auswirkung von Neuerungen zu überprüfen und mit dem Status Quo zu vergleichen.

Die Bedeutung von A/B-Tests

A/B-Tests sind ein praktisches und viel genutztes Werkzeug, mit dem vor allem Informatiker, Webmaster und Marketer ihre Produkte kontinuierlich optimieren: Websites, Landingpages, Ads, E-Mails, Apps, Newsletter und mehr.

Immer wenn die Nutzererfahrung im Fokus steht und verbessert werden soll, sind A/B-Tests ein probates Mittel, um die Auswirkung von Neuerungen zu überprüfen und mit dem Status Quo zu vergleichen.

Mithilfe der A/B-Testmethode und dem Einsatz entsprechender A/B-Testing-Tools können solche Tests schnell und einfach durchgeführt werden. Die Messung und Auswertung der Ergebnisse erfolgt ebenfalls mithilfe passender Tools, mitunter sogar in Echtzeit. 

Das alles macht A/B-Tests zu einem wichtigen Hilfsmittel, zum Beispiel im Marketing, Onlinemarketing, Webdesign und in der Produktentwicklung.

Verschiedene A/B-Testing-Typen

Es gibt nicht nur eine Möglichkeit, wie ein A/B-Test gestaltet sein kann. Werfen wir deshalb einen Blick auf die verschiedenen Testtypen, die auf dem A/B-Testverfahren beruhen.

Der klassische A/B-Test

Bei einem klassischen A/B-Test werden in der Regel eine Originalversion (A) und eine abgeänderten Variante (B) in Hinsicht auf ihre Wirkung miteinander verglichen. Bisweilen können es auch mehrere Varianten sein.

Wesentlich ist es, dass stets eine einzige Veränderung pro Variante vorgenommen und betrachtet wird.

Wie funktioniert ein klassischer A/B-Test?

Die Funktionsweise eines A/B-Tests ist ziemlich simpel. Zwei Varianten einer Sache werden simultan getestet, danach erfolgen die Auswertung und die Bewertung der jeweiligen Ergebnisse.

Nehmen wir an, du versendest regelmäßig Newsletter, bist aber unzufrieden mit der Anzahl der Empfänger, die ihn bei Erhalt anklickt. Um eine höhere Klickrate zu erhalten, möchtest du ihn deshalb mit Hilfe eines A/B-Tests optimieren.

Als Erstes erstellst du hierfür einen Newsletter zu einem bestimmten Thema. Erstelle ihn auf die Art, wie du es immer tust. Das ist dein Newsletter A.

Im zweiten Schritt erstellst du eine abgeänderte Variante des Newsletters, also Newsletter B. Du kannst zum Beispiel den Betreff, den Umfang des Newsletters, die Länge der verwendeten Texte, die Ankertexte oder die Anzahl oder Art der Bilder abändern.

Es ist sinnvoll, immer nur Details zu verändern. Dadurch lassen sich später diejenigen Änderungen leichter identifizieren, die zu einem anderen Ergebnis geführt haben. Möchtest du mehrere Variationen ausprobieren, kann es sinnvoller sein, mehrere A/B-Tests nacheinander durchzuführen.

Nun teilst du die Empfänger deines Newsletters in zwei gleiche Gruppen. Lass dabei den Zufall spielen. Es ist sehr wichtig, dass das Verfahren randomisiert durchgeführt wird. Wer in die A- oder B-Gruppe kommt, sollte demnach völlig zufällig sein. Wird stattdessen eine bewusste Vorauswahl getroffen, verfälscht dies dein Testergebnis.

Schließlich versendest du Newsletter A an Gruppe A und Newsletter B an Gruppe B. Achte dabei darauf, dass alle Faktoren abseits der Veränderungen, die du betrachten möchtest, möglichst gleich bleiben. Du solltest beide Newsletter also beispielsweise an die gleiche Menge Empfänger versenden, zur gleichen Uhrzeit und von der gleichen Absenderadresse aus.

Nach einem festgelegten Zeitraum kannst du die Ergebnisse überprüfen und mitunter vergleichen, welcher der beiden Newsletter von mehr Menschen geöffnet wurde. Möchtest du eine ganze Testreihe durchführen, dient dir die erfolgreichere Variante bei deinem nächsten A/B-Test als Variante A.

Natürlich kannst du auch bei einem Test mehrere Varianten gegen die Originalvariante „antreten‟ lassen. Doch bedenke, dass deine Ergebnisse immer weniger aussagekräftig werden, je kleiner die einzelnen Testgruppen sind. Da verhält es sich wie bei Straßenumfragen.

So oder so: Mit Hilfe von mehreren aufeinanderfolgenden A/B-Tests kannst du dich Schritt für Schritt an eine optimale Variante deines Newsletters herantasten.

Welche Vor- und Nachteile haben klassische A/B-Tests?

Der große Vorteil eines klassischen A/B-Tests besteht definitiv in seiner Einfachheit. Die Methode lässt sich problemlos umsetzen. Die Bewertung der Ergebnisse ist ebenfalls vergleichsweise unkompliziert.

Da mit einem A/B-Test allerdings immer nur eine einzelne Variation getestet wird, sind auch die Testergebnisse in ihrer Aussagekraft begrenzt. Strebst du eine Optimierung an, kommst du nicht daran vorbei, immer wieder weitere Tests durchzuführen.

Überdies beschreitest du mit ausschließlich klassischen A/B-Tests einen linearen Pfad. Die Auswirkung von Varianten in Kombination bleiben außen vor. Anders gestaltet es sich bei der nächsten Methode aus dem Bereich A/B-Testing.

Multivariate Tests (MVT)

Anders als im Rahmen eines klassischen A/B-Tests experimentierst du bei einem multivariaten Test mit mehreren Elementen. Dem zugrunde liegt offenbar die Annahme, dass nicht nur eine einzelne Variation, sondern insbesondere auch die Kombination aus mehreren Variationen eine Wirkung entfalten kann. Das Verfahren wird gelegentlich auch Multivarianten-Test genannt.

Wie funktioniert ein multivariater Test?

Bleiben wir beim Beispiel Newsletter: Diesmal möchtest du mit der Testung herausfinden, was du verändern musst, damit mehr Leser auf einen der Buttons klicken. Das sind die Schaltflächen, über die man per Klick auf eine bestimmte Landingpage gelangt.

Also änderst du in Version B vielleicht die Aufschrift der Buttons. In Version C änderst du lediglich deren Farbe. In Version D kombinierst du beides und änderst sowohl die Aufschrift als auch die Farbe der Buttons. Wie beim klassischen A/B-Test ist die unveränderte Fassung des Newsletters Version A.

Nun unterteilst du die Empfänger deines Newsletters in vier gleich große Gruppen, natürlich per Zufall. Jede Gruppe erhält jeweils nur eine Version des Newsletters: A, B, C oder D. Im Anschluss daran analysierst du, welche Version am besten funktioniert hat. 

Bei einem multivariaten Test kannst du noch viel mehr Versionen miteinander in den Ring schicken.

Welche Vor- und Nachteile haben multivariate Tests?

Multivariate Tests haben den Vorteil, dass du mit ihnen gleich mehrere Schritte auf einmal gehen kannst. Anstatt immer nur eine einzelne Variante zu testen, kannst du gleich mehrere Varianten miteinander vergleichen. Das spart Zeit – denn in nur einem Testlauf lassen sich allerhand Ergebnisse sammeln. 

Voraussetzung für breit gefächerte multivariate Tests ist allerdings, dass etwa bei einem Newsletter die Anzahl der Empfänger ausreichend groß ist. Schickst du die einzelnen Versionen jeweils nur an eine unwesentliche Zahl Empfänger, verringert das die Aussagekraft des Testergebnisses erheblich. 

Auch bei der Optimierung von Websites kommen multivariate Tests zum Einsatz. Dabei eignen sie sich laut Mailchimp vor allem für Marketer, die mit ausreichend Traffic zu tun haben.

Split-URL-Tests

Der Split-URL-Test oder auch Split-Path-Test ist eine weitere Abwandlung des klassischen A/B-Tests. Mit dieser Methode werden zum Beispiel verschiedene Versionen einer Website miteinander verglichen, etwa in Hinsicht auf ihre Conversion Rate. Es stehen also nicht nur einzelne Elemente eines Testobjekts im Fokus der Überprüfung. Stattdessen werden ganze Konzepte einander gegenübergestellt.

Wie funktioniert ein Split-URL-Test?

In diesem Beispiel verfolgst du das Ziel, die Conversion Rate deines Onlineshops zu verbessern. Du möchtest also den Anteil an Websitebesuchern vergrößern, die etwas im Shop kaufen. Um herauszufinden, wie sich umfassende Änderungen an deiner Website auf die Conversion Rate auswirken, führst du einen Split-URL-Test durch.

Für den Split-URL-Test werden mindestens zwei Versionen der Website benötigt: die ursprüngliche Version A und eine abgeänderte Variante B. Die abgeänderte Variante kann sich zum Beispiel in Hinsicht auf ihr Design, ihre Inhalte, ihre Navigationsstruktur oder andere Funktionen vom Original unterscheiden.

Jede Version erhält eine spezifische URL (Uniform Resource Locator), also eine eigene vollständige Webadresse.

Nun beginnt der eigentliche Test: Bei diesem leitest du Traffic zufällig und zu gleichen Teilen auf Version A und B weiter. Nach einem bestimmten Zeitraum wertest du aus, welche der beiden Versionen eine bessere Conversion Rate aufweist.

Was sind die Vor- und Nachteile der Split-URL-Testmethode?

Split-URL-Tests sind recht aufwändig im Vergleich zum klassischen A/B-Test und anderen Methoden, bei denen nur einzelne Elemente verändert werden. Deshalb lohnt sich ein Split-URL-Test vor allem dann, wenn du weitreichende und grundlegende Veränderungen etwa an deiner Shopseite erwägst. Damit die Ergebnisse des Tests aussagekräftig sind, kann außerdem ausreichend Websitetraffic vonnöten sein.

Sequentielle A/B-Tests

Sequentielle A/B-Tests sind dem klassischen A/B-Test sehr ähnlich. Der wesentliche Unterschied zwischen beiden Methoden besteht in der Art und Weise, wie Testergebnisse gesammelt und bewertet werden. 

Während du beim klassischen A/B-Test alle Daten auf einmal sammelst, arbeitest du dich beim sequentiellen A/B-Test schrittweise vor – also in Sequenzen. 

Wie funktioniert ein sequentieller A/B-Test?

Wie beim klassischen A/B-Test startest du mit einer Originalversion und einer abgeänderten Version deines Testobjekts: zum Beispiel deinem Newsletter A und einer Variante dessen, Newsletter B. Dieser hat vielleicht einen anderen Betreff als das Original. Das Ziel des Tests kann es dann beispielsweise auch hier sein, zu überprüfen, welche Version eine bessere Klickrate erzeugt.

Wieder teilst du deinen Empfängerkreis per Zufall in zwei gleich große Gruppen. Doch jetzt kommt der Unterschied zum klassischen A/B-Test:

Anders als beim klassischen A/B-Test versendest du die zwei Newsletter jeweils nur an einen Bruchteil der jeweiligen Gruppe. So verschickst du zum Beispiel Newsletter A an 10 % der Empfänger aus Gruppe A und Newsletter B an 10 % der Empfänger aus Gruppe B. Daraufhin wertest du die Ergebnisse dieser ersten Sequenz aus.

Dann erfolgt die nächste Sequenz und wieder versendest du Newsletter A und Newsletter B an jeweils 10 % der Empfänger aus der jeweiligen Gruppe. Auch diese Sequenz wird im Anschluss daran ausgewertet.

Diesen Vorgang kannst du so oft wiederholen, bis alle Empfänger einen Newsletter erhalten haben – musst du aber nicht.

Liegen bereits nach wenigen Durchgängen oder gar nach der ersten Sequenz absolut eindeutige Ergebnisse vor? Dann kann es sinnvoll sein, den Test nicht unnötig weiterzuführen. Stattdessen können die Ergebnisse direkt umgesetzt werden, indem die bessere Version an die übriggebliebenen Empfänger versendet wird.

Was sind die Vor- und Nachteile sequentieller A/B-Tests?

Sequentielle A/B-Tests sind ein wenig aufwendiger als klassische A/B-Tests, da aufgrund der Wiederholungen insgesamt mehr Arbeitsschritte notwendig sind. Dafür ist er effizienter und insbesondere zeitsparend.

Personalisierte A/B-Tests

Personalisierte A/B-Tests zeichnen sich dadurch aus, dass mit ihnen auf bestimmte Zielgruppen zugeschnittene Inhalte getestet werden.

Anders als beim klassischen A/B-Test werden nicht universelle Änderungen an Elementen vorgenommen und an einer zufällig zusammengestellten Gruppe getestet: Beim personalisierten A/B-Test geht es darum, zielgruppenspezifische Varianten von Inhalten wie Websites, Newslettern oder Werbeanzeigen zu erstellen.

Wie funktioniert ein personalisierter A/B-Test?

Das Ziel eines personalisierten A/B-Tests ist es, zielgruppenspezifische Inhalte zu testen. Die Vorarbeit eines Testdurchlaufs ist deshalb deutlich aufwändiger. Immerhin musst du vorab die entsprechenden Zielgruppen gut kennen.

Nehmen wir wieder das Beispiel Newsletter. Wieder verfolgst du das Ziel, eine höhere Öffnungsrate zu erreichen. Zu diesem Zweck möchtest du verschiedene, zielgruppenspezifische Varianten der Originalversion erstellen und auf die Probe stellen.

Im ersten Schritt unterteilst du die Empfänger des Newsletters auf Basis zielgruppenspezifischer Merkmale in verschiedene Gruppen. Das können zum Beispiel Muster im Kaufverhalten sein, Produktpräferenzen oder auch bestimmte demografische Daten. Auf diese Weise erhältst du deine Testgruppen.

Im zweiten Schritt erstellst du für jede dieser Testgruppen zwei oder mehr Varianten des Newsletters. Die Veränderungen sollten auf dem Wissen beruhen, über das du über die jeweilige Zielgruppe verfügst. Zum Beispiel kannst du verschiedene Betreffs ausprobieren, die auf die Zielgruppe angepasst sind.

Unterteile die einzelnen Testgruppen nun so, dass du jede der ihnen zugedachten Varianten an eine gleiche Anzahl an Empfängern versenden kannst. Dann ist es Zeit, die Newsletter in die Welt hinaus zu schicken. 

Im Anschluss daran werden die Ergebnisse sorgfältig analysiert, sodass du deine Schlüsse daraus ziehen kannst und hinterher weißt, welche Art Betreff bei welcher Zielgruppe gut funktioniert hat.

Was sind die Vor- und Nachteile personalisierter A/B-Tests?

Personalisierung ist ein großes Thema dieser Tage, sowohl im Marketing als auch im Kundenservice. Viele praktische Tools ermöglichen es dir, Marketingmaßnahmen auf einzelne Kundengruppen zuzuschneiden – und Zielgruppen so effizienter anzusprechen. 

Die Durchführung eines personalisierten A/B-Tests ist komplex und erfordert viel Vorarbeit, zum Beispiel Zielgruppenanalysen. Außerdem ist solch ein ausgefeilter Test nur dann wirklich zweckdienlich, wenn dein Testpublikum so groß ist, dass eine Aufteilung in mehrere Ziel- und Testgruppen tatsächlich sinnvoll ist. 

Dafür testest du mit einem personalisierten A/B-Test nicht so sehr „ins Blaue‟ hinein, da du von von Anfang an die Vorlieben und Besonderheiten der Zielgruppe im Fokus hast. Das macht die Ergebnisse des Tests relevanter.

Welche Vorteile haben A/B-Tests?

Gute Gründe für die Durchführung von A/B-Tests gibt es so einige. Deshalb sind sie für Webmaster, Webentwickler, Marketer und Produktentwickler ein wichtiges Tool.

• Je nach Art der Testmethode ist die Durchführung von A/B-Tests relativ einfach und ohne größere Mittel möglich. 
• Mithilfe von A/B-Tests kannst du Entscheidungen treffen, die auf Daten basieren.
• A/B-Tests können immer und immer wieder wiederholt werden.
• Die Zielgruppe wird bei der Entscheidungsfindung indirekt miteinbezogen. 

Was sind die Nachteile von A/B-Tests?

A/B-Tests haben auch ein paar Nachteile, die bei der Durchführung dieser Testmethode immer mit bedacht werden sollten: 

• Je nach Umfang können A/B-Tests recht zeitaufwändig sein.
• Die Aussagekraft der Testergebnisse ist abhängig von der Menge der erhobenen Daten. Aus diesem Grund eignen sie sich nur dann, wenn eine ausreichend große Testgruppe bzw. ausreichend Website-Traffic vorhanden ist. 
• Ergebnisse eines A/B-Tests zeigen dir, was funktioniert und was nicht. Allerdings liefern sie dir die Ursache dafür nicht automatisch mit. Die Ergebnisse bedürfen also auch immer einer gewissen Interpretation 

Wie werden A/B-Tests durchgeführt?

Schritt 1: Konzeptentwicklung

Im ersten Schritt erstellst du dein Testkonzept. In dessen Mittelpunkt stehen die Zielsetzung und die entsprechende Fragestellung. Es ist wichtig, das Ziel genau zu definieren, das du mit der Testung erreichen möchtest. Stell dir zum Beispiel folgende Fragen:

• Was möchtest du testen? (z. B. wie häufig ein Newsletter geöffnet wird)
• Welches Ziel möchtest du erreichen? (z. B. eine höhere Klickrate des Newsletters)
• Welche Annahme liegt dem zugrunde? (z. B. dass mit einem anderem Betreff der Newsletter von mehr Empfängern geöffnet wird)

Auf dieser Grundlage sowie auf Basis deiner verfügbaren Ressourcen kannst du dich auch für eine geeignete A/B-Testmethode entscheiden. 

Schritt 2: Zielgruppe bestimmen

Nicht nur für einen personalisierten A/B-Test ist es wichtig, die eigene Zielgruppe zu kennen und zu verstehen. Es ist in jedem Fall die Grundlage, auf der du gezielt Änderungen an Elementen vornehmen und zum Test geeignete Varianten erstellen kannst.

Schau dir also genau an, wer dein Publikum ist und wen du ansprechen möchtest. 

Schritt 3: Varianten erstellen

Auf Grundlage deiner Zielstellung und dem Wissen über deine Zielgruppe erstellst du Varianten für deinen Test: zum Beispiel Varianten eines Newsletter mit abgewandelten Elementen, verschiedene Schaltflächen für deine Website oder unterschiedliche Werbeanzeigen, die du gegeneinander ins Rennen schicken möchtest. 

Wie viele Varianten du erstellen musst bzw. wie viele Elemente geändert werden dürfen, hängt im Wesentlichen davon ab, welche A/B-Testmethode du durchführen möchtest. 

Schritt 4: Größe der Testgruppe festlegen

Nun teilst du deine Testgruppe in so viele Teilgruppen, wie der Test es verlangt. Jede Gruppe sollte gleich groß sein. Die Aufteilung muss außerdem zufällig sein. Eine Ausnahme bildet hier der personalisierte A/B-Test, bei dem du deine Testgruppen zielgruppenspezifisch definierst.

Es ist wichtig, dass sowohl die Testgruppe insgesamt als auch die einzelnen Teilgruppen ausreichend groß sind. Bei zu kleinen Gruppen erhältst du mit einer höheren Wahrscheinlichkeit ein unzuverlässiges Ergebnis – das dich nicht weiterbringt. 

Wähle die Größe deiner Testgruppen also mit Bedacht.

Schritt 5: Variablen konstant halten

Es ist wichtig, dass sich beim A/B-Test ausschließlich die Variablen verändern, deren Wirkung du im Rahmen des Tests überprüfst. Schaffe deshalb möglichst konsistente Testbedingungen. So verhinderst du, dass sich andere Faktoren auf dein Ergebnis auswirken und dieses verfälschen. 

Testest du per A/B-Test etwa die Wirkung verschiedener Betreffzeilen eines Newsletters auf dessen Klickrate, solltest du unbedingt darauf achten, dass alle Varianten zur gleichen Zeit und am gleichen Tag versendet werden. Denn auch Datum und Uhrzeit können sich gravierend auf den Erfolg eines Newsletters auswirken – und so auf die Ergebnisse des A/B-Tests. 

Schritt 6: Durchführung des Tests

Hast du alles vorbereitet, kannst du den Test durchführen. Lege den Zeitpunkt sowie den Zeitraum für die Durchführung des A/B-Tests strategisch so fest, dass er die bestmöglichen Ergebnisse liefern kann. In diesem Kontext bedeutet dies, dass die Daten, die du erhältst, angesichts deiner Fragestellung möglichst aussagekräftig sind.

Schritt 7: Datensammlung und Datenanalyse

Sammle die Daten, welche dir der Test liefert, und analysiere diese. Je nachdem, was du betrachtest (Websites, Newsletter, Werbeanzeigen etc.), kannst du dafür geeignete Analysetools verwenden. 

Schritt 8: Ergebnisse vergleichen

Hast du ausreichend Daten erhoben und diese analysiert, ist es an der Zeit, die Ergebnisse auszuwerten – und die Ergebnisse der einzelnen Varianten miteinander zu vergleichen. 

Schritt 9: Schlussfolgerung

Auf Basis der dir nun vorliegenden Ergebnisse ziehst du deine Schlüsse. Ist das Ergebnis aussagekräftig? Wurde eine Annahme bestätigt oder widerlegt? Wie lassen sich die Ergebnisse des Tests umsetzen? Sollten weitere Tests oder Testdurchläufe durchgeführt werden?

Schritt 10: Erkenntnisse umsetzen

Nach dem Test folgt die Umsetzung der daraus gewonnenen Erkenntnisse: Entweder behältst du (zunächst) alles beim Alten oder du verwendest ab sofort die Variante, die besser funktioniert hat – je nachdem, wie das Testergebnis ausgefallen ist. 

Schritt 11: Weiterführende Analysen und Iterationen

Verbesserung ist niemals abgeschlossen. Immer wieder Ergebnisse zu analysieren und Tests auch regelmäßig zu wiederholen, ist unabdingbar, wenn du dich stetig verbessern möchtest.

Häufige Fehler beim A/B-Testing

Es gibt typische Fehler, die bei der Durchführung von A/B-Tests gemacht werden können. Damit dir diese Fehler nicht auch passieren, haben wir sechs mögliche Fallstricke für dich aus Artikeln der Harvard Business Review, des Onlinemagazins Onlinemarketing.de und des Harvard Business Managers gesammelt.

1. Vorschnelles Handeln

Ungeduld kann dazu führen, dass beim Test ein zu kurzer Zeitraum berücksichtigt oder Schlussfolgerungen vorschnell gezogen werden. Dabei sollten Entscheidungen auf Grundlage des Tests erst getroffen werden, wenn ein aussagekräftiges Endergebnis vorliegt.

2. Es werden zu viele Kennzahlen berücksichtigt

Moderne Analysetools verleiten schnell dazu, alle erdenklichen Kennzahlen zu betrachten. Dabei kann man sich schnell in Details verlieren und Scheinkorrelationen können in den Fokus geraten. Deshalb ist es empfehlenswert, bereits bei der Entwicklung des Testkonzepts Kennzahlen festzulegen, die im Hinblick auf die Zielsetzung im Vordergrund stehen sollten. 

3. Tests werden nicht wiederholt

Ein Testdurchgang ist nicht immer valide. Um falsch positive Ergebnisse auszuschließen, solltest du auch einen A/B-Test wiederholen.

4. Keine ausreichende Datengrundlage

A/B-Testing ist vor allem dann sinnvoll, wenn die Datengrundlage passt. Die Aussagekraft der Ergebnisse ist stark begrenzt, wenn beim Testen von Newslettern zu wenige Empfänger oder beim Testen einer Website zu wenig Traffic vorhanden ist.

5. Nur die Conversion Rate im Blick

Für Onlinehändler ist die Conversion Rate eine wichtige Kennzahl, mit der sich die Performance ablesen lässt. Dennoch sollte man sich nicht zu stark auf sie fixieren und dabei womöglich andere Zahlen aus den Augen verlieren. Denn die Conversion Rate wird von vielen Faktoren beeinflusst. Beim A/B-Testing ist es vor allem wichtig, Parameter in den Blick zu nehmen, die einen positiven Einfluss auf die Conversion Rate haben können.

6. Nur den Durchschnitt betrachten

Die Ergebnisse eines Tests können je nach Kundengruppe variieren. Betrachtet man bei der Messung lediglich den Durschnitt, können interessante Erkenntnisse unter den Tisch fallen. Deshalb kann es durchaus sinnvoll sein, Ergebnisse auch in Hinsicht auf verschiedene Kunden- bzw. Zielgruppen zu betrachten.

Wo können A/B-Tests eingesetzt werden?

A/B-Tests können in verschiedenen Bereichen und Branchen genutzt werden. Schauen wir uns ein paar mögliche Einsatzgebiete an: 

Webdesign und Nutzererfahrung (UX)

Mit A/B-Tests lässt sich wunderbar überprüfen, wie gut Websites in Hinsicht auf die Nutzererfahrung (auch UX = User Experience) funktionieren. Deshalb eignen sie sich sehr gut zur zielsicheren Optimierung von Websites.

Onlinemarketing und Werbung

Welche Anzeige funktioniert besser? Welcher Newsletter wird häufiger angeklickt? Mit A/B-Tests können Marketer sehr einfach und effizient verschiedene Versionen von Werbemitteln in den Wettbewerb schicken.

Produktentwicklung

Bei der Entwicklung von Produkten können A/B-Tests ebenfalls sehr hilfreich sein. Zum Beispiel lassen sich verschiedene Produktvarianten oder -funktionen an der Zielgruppe testen. Auf diese Weise können Produktentwickler herausfinden, was gut ankommt und was funktioniert.

E-Commerce

Ob bei der Optimierung einzelner Elemente auf der E-Commerce-Website, bei Marketingmaßnahmen oder im Kundensupport: Im Onlinehandel können A/B-Tests auf vielfältige Weise zum Einsatz kommen. 

Damit können etwa die Benutzerfreundlichkeit des Onlineshops verbessert oder die Wirkung verschiedener Ads verglichen werden. In der dynamischen Welt des E-Commerce gibt es immerhin eigentlich immer etwas zu optimieren.

Mobile Apps

Bei der Verbesserung mobiler Apps können A/B-Tests ebenfalls sinnvoll eingesetzt werden. Ob Details oder neue Funktionen – es gibt viele kleine und größere Elemente, die sich variieren lassen und mit denen die Benutzerfreundlichkeit einer App verbessert werden kann. Mithilfe eines A/B-Tests können die User bei der Entscheidung indirekt mit einbezogen werden, welche Änderungen erfolgreich sind und umgesetzt werden sollten. 

SaaS und Cloud-Dienste

Auch Services wie Cloud- und SaaS-Dienste (SaaS = Software as a Service), die Software-Anwendungen online zur Verfügung stellen, können von A/B-Testing profitieren. Sowohl bei der Gestaltung und Optimierung von Benutzeroberflächen als auch bei der Einführung und Verbesserung von Funktionen und unterschiedlichen Angeboten können A/B-Tests wichtige Erkenntnisse liefern.

SEO-Strategie

Bei der Suchmaschinenoptimierung (SEO) kann jedes Detail eine wichtige Rolle spielen – von den Meta-Tags über unterschiedlich gestaltete Texte bis hin zu verschiedenen URL-Strukturen. Auch in Hinsicht auf derlei SEO-Elemente können entsprechende A/B-Tests Aufschluss darüber geben, was am besten funktioniert und was eher nicht. 

Die besten A/B-Testing-Tools

Es gibt jede Menge Informationen und praktische Tools, mit denen sich A/B-Tests durchführen lassen. Wir stellen dir 14 der bekanntesten A/B-Testing-Tools und -Sets vor:

Das A/B-Testing-Kit von Hubspot

Die Software-Plattform Hubspot bietet mit seinem Complete A/B Testing Kit ein umfangreiches Set zum Download an. Dies richtet sich an Menschen, die sich zum ersten Mal mit A/B-Tests befassen. Denn das Kit umfasst eine Einführung in das Thema A/B-Tests als E-Book, einen Signifikanzrechner sowie eine Vorlage zum Verfolgen der Ergebnisse.

Freshmarketer

Freshmarketer ist ein KI-basiertes Marketing CRM-System, das laut ihrer Website speziell für E-Commerce-Unternehmen entwickelt wurde. CRM steht für Customer Relationship Management. Auf Deutsch bedeutet das Kundenbeziehungsmanagement. Freshmarketer bietet auch ein A/B-Testing-Tool, mit dem sich zur Verbesserung der Conversion Rate Varianten von Landingpages erstellen, per A/B-Test miteinander vergleichen und analysieren lassen. 

VWO Testing

Die Plattform Visual Website Optimizer (VWO) bietet mit VWO Testing ein Tool an, mit dem sich A/B-Tests, multivariate Tests und Split-URL-Tests durchführen lassen.

Optimizely

Das Onlinemarketing-Tool Optimizely bietet mitunter einen Experiment-Plan an, der verschiedene Arten von A/B-Tests ermöglicht.

Omniconvert

Die Explore-Plattform des Website-Optimierungstools Omniconvert ermöglicht ebenfalls A/B-Tests. Per Free-Trial kann das A/B-Testing ausprobiert werden.

Crazy Egg

Crazy Egg ist ein Tool, mit dem Webmaster nicht nur Heatmaps ihrer Website erstellen können. Websites können auch mithilfe von A/B-Tests optimiert werden. 

AB Tasty

Zur Optimierung von Websites und deren Conversion Rates mitunter per A/B-Tests dient auch die Plattform AB Tasty.

Convert

Convert bietet ein A/B-Testing-Tool, mit dem verschiedene Formen von A/B-Tests durchgeführt werden können – vom klassischen A/B-Test über Split-URL-Tests und multivariate Tests bis hin zu Multipage-Experiments. Einsatzgebiet ist die Websiteoptimierung.

Adobe Target

Das Haus Adobe hat mit Adobe Target ebenfalls eine Lösung rund um A/B-Testing zu bieten. Mit der Optimierungsplattform können verschiedene A/B-Testmethoden realisiert werden.

Kameloon

Verschiedene Tools zur Optimierung der eigenen Website hat auch Kameleoon im Angebot. Diese umfassen Testing-Tools für A/B- und multivariate Tests und viele weitere Features rund ums Testen.

Convertize

Convertize setzt beim Optimieren auf Verbraucherpsychologie. Die Plattform bietet allerhand Features, zu denen auch A/B- und Splittests gehören.

PageSense von Zoho

Mithilfe von A/B-Tests soll die Conversion Rate einer Website verbessert werden? Mit der Optimierungsplattform PageSense können A/B-Tests für Website-Veränderungen durchgeführt werden.

Apptimize

A/B-Testing, aber omnichannel und vor allem für Mobile – das verspricht Apptimize mit seinem A/B-Testing-Tool.

SplitMetrics Optimize

SplitMetrics gibt mit SplitMetrics Optimize Betreibern und Entwicklern von Mobile-Apps und Mobile-Games ein A/B-Testing-Tool an die Hand. Mit diesem können sie ihre Produkte per A/B-Tests überprüfen und optimieren.

Maxymiser von Oracle

Mit Maxymiser Testing and Organization von Oracle lassen sich unter anderem auch A/B-Tests und multivariate Tests für Websites durchführen.

MailChimp

MailChimp ist ein E-Mail-Marketing-Tool, mit dem auch A/B-Testkampagnen realisiert werden können.

5 Beispiele für erfolgreiche A/B-Tests

Der Blick auf ein paar Beispiele aus der Praxis veranschaulicht die Funktionsweise und die Wirksamkeit von A/B-Test. 

1. Benutzerfreundlichkeit zählt

VWO führt die Streamingplattform Netflix als Beispiel für die Anwendung eines besonders ausgeklügelten A/B-Testsystems an. Um ein optimales Nutzererlebnis zu gewährleisten, setze Netflix bei jeglicher Änderung auf einen gründlichen A/B-Test – etwa bei der auf den Nutzer abgestimmten Startseite.

2. Hier geht’s zur Kasse

Die Digitalagentur dotSource berichtet von einem A/B-Test, der bei dem Onlineshop Geschenkidee.ch durchgeführt wurde. Das Ziel: die Nutzererfahrung auf mobilen Endgeräten so zu optimieren, dass sich die Conversions erhöhen. Bei dem Test wurden Micro-Conversions optimiert, also die kleineren Teilschritte auf dem Weg zur (Macro-)Conversion: zum Beispiel das Hinzufügen eines Produkts zum Warenkorb oder der Weg vom Warenkorb zum Checkout. Allein bei einem Testlauf, so berichtet dotSource, seien durch die Optimierung auf der Warenkorbseite über 18 % mehr Nutzer zum Checkout weitergegangen.

3. Ein neues Gesicht für die App

Ein Rebranding kann schon einmal schiefgehen. Diese Erfahrung mussten laut einer Fallstudie von SplitMetrics die Betreiber der iOS-App Hobnob machen. Deren Conversion Rate litt unter der Neugestaltung. Daraufhin wurde ein A/B-Test zur App-Optimierung durchgeführt, der die Wirkung verschiedener Varianten von Icons überprüfen sollte. Es stellte sich heraus, dass eine Variante besonders gut abschnitt. Diese wurde übernommen, woraufhin sich die Conversion Rate erholte.

4. Weniger Scrollen ist der Clue

Eine weitere Erfolgsgeschichte von VWO handelt von Ubisoft Entertainment. Das französische Videospielunternehmen hatte es sich laut VWO zum Ziel gesetzt, mithilfe eines A/B-Testings die Conversion Rate der „Buy Now‟-Seite auf ihrer Website zu optimieren. Testobjekt des Tests war die „Buy Now‟-Seite für das Videospiel „For Honor‟. Auf Grundlage zahlreicher Analysen wurde eine Testvariante der Seite erstellt. Deren neues Design war so gestaltet, dass Websitebesucher weniger scrollen mussten, um den „Jetzt kaufen‟-Button zu erreichen. Anschließend verglich man diese per A/B-Test mit der ursprünglichen Variante. Dabei wurde mit der Ferienzeit ein Zeitraum gewählt, in dem der Traffic besonders hoch war. Es stellte sich heraus, dass die neue Variante für mehr Conversions sorgte.

5. Bessere Call-to-Action-Buttons

Auf der Website von Hotjar wird von einem erfolgreichen A/B-Testing der Online-Fundraising-Plattform Every.org berichtet. Das Ziel war es, durch eine Umgestaltung der Call-to-Action (CTA) Schaltflächen die Absprungrate im Spendenformular zu verringern. Zuvor war aufgefallen, dass die Buttons bei den Website-Besuchern offenbar für Verwirrung sorgten. Daraufhin wurde die Seite umgestaltet und per A/B-Test mit der ursprünglichen Variante verglichen. Das Ergebnis bestätigte die Annahme, eine Umgestaltung der CTA-Buttons könne die Absprungrate verringern.

Häufige Fragen rund um A/B-Tests

Wie findet man Ideen für A/B-Tests?

Im ersten Schritt solltest du dir darüber im Klaren sein, was du erreichen möchtest. Dann entscheidest du, was du zu diesem Zweck per A/B-Testing optimierst. Ist dein Ziel, dass mehr Menschen deinen Newsletter öffnen? Dann solltest du dich Elementen des Newsletter widmen, die darauf Einfluss haben können – zum Beispiel dem Betreff, den Vorschautext, der Absender-E-Mail-Adresse oder dem Tag und der Uhrzeit des Versands.

Kundenfeedback, Recherchen, Analysen, Heatmaps, das Beobachten von Trends, ja, sogar das eigene Bauchgefühl: Hinweise darauf, welche Elemente du wie abwandeln kannst und was du ausprobieren solltest, findest du vielerorts und auf verschiedenen Wegen. 

Welche Elemente meiner Website kann ich testen?

Grundsätzlich kannst du alle Elemente testen. Besonders eignen sich dabei jene mit Verlinkung – die also Interaktion fordern. Letztendlich möchtest du ja, dass sich die Besucher irgendwann im Checkout wiederfinden. Welche Elemente im Fokus der Websitebesucher stehen und welche nicht, kannst du zum Beispiel mithilfe einer Heatmap überprüfen.

Mitunter diese Elemente einer Website lassen sich abwandeln und testen:

• das Farbschema der Seite
• das Seitenlayout
• die Navigationsstruktur
• die Gestaltung von Buttons
• die Aufschrift von Buttons
• Stil und Umfang von Texten
• die Sliderbilder
• Lauftexte (Marquees)
• die Gestaltung von Formularen
• verschiedene Bilder und Bildkonzepte
• Popups
• Videos und interaktive Grafiken
• Produktbilder und -beschreibungen
• die Verwendung von Störern
• Gestaltung des Warenkorbs und Checkouts

Wann kam A/B-Testing auf?

A/B-Testing ist keine Erfindung aus der Neuzeit. Ergebnisse einer Versuchsgruppe mit der einer Kontrollgruppe zu vergleichen, ist in der Wissenschaft seit langer Zeit gang und gäbe. So wird etwa die Wirkung von Medikamenten häufig getestet: Während die Versuchsgruppe das Medikament erhält, nehmen die Mitglieder einer Kontrollgruppe nur ein Placebo ein. Selbstverständlich wissen die Testteilnehmer während des Tests  nicht, wer das wirksame und wer das wirkungslose Medikament erhalten hat. In Doppel-Blind-Studien weiß das nicht einmal derjenige, der das Medikament verabreicht. 

Wie lange sollte ein A/B-Test laufen?

Wie lange ein A/B-Test laufen sollte, kann nicht pauschal beantwortet werden. Dies hängt mitunter davon ab, was du testen möchtest. Auch die Menge des Traffics bzw. die Größe der Testgruppe sollte bei dieser Entscheidung berücksichtigt werden.

Kameloon empfiehlt, einen A/B-Test mindestens eine Woche laufen zu lassen. Das ergibt Sinn: Immerhin werden dabei alle Wochentage abgedeckt. Welche Dauer wirklich sinnvoll ist, solltest du aber auf jeden Fall unter Berücksichtigung der oben genannten Faktoren einschätzen – und dann einen geeigneten Testzeitraum festlegen. 

Besonders wichtig ist, dass ein Test nicht vorschnell beendet wird. Selbst wenn das Ergebnis bereits früh eindeutig erscheint: Halte fest an dem Zeitraum, den du vorab festgelegt hast, und beende den Test nicht frühzeitig. 

Wie viele Kontakte müssen auf meiner Liste sein, damit ich einen A/B-Test durchführen kann?

Grundsätzlich kannst du einen A/B-Test durchführen, egal, wie groß die Teilnehmergruppe ist. Die Frage ist eher: Lohnt sich das? Denn je größer die Gruppe, desto aussagekräftiger die Ergebnisse. MailChimp empfiehlt für ein effektives A/B-Testing, dass mindestens 5000 Personen deinen Newsletter abonniert haben sollten.