Die Testergebnisse werden einmal pro Woche aktualisiert, bis der Test beendet sind. Die Testergebnisse geben an, wie gut jede Version des Inhalts bei den Kunden abgeschnitten hat, zusammen mit der Wahrscheinlichkeit, dass der Sieger besser ist. Sie können Ihre Ergebnisse einsehen, indem Sie im Dashboard "Tests" auf den Namen des Tests klicken.
Auf Grundlage der beim Test erhobenen Daten berechnen wir eine Reihe möglicher Auswirkungen, wenn die einzelnen Inhalte veröffentlicht werden. Die Ergebnisse werden für alle ASINs zusammengefasst, die an dem Test teilnehmen. Wir stellen verschiedene Ergebnisse bereit:
Zur Bestimmung der Auswirkungen über ein Jahr berechnen wir die durchschnittliche Umsatzsteigerung pro Tag, die durch den siegreichen Inhalt erzielt wird, und multiplizieren diesen Wert mit 365. Dabei handelt es sich um eine Schätzung, bei der saisonale Schwankungen, Preisänderungen oder andere Faktoren, die Auswirkungen auf Ihren tatsächlichen Geschäftserfolg haben können, nicht berücksichtigt werden. Sie dient lediglich zu Informationszwecken und wir können keine inkrementellen Vorteile garantieren.
In der Spalte Wahrscheinlich wird der Median (das 50. Perzentil) der Spanne der von uns berechneten möglichen Ergebnisse angezeigt. In den Spalten Idealfall und Ungünstigster Fall wird das 95-%-Konfidenzintervall dieser Ergebnisse angezeigt.
Ein Test kann mit Ergebnissen enden, die nicht eindeutig sind oder bei denen die Wahrscheinlichkeit gering ist, dass eine Version des Inhalts bessere Ergebnisse erzielt als eine andere. Dennoch können solche Ergebnisse durchaus hilfreich sein.
Im Folgenden finden Sie einige Gründe dafür, warum ein Test möglicherweise keine eindeutigen Ergebnisse liefert:
Ziehen Sie bei der Auswertung nicht eindeutiger Ergebnisse Ihre Arbeitshypothese heran. Je nachdem, was Sie geändert haben, kann ein nicht eindeutiges Ergebnis zum Beispiel darauf hinweisen, dass eine bestimmte Art von Inhalt keine Investition wert ist, weil sie sich nicht auf das Kundenverhalten auswirkt. Es kann aber auch darauf hindeuten, dass zwei Wege der Produktvermarktung ähnlich effektiv sind. Sie können zusätzliche Tests durchführen, um die Erkenntnisse aus den vorherigen Tests zu überprüfen.
Hier wird erklärt, wie wir einen Sieger ermitteln und seine Auswirkungen prognostizieren. Zur Durchführung eines Tests sind diese Informationen allerdings nicht erforderlich.
Die Tests basieren auf einzelnen Kundenkonten. Während eines Tests wird jedes Kundenkonto, in dem Ihr Inhalt angezeigt wird, als Testteilnehmer betrachtet. Den Kunden wird nach dem Zufallsprinzip während der gesamten Testdauer jeweils eine Inhaltsversion angezeigt, unabhängig vom Gerätetyp oder anderen Faktoren, solange der Kunde identifiziert werden kann. Besuche auf Ihrer Seite, bei denen ein Kunde nicht identifiziert werden kann, werden nicht in den Stichprobenumfang einbezogen. Wir behalten uns vor, bestimmte Arten von Daten automatisch aus der Stichprobe zu entfernen, um die Genauigkeit der Ergebnisse zu verbessern, z. B. statistische Ausreißer.
Bei der Analyse der Testergebnisse wenden wir den bayesschen Ansatz an. Das bedeutet, dass wir die Wahrscheinlichkeitsverteilung sowohl auf der Grundlage eines Modells als auch anhand der tatsächlichen Testergebnisse konstruieren. Wir weisen die mittlere Effektstärke (in Bezug auf Änderung von Einheiten) sowie das 95-%-Konfidenzintervall (auch bekannt als Vertrauensintervall) der A-posteriori-Wahrscheinlichkeitsverteilung aus. Diese wird im Verlauf des Tests wöchentlich auf der Grundlage aller seit Beginn erfassten Testdaten aktualisiert. Das Konfidenzintervall des Siegers ist der prozentuale Anteil der Ergebnisse in der Wahrscheinlichkeitsverteilung, die einen positiven Einfluss auf die Absatzzahlen haben.
Zur Bestimmung der zu erwartenden Auswirkungen über ein Jahr berechnen wir die durchschnittliche Differenz zwischen dem Tagesabsatz des Siegers und Verlierers für die Dauer des Tests und multiplizieren diesen Wert mit 365. Wir berechnen die Auswirkung mit einem Konfidenzintervall von 95 % auf der Basis der A-posteriori-Wahrscheinlichkeitsverteilung.