Fallstudie: Amazon-Conversion-Rate von 2,1 % auf 4,2 % — was ein Split-Test wirklich beweist

Einer unserer Kunden hat auf Amazon einen Split-Test gefahren: dasselbe Produkt, dieselbe ASIN, zwei Listing-Varianten gegeneinander. Das Ergebnis ist das, was wir auch auf unserer Produktseite ausweisen — Conversion-Rate von 2,1 % auf 4,2 %, Click-through +38 % zwischen den Varianten, Retouren 27 % niedriger.

Dieser Artikel erklärt, wie ein solcher Test funktioniert, was in der Gewinner-Variante anders war, was die Zahlen bedeuten, sobald man sie durchrechnet — und, das ist der Teil, den die meisten Fallstudien auslassen, was sie nicht beweisen. Wir nennen den Kunden nicht, wir nennen seine Branche nicht, und wir haben keine einzige Zahl ergänzt, für die wir nicht geradestehen können.

Die drei Zahlen

• Conversion-Rate: 2,1 % vorher, 4,2 % nachher. Relativ eine Verdopplung, absolut 2,1 Prozentpunkte.
• Click-through: +38 % zwischen den beiden Varianten (1,9 % gegenüber 2,6 %). Das ist ein relativer Wert, keine 38 Prozentpunkte.
• Retouren: 27 % niedriger bei der Gewinner-Variante.
• Die Grundlage: ein Kunde, ein Produkt, ein Test auf Amazon. Testdauer, Stichprobengröße und Kategorie veröffentlichen wir nicht — und genau deshalb behaupten wir hier auch keine statistische Signifikanz.

Wie ein Split-Test auf Amazon funktioniert

Amazon liefert das Werkzeug selbst mit: Manage Your Experiments, innerhalb der Markenregistrierung. Die Mechanik ist öffentlich und es lohnt sich, sie zu kennen, bevor Sie irgendeine Fallstudie lesen — auch diese.

• Voraussetzung ist die Amazon Brand Registry. Ohne registrierte Marke steht das Werkzeug nicht zur Verfügung.
• Testbar sind Titel, Hauptbild beziehungsweise Bildset, Bulletpoints und A+-Content — jeweils Variante A gegen Variante B auf derselben ASIN.
• Amazon teilt den echten Traffic der ASIN zwischen den Varianten auf; jeder Kunde sieht nur eine davon.
• Der Test braucht ausreichend Traffic und läuft über Wochen, nicht über Tage. Amazon weist eine geschätzte Wirkung aus und wie wahrscheinlich es ist, dass die führende Variante tatsächlich vorn liegt und nicht nur zufällig.
• Die Durchführung kostet nichts. Was sie kostet, sind Zeit und Traffic.

Warum dieses Format zählt: Ein Split-Test vergleicht Variante gegen Variante, am selben Produkt, im selben Zeitraum, zum selben Preis und mit derselben Bewertungslage. Das macht ihn deutlich schwerer zu täuschen als einen Vorher-nachher-Vergleich, bei dem Saison, Preisänderungen und PPC-Budget gleichzeitig mitlaufen und sich jedes davon den Erfolg anrechnen lassen kann.

Was in der Gewinner-Variante anders war

Die Variante, die gewonnen hat, war kein umformulierter Titel. Das Listing wurde auf zitierten Belegen neu gebaut — auf dem Stand, den unsere Produktseite beschreibt:

• Der Text wurde belegbasiert neu geschrieben: Aussagen stammen aus echten Rezensionen, Wettbewerber-Listings und Nachfragedaten statt aus Formulierungsroutine. Was sich nicht mit einer Quelle belegen ließ, kam nicht ins Listing.
• Die Bildergalerie wurde neu strukturiert: nicht mehr Produktansichten, sondern eine Reihenfolge, die die Fragen beantwortet, die Käufer vor dem Kauf tatsächlich stellen.
• A+-Content gehörte zur überarbeiteten Variante und stand auf derselben Beleglage wie der Text.

Welcher dieser drei Bausteine welchen Anteil am Ergebnis hatte, können wir nicht sagen. Getestet wurde das überarbeitete Listing als Ganzes gegen das alte. Wer die einzelnen Beiträge kennen will, muss einzeln testen — das dauert länger und ist für die meisten Händler der falsche erste Schritt.

Warum eine verdoppelte Conversion-Rate mehr bewegt, als sie klingt

Zwei Prozentpunkte klingen nach wenig. Rechnet man sie durch, sind sie es nicht. Bei gleichbleibendem Traffic bedeuten 4,2 % statt 2,1 %, dass dieselbe Zahl an Sitzungen doppelt so viele Bestellungen erzeugt. Für bezahlten Traffic halbieren sich damit die effektiven Kosten pro Bestellung ungefähr: Der Klickpreis bleibt, was er ist, verteilt sich aber auf doppelt so viele Bestellungen. Ein ACoS, der vorher an der Schmerzgrenze lag, liegt danach in der Nähe der Hälfte — ohne dass ein einziges Gebot angefasst wurde.

Dazu kommt der Zweitrunden-Effekt im Ranking. Klickrate und Conversion-Rate sind die beiden Hebel, auf die die Amazon-Suche am deutlichsten reagiert, und verkaufte Einheiten verstärken sich selbst: Mehr Verkäufe verbessern die Position, die bessere Position bringt mehr Verkäufe. Eine Variante, die besser konvertiert, gewinnt also nicht nur die Bestellungen innerhalb des Testfensters — sie gewinnt anschließend auch Sichtbarkeit.

Die Retourenquote ist die unterschätzte Zahl

Minus 27 % bei den Retouren ist der Wert, der in Fallstudien selten auftaucht, obwohl er zweimal wirkt. Erstens direkt in der Marge: Eine Retoure kostet Rückversand, Prüfung, Wiedereinlagerung und häufig den Verlust der A-Ware. Zweitens im Ranking: Amazon gewichtet die Retourenquote zunehmend, und ein Produkt, das auffällig oft zurückkommt, verliert Boden, den die Conversion-Rate allein nicht zurückholt.

Der wahrscheinlichste Mechanismus dahinter ist unspektakulär. Retouren sind zu einem großen Teil enttäuschte Erwartungen, die per Post zurückkommen. Ein Listing, das nur belegbare Aussagen macht und Größe, Material und Anwendungsfall unmissverständlich zeigt, verkauft an Menschen, die bekommen, was sie erwartet haben. Werbliche Übertreibung kauft Conversion auf Kredit — und die Retoure ist die Rechnung.

Was diese Zahlen NICHT beweisen

• Sie beweisen kein Ergebnis für Ihr Produkt. Ein Kunde, ein Produkt, ein Test ist ein Datenpunkt, keine Studie.
• Sie sagen nichts über Ihren Ausgangspunkt. Eine Conversion-Rate von 2,1 % lässt viel Luft nach oben. Ein Listing, das bereits bei 8 % liegt, hat diese Luft nicht — dort sind Zugewinne kleiner und schwerer zu holen.
• +38 % Click-through ist ein relativer Wert zwischen zwei Varianten (1,9 % gegenüber 2,6 %), keine 38 Prozentpunkte. Dieselbe Vorsicht gilt für jede Prozentzahl in jeder Fallstudie, auch für die unserer Wettbewerber.
• Wir veröffentlichen weder Testdauer noch Stichprobengröße noch Kategorie. Sie können die statistische Belastbarkeit dieses Tests also nicht selbst nachprüfen. Behandeln Sie die Zahlen entsprechend — als dokumentiertes Ergebnis, nicht als von Ihnen geprüften Beleg.
• Ein Split-Test misst eine Variante gegen eine andere Variante, nicht ein Werkzeug gegen den Markt. Er beantwortet die Frage „welches dieser beiden Listings verkauft besser", nicht „welche Software ist die beste".
• Über Dauerhaftigkeit sagt er nichts. Wettbewerber ändern ihre Listings, die Nachfrage verschiebt sich, und das Ergebnis eines Testfensters ist keine Garantie für das nächste Quartal.

So testen Sie das an Ihrem eigenen Listing

• Halten Sie zuerst eine Baseline fest: Sitzungen, Conversion-Rate, Retourenquote und ACoS der vergangenen Wochen, bevor Sie irgendetwas ändern.
• Wählen Sie eine ASIN mit genügend Traffic. Ein Produkt mit einer Handvoll Sitzungen pro Tag liefert in vertretbarer Zeit kein lesbares Ergebnis.
• Entscheiden Sie bewusst, was Sie messen wollen: das überarbeitete Listing als Ganzes (größeres Signal, schneller) oder ein einzelnes Element (langsamer, dafür klar zuzuordnen).
• Lassen Sie den Test die volle vorgesehene Laufzeit laufen und stoppen Sie ihn nicht beim ersten Vorsprung. Frühe Führungen drehen sich.
• Messen Sie die Retourenquote mit, und zwar zeitversetzt — Retouren treffen Wochen nach den Bestellungen ein, die sie ausgelöst haben.
• Ändern Sie während des Tests weder Preis noch PPC-Struktur wesentlich, sonst messen Sie zwei Dinge gleichzeitig und können keines davon trennen.

Was wir daraus mitnehmen

Die ehrliche Zusammenfassung dieser Fallstudie ist schmal: Im direkten Vergleich hat ein Listing, das jede Aussage belegen konnte, doppelt so gut konvertiert wie eines, das das nicht konnte — bei einem Kunden, bei einem Produkt. Ob es bei Ihnen genauso ausgeht, entscheidet Ihr eigener Test und nicht unser Diagramm.

Auf genau diesem Prinzip ist Torch Listings gebaut: Aus einer ASIN entstehen Texte mit zitierten Belegen und TOS-konforme Bilder, und Aussagen, die sich nicht verifizieren lassen, werden blockiert statt erfunden. A+-Content, Varianten und Übersetzungen laufen im selben System. Was die Frage am Ende klärt, bleibt aber ein Split-Test mit Ihren Daten.