AMC Incrementality-Test: Holdout-Gruppen, Kontrollgruppe und Auswertung

Kurz gesagt: Ein Incrementality-Test misst, wie viel Nachfrage Ihre Werbung wirklich erzeugt. Amazon DSP stellt dafür zehn Customer holdout groups bereit, die Sie 50/50 auf beide Seiten verteilen. Wichtig: Die Kontrollseite ist nicht werbefrei, Amazon nennt sie eine Order, die Ihre aktuelle Kampagne repliziert. Beide Seiten sehen Werbung.

Incrementality, attribuierte Performance und Lift

Ein Incrementality-Test beantwortet eine kausale Frage: Wie viele Käufe wären ohne Ihre Werbung nicht entstanden? Attribuierte Performance beantwortet eine andere Frage: Welche Käufe lassen sich Ihrer Werbung zuordnen? Beide Zahlen fallen in der Praxis auseinander, weil ein Kunde ohne Ihre Anzeige trotzdem kaufen würde. Genau diese Differenz, der inkrementale Anteil, ist das, was ein Incrementality-Test isoliert.

Genau hier liegt der häufigste Fehlschluss: Ein hoher ROAS oder ein positiver Lift zwischen zwei Zeitraumen ist kein Nachweis von Inkrementalität. Amazon empfiehlt diesen Vergleich nicht, weil sich Marktbedingungen und andere Faktoren über die Zeit verändern. Ein Vorher-Nachher-Vergleich der Kampagnenleistung misst deshalb mehr als die Wirkung Ihrer Werbung.

AussageWas sie bedeutetIst das kausal?
Attribuierte PerformanceKäufe, denen Amazon Ads eine Anzeige oder einen Klick zurechnetNein, das ist eine Zuordnung
Beobachteter LiftDifferenz zwischen zwei Zeiträumen oder zwischen Test- und KontrollseiteNur mit randomisiertem Holdout
InkrementalitätAnteil der Käufe, der ohne Ihre Werbung nicht zustande gekommen wäreJa, sofern der Holdout sauber randomisiert wurde

Der Holdout: was die Kontrollseite wirklich ist

Der Holdout entsteht in der Werbeplattform, nicht in der Analyse. Amazon DSP stellt zehn Customer holdout groups bereit. Jede Gruppe umfasst 10 % der zufällig zugewiesenen Amazon-Kunden und bildet damit die technische Grundlage für kontrollierte Experimente. Sie verteilen diese Gruppen 50/50 auf Kontroll- und Testseite: fünf und fünf Gruppen.

An dieser Stelle entscheidet sich, was Ihr Test misst. Amazon beschreibt die Kontrollseite ausdrücklich als "one control order that replicates your current campaign (i.e., no changes)". Die Kontrollgruppe sieht also Werbung, und zwar dieselbe wie vor dem Test. Beide Seiten laufen mit Anzeigen; unterschiedlich ist nur die getestete Einstellung. Amazon vergleicht damit die Wirkung dieser einen Änderung, nicht die Wirkung von Werbung gegen gar keine Werbung.

Das ist der entscheidende Unterschied zu der klassischen Holdout-Logik, wie sie viele Werbe-Misserfolgsartikel beschreiben. Wer in Amazon DSP einen Test aufsetzt, misst die Reaktion auf eine konkrete Änderung an einer bereits laufenden Kampagne, deren beide Seiten Werbung ausliefern. Eine Aussage darüber, was ohne Ihre Werbung altogether passiert, entsteht daraus nicht.

Amazon hält außerdem fest, wann ein Holdout nicht der richtige Weg ist: "We do not recommend comparing performance before and after implementing bid adjustments as market conditions and other factors vary over time." Ein Vorher-Nachher-Vergleich der Kampagnenleistung ersetzt die Kontrollgruppe also nicht.

  • **Zehn Gruppen, zwei Seiten.** Sie teilen die Nutzer 50/50 zwischen Kontrolle und Test auf: fünf und fünf Gruppen gehen auf die eine Seite, die anderen fünf auf die andere. Amazon empfiehlt, die Gruppierung für jeden neuen Test neu zu randomisieren, damit sich weder eine Kontamination zwischen Experimenten noch ein Langzeiteffekt einstellen.
  • **Strukturell identische Seiten.** Sie legen zwei identische Orders an, die sich nur in der getesteten Einstellung unterscheiden, und schalten die automatisierte Budgetoptimierung aus, sonst beeinflussen sich die Anzeigengruppen gegenseitig in der Auslieferung.
  • **Zielgruppen sauber zuordnen.** Im Audience-Picker wählen Sie "Customer holdout group" aus, fügen die gewählten Gruppen je Anzeigengruppe hinzu und kombinieren sie mit OR innerhalb der Gruppen und AND mit dem übrigen Targeting.
  • **Vergleichbare Bid-Reports.** Sie tragen auf der Kontrollseite dieselben Bid-Anpassungsterme mit einem Wert von 1,0 ein. Das verändert das Gebot nicht, liefert aber denselben Report und damit eine Vergleichsbasis.

Die werbefreie Baseline: retail purchases statt Anzeigen

Wenn Sie tatsächlich wissen wollen, was ohne Ihre Werbung passiert, brauchen Sie eine Größe, die unabhängig von jeder Anzeige zählt. Dafür ist in AMC die Tabelle amazon_retail_purchases aus dem Amazon Retail Purchases Dataset (ARP) gedacht. Amazon beschreibt ihren Umfang als "Entire purchase activity in Amazon store, regardless of advertising" und grenzt sie damit bewusst gegen die werbezentrierten Conversion-Tabellen ab, die "Advertising-centric (can include promoted, brand-halo, and brand-owned ASIN items)" sind.

Diese Trennung ist der eigentliche Hebel für eine Incrementality-Auswertung: Die attributed-events-Tabellen liefern die werbezentrierte Sicht, ARP liefert die retailseitige Sicht auf dieselbe Population. Der Unterschied zwischen beiden ist die gesuchte inkrementale Größe. Amazon weist allerdings ausdrücklich auf die unterschiedlichen Zeitfenster hin: ARP umfasst bis zu 60 Monate Kaufhistorie, während andere Datensichten nur zwischen 13 Monaten und fünf Jahren vorhalten. Beim Join beider Welten müssen Sie diese Fenster berücksichtigen, sonst kommen falsche Ergebnisse zustande.

ARP ist ein Paid Feature und damit nicht in jedem AMC-Kontingent enthalten. Amazon nennt eine 60-tägige kostenlose Testphase und weist darauf hin, dass das Dataset seit dem 1. Juni 2026 bis zum 31. Dezember 2026 in allen verfügbaren Regionen kostenlos abfragbar ist. Prüfen Sie vor der Planung, ob Ihr Marketplace und Ihr Kontingent das Dataset tatsächlich enthalten.

SELECT
  line_item,
  COUNT(DISTINCT user_id) AS reached_users,
  SUM(impressions) AS impressions,
  SUM(clicks) AS clicks,
  SUM(purchases) AS purchases,
  SUM(total_product_sales) AS product_sales
FROM
  amazon_attributed_events_by_conversion_time
WHERE
  conversion_event_date >= '2026-10-01'
  AND conversion_event_date <= '2026-10-31'
GROUP BY
  line_item
ORDER BY
  line_item
Beispiel: beide Seiten des Tests über die Anzeigengruppen-Kennung trennen

Die Query zählt die erreichten Nutzer je Anzeigengruppe und summiert die Kennzahlen. user_id steht nur deshalb in der Query, weil COUNT(DISTINCT user_id) die Spalte aggregiert, ohne sie offenzulegen; im finalen SELECT steht sie nie. Die Tabelle liefert ausschließlich die werbezentrierte Sicht, also die Seite des Tests, auf der die Anzeigen laufen.

**Unsere Einschätzung:** AMC rekonstruiert die Randomisierung nicht. Die Aussage "diese Anzeigengruppe war die Kontrollgruppe" entsteht nicht aus den Daten, sondern aus Ihrem Testaufbau in DSP. AMC liefert die vergleichbaren Kennzahlen für beide Seiten, die kausale Interpretation tragen Sie selbst.

Schwellenwerte, Intervalle und Grenzen der Auswertung

  • **Aggregationsschwellen:** Amazon stuft jedes Feld ein. Stufe LOW verlangt mindestens zwei verschiedene Nutzer je Zeile, Stufe MEDIUM und HIGH verlangen mindestens hundert verschiedene Nutzer. Felder der Stufe VERY HIGH, etwa user_id, dürfen nie in der Ausgabe stehen, sondern nur aggregiert werden.
  • **Dimensionen mit hoher Schwelle:** postal_code und city_name liegen auf der Stufe HIGH. Sie dürfen ausgegeben werden, aber nicht mit statischen Werten gefiltert werden; ein Filter wie WHERE postal_code in (10001, 10011) lehnt AMC ab.
  • **Aggregieren statt ausgeben:** COUNT(DISTINCT user_id) ist der zulässige Weg, Nutzer zu zählen, ohne die Spalte selbst offenzulegen. Eine Query, die user_id im finalen SELECT ausgibt, wird abgelehnt.
  • **Attributionsfenster:** In der API existieren die Metrik-Intervalle _1d, _7d, _14d und _30d. In AMC aggregieren Sie über ein beliebiges Intervall bis zum Attributionsfenster, das 14 Tage beträgt; für ein individuelles Intervall wie 9 Tage setzen Sie die Zeitdifferenz zwischen Ereignissen in der WHERE-Bedingung. Das Attributionsfenster legt die Kampagne fest und lässt sich in AMC nicht ändern.

Einordnung neben Ihren bestehenden Auswertungen

Ein Incrementality-Test ersetzt die Beobachtung des Kampagnenverlaufs nicht, sondern beantwortet eine andere Frage. Der Vergleich beider Ansichten gehört in die Auswertung: Ein beobachteter Lift kann ohne Kontrollgruppe entstehen, ein Holdout ohne Beobachtung sagt nichts über die Entwicklung der Kampagne.

Prüfen Sie vor dem Start außerdem, ob Ihre Frage überhaupt zum DSP-Test passt. Amazon beschreibt das Verfahren für Bid Adjustments, also für eine konkrete Änderung an einer laufenden Kampagne. Wenn Sie die gesamte Werbewirkung gegen eine Werbe-Baseline messen wollen, ist die Kombination aus DSP-Holdout und ARP-Vergleich der Weg, der die Frage beantwortet.

Schritt für Schritt

  1. Test aufsetzen. Legen Sie in Amazon DSP zwei identische Orders an, die sich nur in der getesteten Einstellung unterscheiden, und schalten Sie die automatisierte Budgetoptimierung aus. Die Kontrollseite repliziert dabei Ihre aktuelle Kampagne, sie ist also nicht werbefrei.
  2. Gruppen randomisieren. Verteilen Sie die zehn Customer holdout groups 50/50 auf Kontroll- und Testseite, fünf und fünf Gruppen, und randomisieren Sie die Zuordnung für jeden neuen Test neu.
  3. Zielgruppen zuordnen. Fügen Sie im Audience-Picker die Customer holdout groups je Anzeigengruppe hinzu, mit OR innerhalb der Gruppen und AND zum übrigen Targeting.
  4. Laufzeit sichern. Lassen Sie den Test so lange laufen, bis Budget und Zeit für statistisch belastbare Ergebnisse ausreichen. Amazon nennt beide Punkte ausdrücklich als Voraussetzung.
  5. In AMC auswerten. Lesen Sie beide Anzeigengruppen über line_item aus der Tabelle amazon_attributed_events_by_conversion_time und vergleichen Sie erreichte Nutzer, Klicks und Käufe.
  6. Baseline ergänzen. Ziehen Sie für dieselbe Population die Käufe aus amazon_retail_purchases heran, die unabhängig von jeder Werbung entstanden sind. Der Vergleich beider Sichten ergibt die inkrementale Größe.

Häufige Fragen

Was ist der Unterschied zwischen Incrementality und attribuierter Performance?

Attribuierte Performance zählt Käufe, denen Amazon Ads eine Anzeige oder einen Klick zurechnet. Inkrementalität ist der Anteil dieser Käufe, der ohne Ihre Werbung nicht zustande gekommen wäre. Die attributed-events-Tabellen liefern die erste Größe, amazon_retail_purchases die zweite.

Sieht die Kontrollgruppe in Amazon DSP keine Werbung?

Nein. Amazon beschreibt die Kontrollseite als eine Order, die Ihre aktuelle Kampagne repliziert. Beide Seiten liefern Anzeigen aus, unterschiedlich ist nur die getestete Einstellung. Werbefrei ist die Kontrollseite nicht.

Kann AMC den Holdout-Test selbst auswerten?

AMC wertet die Ergebnisse beider Anzeigengruppen aus, die Randomisierung entsteht aber in Amazon DSP. Ohne die zehn Customer holdout groups bleibt jede Auswertung eine Beschreibung der attribuierten Performance.

Reicht ein Vorher-Nachher-Vergleich?

Nein. Amazon empfiehlt diesen Vergleich nicht, weil sich Marktbedingungen und andere Faktoren über die Zeit verändern. Ein Vorher-Nachher-Vergleich kann einen Effekt zeigen, den die Werbung nicht verursacht hat.

Woran scheitert die Auswertung in AMC?

An den Aggregationsschwellen: Stufe LOW verlangt mindestens zwei verschiedene Nutzer je Zeile, MEDIUM und HIGH mindestens hundert. Zu wenige Nutzer bedeuten NULL-Zeilen statt einer Zahl. Planen Sie den Zeitraum deshalb großzügig.

Quellen: Amazon Ads API: How to test DSP bid adjustments (A/B test with Customer holdout groups) · Amazon Ads API: Amazon Retail Purchases (entire purchase activity regardless of advertising) · Amazon Ads API: AMC data sources overview (arbitrary attribution intervals, attribution window) · Amazon Ads API: Data aggregation thresholds in AMC · Amazon Ads API: AMC SQL basics (supported JOIN clauses) · Amazon Ads API: amazon_attributed_events_by_conversion_time (abgerufen am 2026-11-15)

Weiterlesen: AMC Cheat Sheet · NTB-Analyse · Audience Segment Insights · Datenquelle ARP