← Zurück
29. Oktober 2026
THEFABERS

Statistik · Setup · Attribution

A/B-Testing
in der Leadgenerierung

Elia Faber

Präsentiert von

Elia Faber

01

Weiter

Nächste Folie

← Zurück
29. Oktober 2026
THEFABERS

Ausgangslage

Deine Seite ist die beste?
Gegen welche hat sie gewonnen?

ADeine Seite, livegegen?BNie getestet

02

Weiter

Nächste Folie

← Zurück
29. Oktober 2026
THEFABERS

Ausgangslage

Eine Million Varianten.
Live ist genau eine.

10Headlines×10Hero-Bilder×10Angebote×10CTAs×10Formulare×10Layouts=1.000.000mögliche Variantendeine Live-Seite

03

Weiter

Nächste Folie

← Zurück
29. Oktober 2026
THEFABERS

Ausgangslage

Die meisten Hypothesen verlieren

Microsoft33 %Bing15 %Booking.com10 %Anteil der Experimente mit signifikant positivem ErgebnisKohavi, Deng, Vermeer: A/B Testing Intuition Busters (KDD 2022)

04

Weiter

Nächste Folie

← Zurück
29. Oktober 2026
THEFABERS

Ausgangslage

Kleine Eingriffe, messbarer Effekt

Headline-Test100140AB+40 %Hero-Bild-Test100200AB+100 %Leads je Variante, Variante A = 100

05

Weiter

Nächste Folie

← Zurück
29. Oktober 2026
THEFABERS

Ausgangslage

Uplifts multiplizieren sich

167Start200Test 1×1,20230Test 2×1,15276Test 3×1,20+66 %Leads pro Monat, gleiches Budget60 € → 36 €Kosten pro Lead (CPL)Beispiel: 10.000 € Budget pro Monat, 3 € CPC, 5 % Conversion-Rate

06

Weiter

Nächste Folie

← Zurück
29. Oktober 2026
THEFABERS

Ausgangslage

Jeder Monat ohne Test kostet Leads

123456789101112Monat167276mit Testingohne Testing618Leads Differenzim ersten JahrLeads pro Monat

07

Weiter

Nächste Folie

← Zurück
29. Oktober 2026
THEFABERS

1 · Hypothese und Messung

Hypothese vor Variante

01BeobachtungKunden fragen im Callzuerst nach dem Preis02ÄnderungPreisanker imersten Bildschirm03Erwartete WirkungWeniger, aberpassendere Anfragen04MessgrößeSQL-Rate je Variante

08

Weiter

Nächste Folie

← Zurück
29. Oktober 2026
THEFABERS

1 · Hypothese und Messung

Primärmetrik: qualifizierter Lead

Leads100140AB+40 %SQLs127AB−42 %Beispiel: dieselben zwei Varianten, gemessen an zwei Zielen

09

Weiter

Nächste Folie

← Zurück
29. Oktober 2026
THEFABERS

1 · Hypothese und Messung

Attribution bis zum Deal

KlickGCLID · FBCLID · UTMLeadFormular, AnrufCRMQualifizierungSQLTermin, AngebotDealUmsatzRückspielung an Google und MetaOffline Conversion Import · Conversions API

10

Weiter

Nächste Folie

← Zurück
29. Oktober 2026
THEFABERS

2 · Testplanung

Power-Analyse vor dem Start

5 %Baseline-Conversion-Rate5 %Signifikanz-niveau α80 %Power1 − β+30 %Minimum DetectableEffect (MDE)3.780Besucher je Varianten = (z1−α/2 · √(2p̄q̄) + z1−β · √(p1q1 + p2q2))² / (p2 − p1)²Zwei-Stichproben-Test für Anteile, zweiseitig. Bei 10.000 € Budget und 3 € CPC rund 10 Wochen Laufzeit.

11

Weiter

Nächste Folie

← Zurück
29. Oktober 2026
THEFABERS

2 · Testplanung

Kleine Effekte brauchen große Stichproben

MDE +50 %1.471MDE +30 %3.780MDE +20 %8.158MDE +10 %31.234Besucher je Variante · Baseline 5 %, α 0,05 zweiseitig, Power 80 %

12

Weiter

Nächste Folie

← Zurück
29. Oktober 2026
THEFABERS

2 · Testplanung

Ab 10.000 € Spend:
Ergebnisse in Wochen statt Monaten

33 Wochen3.000 €10 Wochen10.000 €3 Wochen30.000 €2 Wochen50.000 €Laufzeit bei Spend pro Monat · MDE +30 %, Baseline 5 %, CPC 3 €, 50/50-Split

13

Weiter

Nächste Folie

← Zurück
29. Oktober 2026
THEFABERS

3 · Durchführung

Traffic Allocation:
zufällig, 50/50, persistent

ZufallBesucherA50 %B50 %Zuteilung pro Nutzer über Cookie oder ID, nicht pro Seitenaufruf. Wer wiederkommt, bleibt in seiner Variante.

14

Weiter

Nächste Folie

← Zurück
29. Oktober 2026
THEFABERS

3 · Durchführung

Split auf der Seite,
nicht im Anzeigenkonto

Split im AnzeigenkontoSplit auf der SeiteAnzeigengruppe 1AAnzeigengruppe 2BZwei Zielgruppen: Delivery verzerrt den Vergleicheine AnzeigengruppeABEine Zielgruppe: faire 50/50-Verteilung

15

Weiter

Nächste Folie

← Zurück
29. Oktober 2026
THEFABERS

3 · Durchführung

SRM-Check vor jeder Auswertung

SollIstA · 5.000B · 5.000A · 5.240B · 4.76050 %χ²-Testp < 0,001Test ungültig10.000 Besucher, erwartet 5.000 je Variante. Häufige Ursachen: Redirects, Bot-Filter, Caching, Tracking-Ausfälle.

16

Weiter

Nächste Folie

← Zurück
29. Oktober 2026
THEFABERS

4 · Auswertung

Peeking: 26 % statt 5 % Fehlerrate

p-WertLaufzeitα = 0,05früher Stopp:falscher Gewinner5 %26,1 %Feste StichprobePeekingA/A-Test ohne echten Unterschied, Fehlerrate 1. Art · Evan Miller, How Not To Run an A/B Test

17

Weiter

Nächste Folie

← Zurück
29. Oktober 2026
THEFABERS

4 · Auswertung

Mehr als jeder fünfte Gewinner ist Zufall

78echte Gewinner22Zufallstreffer (falsch-positiv)Von 100 signifikanten Gewinnern bei 10 % Erfolgsquote, α 0,05, Power 80 %False Positive Risk nach Kohavi, Deng, Vermeer (KDD 2022)

18

Weiter

Nächste Folie

← Zurück
29. Oktober 2026
THEFABERS

4 · Auswertung

Laufzeit in vollen Wochen

Conversion-Rate nach Wochentag (Beispiel)MoDiMiDoFrSaSoMoDiMiDoFrSaSoWoche 1Woche 2Werktage und Wochenende konvertieren unterschiedlich. Nur volle Wochen ergeben denselben Mix.

19

Weiter

Nächste Folie

← Zurück
29. Oktober 2026
THEFABERS

4 · Auswertung

Entscheidungsschwelle nach Risiko

85 %100 %90 %leicht umkehrbarHeadline, Bild, CTA95 %StandardAufbau, Formular99 %strukturellAngebot, Preis, FunnelTest B: P(B > A) = 93 %Bayesianische Auswertung: Wahrscheinlichkeit, dass B besser ist als A. Die Schwelle steht vor dem Start fest.

20

Weiter

Nächste Folie

← Zurück
29. Oktober 2026
THEFABERS

5 · Unser Vorgehen

Unser Setup

Auswertungauf SQL und Umsatz, nicht auf Formular-AbschlüsseA/B-TestsSplit-URL- und Element-Tests, Allocation und Abbruch vorab definiertRückspielungnur qualifizierte Leads als Conversion an Google und MetaCRM-Qualifizierungjeder Lead mit Status: SQL, Termin, DealServer-side TrackingKlick-IDs und UTMs sauber bis ins CRM

21

Weiter

Nächste Folie

← Zurück
29. Oktober 2026
THEFABERS

5 · Unser Vorgehen

Wöchentlicher Testing-Zyklus

AnalyseHypothesePriorisierungTestAuswertungRolloutWöchentlicherReview

22

Weiter

Nächste Folie

← Zurück
29. Oktober 2026
THEFABERS

5 · Unser Vorgehen

KI: schnellere Hypothesen,
keine Testentscheidung

Zufall50 %KI-Prognose67 %ZufallsniveauRichtung korrekt vorhergesagt bei 47 historischen A/B-Tests · SimAB, Rieder et al. 2026 (Preprint)

23

Weiter

Nächste Folie

← Zurück
29. Oktober 2026
THEFABERS

Nächster Schritt

Wie viel Testing-Potenzial
steckt in deinem Account?

24

Kostenlose Analyse

Jetzt anfragen