Zusammenfassung

Im Rahmen dieses Projekts wurde die statistische Signifikanz verschiedener B2C-Kampagnen analysiert. Ziel war es, datenbasierte Entscheidungsgrundlagen für die Kampagnensteuerung zu schaffen. Innerhalb von nur zwei Wochen wurden umfangreiche Tests durchgeführt, die transparent machten, welche Kampagnen tatsächlich signifikanten Einfluss auf Kundenreaktionen hatten. Die Erkenntnisse ermöglichten eine gezielte Optimierung zukünftiger Maßnahmen.

Key Facts

• Branche: Energieversorgung (B2C)
• Kunde: Großes Energieunternehmen
• Projektdauer: 2 Wochen
• Projektteam: 1 Business Consultant & 1 Data Scientist
• Zusammenarbeit mit: Data & Analytics-Abteilung

Ziele & Herausforderungen

Zielsetzung:

Das Projekt hatte das Ziel, die Effektivität verschiedener B2C-Kampagnen durch statistische Signifikanztests zu bewerten. Die Ergebnisse sollten als Basis für datengetriebene Optimierungsentscheidungen dienen.

Herausforderungen:

• Class Imbalance: Die Response-Rate lag bei vielen Kampagnen zwischen 1-2 %, was die Interpretation und Modellierung erschwerte.
• Geringe Aussagekraft der Daten: Die besten Modelle erklärten maximal 15 % der Variabilität, während 85 % auf Zufall beruhten.
• Unklare Kampagneneffekte: Viele Kampagnen zeigten zufällige positive oder negative Wirkungen ohne erkennbares Muster.

Von Kundenseite waren außer den Daten und Erklärungen zum Start keine weiteren Aufwände notwendig.

Ansatz & Methodik

Ein zentraler Schritt vor der eigentlichen Analyse war die Erstellung eines einheitlichen Datenkonstrukts, das für alle Kampagnen verwendet wurde. Dazu wurden die vorhandenen Datenquellen des Unternehmens analysiert, bereinigt und zu einer konsistenten Struktur zusammengeführt. Dies stellte sicher, dass sämtliche Kampagnen unter denselben Bedingungen getestet wurden und dass die Ergebnisse vergleichbar und valide waren.

Für die statistische Analyse wurden zwei wesentliche Tests eingesetzt:

• Chi-Quadrat-Test (Chi²-Test): Dieser Test wurde genutzt, um zu überprüfen, ob es signifikante Unterschiede in den Response-Raten zwischen Test- und Kontrollgruppen gibt. Er eignet sich besonders für kategoriale Daten und erlaubt es, festzustellen, ob eine Kampagne einen nachweisbaren Effekt hatte.
• Kolmogorov-Smirnov-Test: Mit diesem Test wurde untersucht, ob die Verteilung der p-Werte einer erwarteten Standardverteilung entspricht. Dadurch konnten Muster in den Ergebnissen identifiziert und sichergestellt werden, dass die Testmethodik korrekt angewendet wurde.

Diese Kombination von Methoden gewährleistete, dass die Analysen belastbar waren und eine zuverlässige Grundlage für Optimierungsentscheidungen boten.

Gemessene Kennzahlen:

• Any positive Response (jede positive Reaktion des Kunden)
• Key Response (Kampagnen-spezifische Hauptreaktionen)
• Cancellations (Vertragskündigungen)
• Absolute & relative Lift-Werte (Effektstärke)

Ergebnisse & Erkenntnisse

Durch die Analyse konnten Kampagnen identifiziert werden, die signifikant zur Kundenaktivierung beitrugen, sowie Maßnahmen, die keine oder unerwartete Effekte hatten. Die Untersuchung zeigte:

• Bestimmte Kampagnenansätze führten zuverlässig zu einer positiven Kundenreaktion, während andere keinen signifikanten Einfluss hatten. Eine der erfolgreichsten Maßnahmen erzielte einen Anstieg der positiven Kundenreaktionen um 35 % gegenüber der Kontrollgruppe.
• Maßnahmen zur Optimierung der Kundenbeziehung waren besonders effektiv, während einige Strategien zur Angebotsausweitung nur begrenzte Wirkung zeigten. Beispielsweise erreichte eine gezielte Optimierungsmaßnahme eine 20 % höhere Abschlussrate als herkömmliche Kampagnen.
• In einzelnen Fällen wurden unerwartete negative Effekte festgestellt, die zu einer höheren Abwanderung führten – ein wichtiger Faktor für künftige Anpassungen. Eine getestete Kampagne führte zu einem Anstieg der Kündigungen um 8 %, wodurch gezielte Anpassungen erforderlich wurden.

Diese Erkenntnisse ermöglichen es, Ressourcen gezielt auf die wirkungsvollsten Kampagnen zu konzentrieren und ineffektive Maßnahmen zu überarbeiten.

Handlungsempfehlungen & Optimierung

• Konzentration auf signifikant erfolgreiche Kampagnen, um Ressourcen effizient einzusetzen.
• Bessere Zielgruppen-Selektion, um die Wirksamkeit künftiger Kampagnen zu maximieren.
• Einsatz datengetriebener Kampagnensteuerung, um Selektion und Timing weiter zu optimieren.

Kundennutzen & Fazit

• Datenbasierte Entscheidungsgrundlage für künftige Kampagnensteuerung.
• Signifikante Effizienzsteigerung durch gezielten Ressourceneinsatz auf erfolgreiche Kampagnen.
• Klarer strategischer Vorteil durch evidenzbasierte Marketingsteuerung.

Kundenstimme:

Head of Data:

Das Projekt war schnell, präzise und hat uns wichtige Erkenntnisse geliefert. Natürlich werten wir unsere Kampagnen aus, doch die statistische Relevanz gerät dabei oft in den Hintergrund. Dieses Projekt hat uns eindrucksvoll gezeigt, dass genau diese Betrachtung entscheidend für langfristigen Kampagnenerfolg ist.

Das Signifikanz-Testing hat dem Unternehmen dabei geholfen, eine belastbare Grundlage für datengetriebenes Kampagnenmanagement zu schaffen. Basierend auf den Ergebnissen wurden gezielte Maßnahmen für die Optimierung zukünftiger B2C-Kampagnen entwickelt.

‍