Simpson’s paradox in web analytics

by Katrin Nebermann

Bei der Analyse von Daten jeglicher Art trifft man hin und wieder auf das Simpson-Paradoxon. Dieses Phänomen hat nichts mit der amerikanischen Zeichentrickserie zu tun, sondern geht auf den britischen Statistiker Edward Simpson zurück. Man spricht von diesem Paradoxon, wenn ein Trend, der in verschiedenen Teilgruppen eines Datensatzes auftaucht, verschwindet, sobald diese Gruppen in einer Gesamtmenge zusammengefasst werden.

Wie das nachfolgende Beispiel der Erfolgsbewertung zweier Produkte A und B eines Onlineshops zeigt, bleibt auch die Webanalyse von diesem Phänomen leider nicht verschont. Betrachten wir folgende Tabelle:

[table id=109 /]

Erfolgsbewertung über alle Endgeräte

Die Tabelle zeigt, dass bei einer gleichen Anzahl von Produktaufrufen von Produkte A und B, Produkt B das erfolgreichere Produkt mit 212 Verkäufen ist. Wenn Sie diese Zusammenfassung als Manager lesen, können Sie geneigt sein, Produkt B weiter zu bewerben, um den Gesamtumsatz zu steigern. Splitten wir nun die obige Tabelle über die Dimension Endgerät auf, zeigt sich ein überraschendes Bild.

[table id=110 /]

Erfolgsbewertung Smartphone

[table id=111 /]

Erfolgsbewertung Desktop

Wie Sie sehen können, sind die Ergebnisse sehr unterschiedlich und bringen eine paradoxe Schlussfolgerung mit sich, denn Produkt A hat sowohl bei Smartphones als auch Desktop-PCs eine bessere Conversionrate, dennoch schneidet Produkt B besser ab, wenn beide Endgeräte zusammen betrachtet werden (vgl. Tabelle 1).

Gegebenenfalls eröffnet ihnen die tiefgehendere Betrachtung neue Marketing-strategische Optionen und als Manager überdenken Sie noch einmal, welches Produkt wirklich das bessere ist. In dem vorliegenden Beispiel ist es nicht einfach zu entscheiden, welches das bessere Produkt ist, aber dennoch zeigt das Beispiel definitiv, dass Sie aggregierte Kennzahlen nicht einfach so hinnehmen sollten, ohne Sie zu hinterfragen. Graben Sie sich weiter in die Daten und entwickeln Sie ein besseres und detaillierteres Verständnis von ihren Prozessen, denn einige interessante Fakten und Zahlen lauern häufig unter der Oberfläche. Seien Sie skeptisch und versuchen Sie zu verstehen, wie die Webanalyse-KPIs wirklich mit Ihrem Onlineshop und den realen Geschäftsprozessen verknüpft sind.