Klartext!

Ein grundsätzliches Problem der Brand Lift Study ist, dass die Ergebnisse in dem Tool oft nur übergeordnet auf Gesamtumfrageebene ausgewiesen werden. Eine detaillierte Analyse ist hierbei nicht möglich, da Ergebnisse nicht angezeigt werden, wenn diese laut Google nicht signifikant sind oder zu wenige Umfrageantworten pro Item gesammelt worden sind.

Dieses Problem kann seit März 2021 mit einer neuen Version der BLS 2.0 zumindest teilweise umgangen werden. Am 24.03.2021 wurde die Mechanik der Brand Lift Study 2.0 umgestellt auf die Accelerated Flight & Re-Measurement Study. Dadurch ergeben sich einige Implikationen für die Messung der Anzeigenwirkung:

  1. Verkürzter Messzeitraum (wenige Tage)
  2. Dadurch entsteht die Möglichkeit für ein Re-Measurement der Ergebnisse

Im Idealfall dauert die Messung mit der beschleunigten Methodik nur noch wenige Tage (abhängig von der Reichweite der Kampagne). Dabei werden im Tool die Umfrageergebnisse so schnell wie möglich gesammelt, anstatt ein bestimmtes Tagesziel anzustreben, wie bei der kontinuierlichen Messmethode.

Hat man beispielsweise mehrere Creatives (beispielsweise Creative A & Creative B) zur Verfügung und möchte bewerten, ob die Anzeigenerinnerung für eines der Videos besser ist, so können beide Videos zum Kampagnenstart eingesetzt werden. Anders als bei der kontinuierlichen Messung können die Ergebnisse bereits nach kurzer Zeit analysiert werden. Performt beispielsweise Creative A deutlich besser als Creative B, kann Creative B nach wenigen Tagen deaktiviert werden und das Mediabudget nur noch für das Creative A eingesetzt werden. Dadurch kann die Performance der Kampagne potenziell verbessert werden.

Eine Schwierigkeit der Brand Lift Study 2.0 ist, dass nicht in jedem Fall  Ergebnisse erzielt werden. Oft werden keine Ergebnisse nach der Umfrage angezeigt, wenn ein bestimmtes Signifikanzniveau nicht erreicht wird, bzw. wenn nicht genügend Antworten für bestimmte Items bei der Umfragevorhanden sind. Durch die beschleunigte Messung soll die Wahrscheinlichkeit erhöht werden, dass genügend Antworten während der Messung gesammelt und somit aussagekräftige Ergebnisse erzielt werden. Es ist jedoch nicht garantiert, dass Ergebnisse angezeigt werden, da auch hier ein bestimmtes Signifikanzniveau erreicht werden muss.

Durch die beschleunigte Messung gibt es die Möglichkeit eine erneute Umfrage während einer Kampagne einzustellen. Ist die Kampagne von längerer Dauer (bspw. vier Wochen), kann eine Umfrage am Anfang der Kampagne und eine zusätzliche Umfrage am Ende der Kampagne durchgeführt werden. Werden etwa Änderungen am Kampagnensetup vorgenommen (z.B. Änderung am Targeting, Hinzufügen neuer Creatives), können die beiden Umfrageergebnisse direkt miteinander verglichen werden. Hierfür müssen jedoch die Budgetrestriktionen erfüllt werden.

Zu beachten ist auch, dass sich durch die Anpassungen an der Brand Lift Study 2.0 die Anforderungen an das Budget verändern. Bei der BLS 2.0 hatte man ein Tagesbudget-Ziel (beispielsweise ca. 1.000€ pro Tag in Deutschland für eine Frage) als Voraussetzung für das Einstellen einer Frage. Mit der beschleunigten Messung muss nun ein 10-Tages-Budget-Limit erreicht werden. Dies liegt für eine Frage bei ca. 10.000 € für Deutschland. Laut Google Ads liegt das Budget für Deutschland für zwei Fragen bei knapp 17.000€/10 Tage und bei drei Fragen bei knapp 51.000€/10 Tage.

Diese budgetäre Grundvoraussetzung ist nicht bei allen Kampagnen erfüllt und ist somit nur für Kampagnen mit einem hohen Budgeteinsatz relevant. In diesen Fällen ist die BLS 2.0 eine gute Ergänzung für die Kampagnenoptimierung, jedoch bei vielen Kampagnen mit einem kleineren Budgetrahmen nicht verfügbar.

Allgemeine Schwächen der Brand Lift Study:

Brand Lift Studies können nicht nur auf YouTube durchgeführt werden, sondern auf verschiedenen Plattformen, wie z.B. Facebook, Pinterest, etc. Eine klassische Schwäche von Brand Lift Studies ist, dass sich diese einer neutralen Panelkontrolle entziehen. Es besteht kein klassisches Verbraucherpanel, auf das bei der Befragung zurückgegriffen wird, wie bei einer klassischen Marktforschung. Stattdessen werden die Fragen an die Testgruppe ausgespielt, die das Ad gesehen haben und an eine Kontrollgruppe in derselben Zielgruppe, die das Ad nicht gesehen haben.

Bei einem klassischen, weit verbreiteten Verbraucherpanel steht ein gleichbleibender Personenkreis für Befragungen und Beobachtungen zur Verfügung, der bevölkerungsrepräsentativ aufgestellt ist. Vor allem bei Stichproben wird bei der Rekrutierung klassischer Marktforschungen darauf geachtet, dass die Panel-Stichprobe repräsentativ ist. Die Stichprobenziehung ist der gängige Qualitätsstandard klassischer Marktforschungen. Bei den Brand Lift Studies fehlt die Panelkontrolle hingegen und ein mögliches Bias ist nicht ersichtlich.

Ein ebenfalls wichtiger Punkt ist, dass sich die Social Media Plattformen, wie YouTube, Facebook, etc. einer neutralen Kontrolle durch dritte Instanzen entziehen und kein technisches Tracking zulassen. Somit können unabhängige Anbieter wie beispielsweise die AGOF keine unabhängige Messung der Userschaft der Plattformen durchführen und bedienen sich nur Hochrechnungen der Befragungsdaten.[1]

Eine weitere Schwäche von Brand Lift Studies ist das mangelhafte Befragungsdesign. Die Befragungen werden beispielsweise bei YouTube direkt vor oder nach einem Video abgespielt, das bedeutet, dass die Befragungen im gleichen Kontext stattfinden. Dieser Bias ist nicht zu unterschätzen, da dies keine gut kontrollierte Situation der Befragung darstellt. Bei klassischen Marktforschungen wird die Befragung bewusst in einem anderen Kontext (z.B. Experimentaldesign, Laborsituation durch Befragung in Studios, etc.) durchgeführt.

Somit entsprechen die Brand Lift Study nicht den Anforderungen an klassische Marktforschungen und sind nur oberflächlich betrachtet eine objektive Befragung. Für valide Ergebnisse von Kampagnen sind klassische Marktforschungen daher unabdingbar, vor allem wenn die Ergebnisse für Rückschlüsse außerhalb dieser Plattformen gezogen werden sollen.

 

Fazit

Mit der beschleunigten Messdauer der Brand Lift Study 2.0 ergeben sich Vorteile für die schnellere Analyse der Kampagnenergebnisse, die zu Effizienzvorteilen in der Kampagnenoptimierung führen können. Jedoch sind die Mindestmediabudgetvorgaben für die Brand Lift Study 2.0 sehr hoch, vor allem bei der Abfrage mehrerer Fragen, und daher nicht für jeden Kunden bzw. jede Kampagne geeignet.

Wichtig zu erwähnen ist, dass es keine Garantie dafür gibt, dass nach der Umfrage die Ergebnisse für die abgefragten Metriken erzielt werden. Vor allem bei der Detailanalyse fehlen häufig die Werte für die Bewertung der Demografie oder auf Einzelkampagnen-/Einzelfolgenebene, da auf Einzelitem-Ebene nicht genügend Daten erhoben worden sind, die ein bestimmtes Signifikanzniveau erreicht haben.

Da die Ergebnisse Google-intern erhoben werden und nicht von einer neutralen Instanz, sollte darauf hingewiesen werden, dass die Ergebnisse nicht mit konventionellen neutralen Marktforschungen vergleichbar sind. Die Brand Lift Study 2.0 ist eine gute Hilfestellung zur Bewertung der YouTube-Kampagnen und der Messung der Anzeigenwirkung auf die User innerhalb des YouTube-Universums. Die Brand Lift Study hilft ergänzend bei der Optimierung von YouTube-Kampagnen, sollte aber als Add-On gesehen werden nicht als zentrales Planungselement

[1] https://www.agof.de/agofacts/wissen/neues-forschungsfeld-der-agof-social-media-user-influencer-follower/

0 Kommentare zu “Brand Lift Study 2.0: Verkürzte Messdauer, schnellere Resultate

Einen Kommentar verfassen

Deine E-Mail-Adresse wird nicht veröffentlicht.