Tag Archiv für "Self Service"

Ein grundsätzliches Problem der Brand Lift Study ist, dass die Ergebnisse in dem Tool oft nur übergeordnet auf Gesamtumfrageebene ausgewiesen werden. Eine detaillierte Analyse ist hierbei nicht möglich, da Ergebnisse nicht angezeigt werden, wenn diese laut Google nicht signifikant sind oder zu wenige Umfrageantworten pro Item gesammelt worden sind.

Dieses Problem kann seit März 2021 mit einer neuen Version der BLS 2.0 zumindest teilweise umgangen werden. Am 24.03.2021 wurde die Mechanik der Brand Lift Study 2.0 umgestellt auf die Accelerated Flight & Re-Measurement Study. Dadurch ergeben sich einige Implikationen für die Messung der Anzeigenwirkung:

  1. Verkürzter Messzeitraum (wenige Tage)
  2. Dadurch entsteht die Möglichkeit für ein Re-Measurement der Ergebnisse

Im Idealfall dauert die Messung mit der beschleunigten Methodik nur noch wenige Tage (abhängig von der Reichweite der Kampagne). Dabei werden im Tool die Umfrageergebnisse so schnell wie möglich gesammelt, anstatt ein bestimmtes Tagesziel anzustreben, wie bei der kontinuierlichen Messmethode.

Hat man beispielsweise mehrere Creatives (beispielsweise Creative A & Creative B) zur Verfügung und möchte bewerten, ob die Anzeigenerinnerung für eines der Videos besser ist, so können beide Videos zum Kampagnenstart eingesetzt werden. Anders als bei der kontinuierlichen Messung können die Ergebnisse bereits nach kurzer Zeit analysiert werden. Performt beispielsweise Creative A deutlich besser als Creative B, kann Creative B nach wenigen Tagen deaktiviert werden und das Mediabudget nur noch für das Creative A eingesetzt werden. Dadurch kann die Performance der Kampagne potenziell verbessert werden.

Eine Schwierigkeit der Brand Lift Study 2.0 ist, dass nicht in jedem Fall  Ergebnisse erzielt werden. Oft werden keine Ergebnisse nach der Umfrage angezeigt, wenn ein bestimmtes Signifikanzniveau nicht erreicht wird, bzw. wenn nicht genügend Antworten für bestimmte Items bei der Umfragevorhanden sind. Durch die beschleunigte Messung soll die Wahrscheinlichkeit erhöht werden, dass genügend Antworten während der Messung gesammelt und somit aussagekräftige Ergebnisse erzielt werden. Es ist jedoch nicht garantiert, dass Ergebnisse angezeigt werden, da auch hier ein bestimmtes Signifikanzniveau erreicht werden muss.

Durch die beschleunigte Messung gibt es die Möglichkeit eine erneute Umfrage während einer Kampagne einzustellen. Ist die Kampagne von längerer Dauer (bspw. vier Wochen), kann eine Umfrage am Anfang der Kampagne und eine zusätzliche Umfrage am Ende der Kampagne durchgeführt werden. Werden etwa Änderungen am Kampagnensetup vorgenommen (z.B. Änderung am Targeting, Hinzufügen neuer Creatives), können die beiden Umfrageergebnisse direkt miteinander verglichen werden. Hierfür müssen jedoch die Budgetrestriktionen erfüllt werden.

Zu beachten ist auch, dass sich durch die Anpassungen an der Brand Lift Study 2.0 die Anforderungen an das Budget verändern. Bei der BLS 2.0 hatte man ein Tagesbudget-Ziel (beispielsweise ca. 1.000€ pro Tag in Deutschland für eine Frage) als Voraussetzung für das Einstellen einer Frage. Mit der beschleunigten Messung muss nun ein 10-Tages-Budget-Limit erreicht werden. Dies liegt für eine Frage bei ca. 10.000 € für Deutschland. Laut Google Ads liegt das Budget für Deutschland für zwei Fragen bei knapp 17.000€/10 Tage und bei drei Fragen bei knapp 51.000€/10 Tage.

Diese budgetäre Grundvoraussetzung ist nicht bei allen Kampagnen erfüllt und ist somit nur für Kampagnen mit einem hohen Budgeteinsatz relevant. In diesen Fällen ist die BLS 2.0 eine gute Ergänzung für die Kampagnenoptimierung, jedoch bei vielen Kampagnen mit einem kleineren Budgetrahmen nicht verfügbar.

Allgemeine Schwächen der Brand Lift Study:

Brand Lift Studies können nicht nur auf YouTube durchgeführt werden, sondern auf verschiedenen Plattformen, wie z.B. Facebook, Pinterest, etc. Eine klassische Schwäche von Brand Lift Studies ist, dass sich diese einer neutralen Panelkontrolle entziehen. Es besteht kein klassisches Verbraucherpanel, auf das bei der Befragung zurückgegriffen wird, wie bei einer klassischen Marktforschung. Stattdessen werden die Fragen an die Testgruppe ausgespielt, die das Ad gesehen haben und an eine Kontrollgruppe in derselben Zielgruppe, die das Ad nicht gesehen haben.

Bei einem klassischen, weit verbreiteten Verbraucherpanel steht ein gleichbleibender Personenkreis für Befragungen und Beobachtungen zur Verfügung, der bevölkerungsrepräsentativ aufgestellt ist. Vor allem bei Stichproben wird bei der Rekrutierung klassischer Marktforschungen darauf geachtet, dass die Panel-Stichprobe repräsentativ ist. Die Stichprobenziehung ist der gängige Qualitätsstandard klassischer Marktforschungen. Bei den Brand Lift Studies fehlt die Panelkontrolle hingegen und ein mögliches Bias ist nicht ersichtlich.

Ein ebenfalls wichtiger Punkt ist, dass sich die Social Media Plattformen, wie YouTube, Facebook, etc. einer neutralen Kontrolle durch dritte Instanzen entziehen und kein technisches Tracking zulassen. Somit können unabhängige Anbieter wie beispielsweise die AGOF keine unabhängige Messung der Userschaft der Plattformen durchführen und bedienen sich nur Hochrechnungen der Befragungsdaten.[1]

Eine weitere Schwäche von Brand Lift Studies ist das mangelhafte Befragungsdesign. Die Befragungen werden beispielsweise bei YouTube direkt vor oder nach einem Video abgespielt, das bedeutet, dass die Befragungen im gleichen Kontext stattfinden. Dieser Bias ist nicht zu unterschätzen, da dies keine gut kontrollierte Situation der Befragung darstellt. Bei klassischen Marktforschungen wird die Befragung bewusst in einem anderen Kontext (z.B. Experimentaldesign, Laborsituation durch Befragung in Studios, etc.) durchgeführt.

Somit entsprechen die Brand Lift Study nicht den Anforderungen an klassische Marktforschungen und sind nur oberflächlich betrachtet eine objektive Befragung. Für valide Ergebnisse von Kampagnen sind klassische Marktforschungen daher unabdingbar, vor allem wenn die Ergebnisse für Rückschlüsse außerhalb dieser Plattformen gezogen werden sollen.

 

Fazit

Mit der beschleunigten Messdauer der Brand Lift Study 2.0 ergeben sich Vorteile für die schnellere Analyse der Kampagnenergebnisse, die zu Effizienzvorteilen in der Kampagnenoptimierung führen können. Jedoch sind die Mindestmediabudgetvorgaben für die Brand Lift Study 2.0 sehr hoch, vor allem bei der Abfrage mehrerer Fragen, und daher nicht für jeden Kunden bzw. jede Kampagne geeignet.

Wichtig zu erwähnen ist, dass es keine Garantie dafür gibt, dass nach der Umfrage die Ergebnisse für die abgefragten Metriken erzielt werden. Vor allem bei der Detailanalyse fehlen häufig die Werte für die Bewertung der Demografie oder auf Einzelkampagnen-/Einzelfolgenebene, da auf Einzelitem-Ebene nicht genügend Daten erhoben worden sind, die ein bestimmtes Signifikanzniveau erreicht haben.

Da die Ergebnisse Google-intern erhoben werden und nicht von einer neutralen Instanz, sollte darauf hingewiesen werden, dass die Ergebnisse nicht mit konventionellen neutralen Marktforschungen vergleichbar sind. Die Brand Lift Study 2.0 ist eine gute Hilfestellung zur Bewertung der YouTube-Kampagnen und der Messung der Anzeigenwirkung auf die User innerhalb des YouTube-Universums. Die Brand Lift Study hilft ergänzend bei der Optimierung von YouTube-Kampagnen, sollte aber als Add-On gesehen werden nicht als zentrales Planungselement

[1] https://www.agof.de/agofacts/wissen/neues-forschungsfeld-der-agof-social-media-user-influencer-follower/

Wie können Werbetreibende auf YouTube messen, ob ihre Kampagnen wirksam sind? Und wie können sie die Ergebnisse nutzen, um die Performance der Kampagnen zu steigern? Diese Fragen versucht Google bereits seit längerem mit dem Tool Brand Lift Study (BLS) zu beantworten. Nun gibt es mit der Brand Lift Study 2.0 eine Erweiterung, die vor allem für Kunden mit größeren Mediabudgets geeignet scheint.

Mit der Brand Lift Study 2.0. können Werbetreibende über Google Ads selbstständig Umfragen einpflegen. Diese kann als Ergänzung zu einer YouTube-Kampagne dienen, um die Maßnahmen innerhalb des YouTube-Universums besser bewerten zu können. Im März 2021 folgte eine Anpassung in der Messmethodik, die ich in diesem Blogbeitrag betrachten möchte.

Wie misst die Brand Lift Study 2.0?

Die „Messung der Anzeigenwirkung auf die Markenbekanntheit“, oder auch Brand Lift Study 2.0 genannt, ist bereits seit einiger Zeit auf dem Markt. Damit kann in Google Ads selbstständig eine kampagnenbegleitende Umfrage eingestellt werden, die die Anzeigenwirkung auf die folgenden Metriken abfragen kann:

  • Anzeigenerinnerung
  • Markenbekanntheit
  • Kaufbereitschaft
  • Beliebtheit
  • Kaufabsicht

Über vordefinierte Einstellmöglichkeiten für das Produkt oder die Marke werden automatische Antwortmöglichkeiten generiert. Hier können bis zu vier Wettbewerber in die Antwortmöglichkeiten aufgenommen werden.

Brand Lift Study Exemplar
Exemplarische Frage der Anzeigenerinnerung für eine Dienstleistung über die Brand Lift Study 2.0

 

Um eine Umfrage einzustellen müssen jedoch einige Mindestvoraussetzungen erfüllt werden, ohne die dies nicht möglich ist: Stichwort Budget. Die Brand Lift Study 2.0 wird nicht zusätzlich bepreist, jedoch müssen länderspezifische Mindest-Mediabudgets erreicht werden, damit eine Umfrage durchgeführt werden kann.

Insgesamt können bis zu drei Metriken abgefragt werden, dies ist jedoch stark abhängig von dem eingesetzten Mediabudget. Speziell für zwei oder drei Fragen liegt das benötigte Mediabudget in einem gehobenen Bereich. Aus diesem Grund ist das BLS 2.0 Tool vorrangig für Kampagnen mit einem hohen Mediaspending geeignet. Oft müssen mehrere Kampagnen in eine Umfrage hinzugenommen werden, damit die Voraussetzungen erfüllt sind. Sind die Kampagnenziele jedoch unterschiedlich muss abgewogen werden, ob das Zusammenlegen von mehreren Kampagnen für eine Umfrage sinnvoll ist. Zudem ist zu beachten, dass nicht alle Formate bei der Brand Lift Study 2.0 abfragbar sind.

Nach dem Einstellen der Umfrage wird die Kampagnen-Zielgruppe bei YouTube in zwei Gruppen geteilt: User, die die Anzeige sehen dürfen (Testgruppe) und User, die die Anzeige nicht sehen dürfen (Kontrollgruppe). Nach Ablauf der Umfrage werden die Antworten der Testgruppe mit den Antworten der Kontrollgruppe verglichen und die Ergebnisse zur Verfügung gestellt.

Die Brand Lift Study 2.0 misst normalerweise die Umfrageergebnisse kontinuierlich während der gesamten Kampagnenlaufzeit. Die Laufzeit beinhaltet Tagesziele für die Sammlung von Umfrageantworten, was jedoch unter Umständen dazu führen kann, dass die angezeigten Ergebnisse erst nach einer weit fortgeschrittenen Kampagnenlaufzeit im Tool angezeigt werden. Die Ergebnisse werden im Tool pro Umfrage eingeblendet, können jedoch auch auf die wichtigsten Items, wie Alter, Geschlecht, die angefragten Kampagnen oder die eingesetzten Videos heruntergebrochen werden.

Beispiel eines Umfrageergebnisses aus Google Ads.

 

Ein grundsätzliches Problem des Produktes ist, dass die Ergebnisse in dem Tool oft nur übergeordnet auf Gesamtumfrageebene ausgewiesen werden. Eine detaillierte Analyse ist hierbei nicht möglich, da Ergebnisse nicht angezeigt werden, wenn diese laut Google nicht signifikant sind oder zu wenige Umfrageantworten pro Item gesammelt worden sind.

Beispiel eines Umfrageergebnisses dargestellt nach Alter aus Google Ads.

 

Generell gilt: Für eine saubere Messung sollten während einer Brand Lift Study am Setup einer Kampagne keine Änderungen vorgenommen werden, da jede externe Änderung die Ergebnisse beeinflussen kann. Dies reduziert die Optimierungsmöglichkeiten während einer Kampagne.

Eine neue Version der Brand Lift Study 2.0, die mit einer verkürzten Messdauer schnellere Resultate erzielt, stellen wir nächste Woche in einem weiteren Blogbeitrag vor.

[1] https://www.agof.de/agofacts/wissen/neues-forschungsfeld-der-agof-social-media-user-influencer-follower/