Od jakiegoś czasu biorę udział w spotkaniach grupy roboczej IAB Polska ds. badań. Na spotkaniu lipcowym zastanawialiśmy się nad potrzebą wprowadzenia standardów dotyczących badań internetu. Niektórzy z nas stwierdzili, że po co tworzyć osobny standard, jeśli te standardy już istnieją, bo zostały wypracowane przez firmy badawcze. Pięknie, tyle, że w toku przeglądania dokumentów opisujących te standardy, okazało się, że dotyczą one tak naprawdę jednej metody badawczej – sondażu. Został on precyzyjnie opisany i skodyfikowany w kilku dokumentach. A co z pozostałymi metodami, także często wykorzystywanymi – jak na przykład analiza treści, analiza danych (wskaźniki czy coraz popularniejsza analiza sieciowa)? I to nie tylko badań dotyczących internetu, ale również innych mediów.

Owszem, informacji na ich temat dostarczają książki o metodologii nauk społecznych, jednak po te rzadko kto sięga. Brakuje dokumentów,  z których mógłby skorzystać każdy marketingowiec czy PRowiec, aby wiedzieć, czego wymagać od firm, które realizują dla niego określone typy badań, czy chociażby wiedzieć, jakie informacje może uzyskać dzięki zastosowaniu danej metody (a jakich informacji z kolei się nie uzyska). Standardy przydałyby się też firmom realizującym badania, tak, aby te firmy wiedziały, że raport z badania powinien wyglądać, jak raport z badania, a każdy wprowadzony do oferty ładnie nazywający się wskaźnik, powinien być nie tylko dobrze pomyślany, ale też zweryfikowany na rzeczywistych danych.

I potem zdarzają się kwiatki typu, że do badania realizowanego techniką analizy treści przekazów medialnych zleceniodawca chce uzyskać odpowiedź na pytanie o “postrzeganie firmy przez lokalną społeczność, samorządy i obecnych oraz potencjalnych klientów”. Tymczasem analiza treści przekazów medialnych nie mówi nic o grupach docelowych i o ich reakcji na przekaz. Mówi nam tylko to, jak organizację przedstawiają media i jaka jest jakość naszej komunikacji z mediami właśnie (np. czy dziennikarze sami podejmują tematy związane z firmą i jakie kluczowe informacje powtarzają z informacji prasowych) – ale nie mówi nam już nic, co z tego przekazu zostaje potem w głowach odbiorców. To trzeba by już sprawdzić w zupełnie inny sposób.

Dlatego właśnie jestem za wprowadzeniem standardów i za edukowaniem odbiorców badań – nie tylko jeśli chodzi o sondaż, ale również jeśli chodzi o pozostałe metody badawcze.

A wszystko zaczęło się od zapowiedzi, której dokonał Barry Leggetter, szef AMEC (Association for Measurement and Evaluation of Communication), na liście dyskusyjnej LinkedIn, jeszcze przed 2nd Measurement Summit w Barcelonie. Wynikało z niej, że ekwiwalent reklamowy zostanie wręcz zakazany przez AMEC. Na konferencji AMEC dostaliśmy propozycję ogólnoświatowych standardów pomiaru efektów działań PR, a w niej taki oto kwiatek poświęcony ekwiwalentowi reklamowemu:

1. Advertising Value Equivalents (AVEs) do not measure the value of public relations and do not inform future activity; they measure the cost of media space and are rejected as a concept to value public relations
2. Where a comparison has to be made between the cost of space from earned versus paid media, validated metrics (for example Weighted Media Cost, CPMs, etc.) should be used, stated for what they are, and reflect:
   • Negotiated advertising rates relevant to the client
   • Quality of the coverage (see Principle 2), including negative results
   • Physical space of the coverage, and the portion of the coverage that is relevant
3. Multipliers intended to reflect a greater WMC for earned versus paid media should never be applied unless proven to exist in the specific case.

Czyli najkrócej mówiąc – stare wersje ekwiwalentu reklamowego, gdzie wartość analogicznej do wybranego artykułu powierzchni reklamowej mnoży się przez dowolną liczbę pierwszą, są be. Ale nowa wersja, nazwana nieco inaczej, bo Weighted Media Cost, gdzie wartość powierzchni reklamowej waży się przez różne parametry artykułu (wydźwięk, obecność fotografii lub cytatu w tekście, itp.), już jest cacy. Wywołało to burzę wśród uczestników konferencji. Debata tak się zaogniła, że przedstawiciele AMEC i innych organizacji branżowych, które wspólnie stworzyły propozycję standardów, poddali pod głosowanie każdy punkt deklaracji dotyczący ekwiwalentu reklamowego, osobno. Punkt 1. przeszedł. Punkt 2. przeszedł nieznaczną większością głosów. Punkt 3. też przeszedł, też nieznaczną ilością głosów. Po zakończeniu konferencji AMEC poddał wnioski pod debatę – no i się zaczęło.

Wyraźny sprzeciw zgłosiła amerykańska guru pomiaru PR, Katie D. Paine, która na swoim blogu skrytykowała firmy obecne na konferencji, a wciąż stosujące ekwiwalent reklamowy a wręcz wezwała do ich bojkotu. Podała też dobre przykłady firm, które nie używają tej miary (m.in nas, czyli NewsPoint). Katie D. Paine jest wpływowym głosem branżowym i na pewno nie można jej zignorować – dlatego Barry Leggetter dość szybko zareagował na swoim blogu, a i AMEC wypuścił stosowne oświadczenie. W kolejnym etapie przeciwnicy ekwiwalentu skupili się na liście dyskusyjnej na LinkedIn, “Support Group for AVE Foes” i tutaj jak na razie się integrują i wymieniają uwagami. Rozumiem oczywiście, że AMEC próbuje tutaj wypracować konsensus między różnymi firmami, które wchodzą w jego skład i wypośrodkować różne poglądy. Ale sama jestem zdecydowaną przeciwniczką stosowania jakichkolwiek miar, które nie mają żadnej wartości poznawczej i które dokonują nietrafnych porównań.

Co będzie działo się dalej – zobaczymy. W każdym razie pilnie obserwuję dyskusję na temat ekwiwalentu i będę tutaj  relacjonować jej dalszy rozwój.

Pierwsze z nich to projekt badawczy Social Media Brand Index 2010 realizowany przez firmę Think Kong we współpracy z IAB i największymi serwisami społecznościowymi. Celem projektu jest zbadanie jak znane marki radzą sobie w mediach społecznościowych. Czy są tam obecne, czy wchodzą w dialog z konsumentami i jaki mają pomysł na komunikację. Projekt jest realizowany latem tego roku. Jego istotną częścią jest badanie sondażowe adresowane do wszystkich osób, które prowadzą zawodowo komunikację poprzez social media. Zachęcam do wypełnienia ankiety, która jest dostępna tu.

Drugie wydarzenie to konkurs organizowany przez Ciszewski PR we współpracy z PRoto.pl, który trwa do 30 lipca b.r. – informację o nim podesłała mi organizatorka, p. Bernadetta Byrska. Udział w konkursie polega na przesłaniu odpowiedzi na pytanie “Jak ograć słowem trudny temat. Samodzielnie wybierz temat, o którym nie mówi się z łatwością i powiedz o nim tak, żeby pokazać klasę, ogładę i językowe wyczucie, a także PR-owski talent” za pomocą specjalnego formularza, zamieszczonego na stronie konkursowej. Nagrody są niebanalne: 3 vouchery na lot szkoleniowy na symulatorze lotów oraz zestawy sprzętu firmy Microsoft. Zapraszam do udziału!

Zaczęło się w 2002 r., kiedy to pracowałam w mojej pierwszej firmie, agencji PR, i patrząc na to, jak raportowaliśmy klientom o wynikach naszej pracy, zaczęłam sobie zadawać pytanie, czy na pewno analiza treści jest tutaj jedyną możliwą do zastosowania metodą? Czy nikt nigdy nie wpadł na pomysł, żeby efekty działań PR mierzyć jeszcze jakoś inaczej? Obudziła się ciekawość, zaszczepiona jeszcze na zajęciach z ulubionego przedmiotu – metodologii nauk społecznych (prof. Ireneusz Krzemiński) i metod i technik badań społecznych (dr Jarosław Załęcki).

Zaczęłam szukać informacji na temat mierzenia efektów działań public relations. W amerykańskim internecie było ich całkiem sporo, przede wszystkim na stronach Institute for Public Relations, w polskich książkach i czasopismach – pojedyncze rozdziały czy artykuły. Zrobiłam pierwszy mini-sondaż, razem z portalem piar.pl. To był już jakiś trop. Wiedziałam, że mam temat do dalszej pracy naukowej. Gdy egzaminy na studia doktoranckie dwóch warszawskich uczelni zakończyły się niepowodzeniem i gotowa już byłam zrezygnować, koleżanka z pracy (Iwona Kubicz – jeszcze raz wielkie dzięki) poradziła mi zgłosić się do prof. Jerzego Olędzkiego z dziennikarstwa UW. Profesor przyjął, wysłuchał, zaczęliśmy współpracę. Z mojej strony było to tworzenie listy lektur, godziny spędzone w internecie, w bibliotekach, podpytywanie osób z dłuższym od mojego stażem branżowym, prace nad tematem mojej pracy i koncepcją badawczą – a potem kolejne spotkania i dyskusje z Profesorem.

W 2004 r. zaczęłam uczęszczać na seminarium doktorskie u Profesora w Zakładzie Komunikacji Społecznej Instytutu Dziennikarstwa. W tym czasie, w kolejnej firmie, poznawałam założenia przyświecające tworzeniu strategii public relations i tworzyłam tym strategii całe mnóstwo (jestem wdzięczna mojej ówczesnej szefowej, Annie Czaplickiej, za powierzenie mi tego zadania, bo jak się okazało później, bez strategii w ogóle nie można mówić o mierzeniu efektów działań PR). W 2005 r. złożyłam dokumenty na zaoczne studium doktoranckie Wydziału Nauk Politycznych i Dziennikarstwa UW – i tym razem zostałam przyjęta. Trzy lata studiów, egzaminy, godziny przegadane z koleżankami i kolegami z roku przy piwie w Browarmii i innych okolicznych knajpach – zwłaszcza prof. A. Miś i jego zajęcia z filozofii pobudzały do stawiania kolejnych pytań i ostrych debat. W 2006 r. otwarcie przewodu doktorskiego, ostateczny tytuł mojej rozprawy został ustalony na “Metody pomiaru i oceny rezultatów działań public relations stosowane w Polsce”.

W międzyczasie poszukiwania literatury po bibliotekach, praca nad kolejnymi rozdziałami, dwukrotnie odrzucony przez ministerstwo wniosek o grant na książki z zagranicy (najbardziej rozbawiło mnie pytanie recenzenta grantu do załączonej wyceny: “dlaczego ta literatura jest taka droga?”). Z pomocą przyszła moja siostra, Aleksandra Makojnik, która sprezentowała mi kluczową książkę J. E. Gruniga i T. Hunta. Poszukując w sieci reszty książek odkryła, że ich bardzo duże fragmenty są dostępne przez Google Books. W tym czasie intensywnie zaczęła się też rozwijać branżowa blogosfera amerykańska i inne social media (co pozwoliło mi na bieżąco śledzić debatę branżową toczącą się w Stanach). Prace nad moim doktoratem wyraźnie nabrały tempa. Uczestnictwo w wydarzeniach organizowanych przez AMEC również były ogromnym impulsem – poznałam ludzi, których nazwiska były mi doskonale znane z bibliografii i przypisów, ale też spotkałam się z ich strony z ogromną życzliwością, gdy opowiadałam im o tym co robię (na przykład Tom Watson udostępnił mi spis literatury, z której korzystał pisząc “Evaluating public relations”).

Dwa ostatnie lata, to oddawanie i szlifowanie kolejnych rozdziałów, przeprowadzenie badania, ostateczne poprawki nad pracą. Tutaj wielkie dzięki dla Michała Kosmulskiego, który wnikliwie przeczytał całość i podzielił się ze mną swoimi uwagami i sugestiami – a niekiedy przez żartobliwe komentarze zachęcał do większego dystansu do własnego dzieła Jak również dla mojej Mamy i Taty (szkoda, Tato, że nie doczekałeś) oraz wszystkich przyjaciół i znajomych, którzy częstymi pytaniami o doktorat skłaniali do dalszych wysiłków. Że o samym Profesorze (który, jak trzeba było, też przypilnował i zmotywował), już nie wspomnę… To było siedem naprawdę ważnych lat i dużo się w ciągu nich nauczyłam. Jeszcze raz dziękuję.

A teraz pozostaje czekać na obronę.

Jim Sterne jest amerykańskim ekspertem marketingu online. Już w 1994 r. organizował seminaria dotyczące marketingu w internecie, był pomysłodawcą wydarzenia eMetrics Marketing Optimization Summit i współzałożycielem stowarzyszenia Web Analytics Association, obecnie pracuje jako konsultant, doradzając firmom, które prowadzą swój biznes w sieci. Pisze też bloga eMetrics.

Najnowsza książka Jima Sterne’a, “Social Media Metrics“, skupia się na mierzeniu efektów komunikacji prowadzonej za pomocą social media. Podstawą, jak wszędzie, jest oczywiście przemyślany plan działań, strategia z mierzalnymi celami – od tego zaczyna się książka. Następnie Sterne opisuje miary świadczące o świadomości – zasięg informacji, ale też dane, które można uzyskać na temat internetowej publiczności. Kolejny rozdział jest poświęcony rozpoznawaniu sentymentu, czyli emocji, jakie mają względem nas nasi odbiorcy, tutaj Sterne sporo pisze też o automatycznej analizie treści (która, jego zdaniem, jest dość problematyczna). Następnie skupia się na na działaniach, jakie może podjąć publiczność, słuchaniu konwersacji prowadzonych przez członków tejże publiczności i braniu w nich udziału, a w końcu – na wynikach biznesowych organizacji komunikującej się za pomocą social media i współpracy z osobami z firmy, które do idei pomiaru dopiero trzeba przekonać. Na koniec wspomina o spodziewanych trendach w mierzeniu social media i podaje kilka użytecznych raportów i narzędzi. Ciekawostka: Sterne posługuje się własnym modelem pomiaru efektów działań komunikacji w social media, The Engagement Food Chain, który zakłada następujące etapy: Zobaczyli> Zachowali > Ocenili > Powtórzyli > Skomentowali > Kliknęli > Weszli w Interakcję > Kupili > Polecili. Poza tym dużo przykładów narzędzi pomiaru, kategorii pomiaru czy gotowych wskaźników oraz przykładów praktycznych. Polecam wszystkim zainteresowanym tematem.

Slajdy pokazują ostateczne rezultaty biznesowe, jakie osiąga się dzięki prowadzeniu działań PR, w kilku aspektach: finansowym, reputacji, wpływu na pracowników, public affairs. Jest też trochę o ustalaniu punktów odniesienia pomiaru (benchmarków). Polecam – można wykorzystać w Waszych dyskusjach z klientami/zarządami/współpracownikami, gdy ktoś Was pyta, czy public relations w ogóle działa.

To zresztą była najciekawsza część konferencji, bo kolejne punkty deklaracji były przedstawiane na slajdach i dyskutowane przez przedstawicieli organizacji, które wypracowały wstępną wersję deklaracji. Następnie padały pytania z sali. Po pytaniach – głosowanie za przyjęciem lub odrzuceniem zasad. W końcu – przyjęcie ostatecznej wersji Deklaracji. W dużym skrócie, brzmi ona tak:

1. Goal setting and measurement are fundamental aspects of any PR programmes. Ustalanie celów i pomiar są istotnymi składowymi każdego pomiaru PR. Uczę tego na każdym moim szkoleniu czy mówię o tym podczas prezentacji: wychodzimy od dokładnej analizy sytuacji (która często wymaga dodatkowych badań) i ustalamy mierzalne cele programu PR.

2. Media measurement requires quantity and quality – clip cuts are generally meaningless.
Analiza treści przekazów medialnych powinna mieć charakter ilościowy i jakościowy – same wycinki są bez znaczenia. Tutaj ustalono gotowe kategorie kodowania tekstów: wydźwięk (pozytywny, negatywny, neutralny), wiarygodność (autora lub źródła), dostarczenie wiadomości, pozycja firmy w tekście, obecność materiału wizualnego.

3. Advertising Value Equivalents (AVEs) do not measure the value of PR and do not inform future activity; they measure the cost of media space – ekwiwalent reklamowy (AVE) nie mierzy wartości PR i nie informuje o przyszłych aktywnościach, mierzy tylko koszt powierzchni medialnej.
A tutaj był największy dym. Z jednej strony, przedstawiciele organizacji i delegaci zgodzili się, że PR nie da się porównywać z reklamą, a ekwiwalent reklamowy z mnożnikiem w postaci dowolnej liczby pierwszej (na zasadzie, że PR jest tyle i tyle bardziej wiarygodny od reklamy) nie ma najmniejszego sensu. Z drugiej strony, uzgodniono, że można stosować wskaźnik Weighed Media Cost, który od ekwiwalentu różni się tylko tym, że bierze pod uwagę faktyczny koszt analogicznej powierzchni reklamowej (czyli uwzględnia rabaty) i szacuje końcowy koszt artykułu w oparciu o różne parametry, np. wydźwięk czy obecność zdjęcia prezesa firmy. WMC wywołał gwałtowny spór na sali, jednak większość obecnych ostatecznie była za jego stosowaniem. Mądrość tłumu, zachwalana przez niektórych delegatów, jednak nie zawsze się sprawdza…  Moim zdaniem wygląda to tak, jakby numerologię zastąpić horoskopem. Niby horoskop jest bardziej skomplikowany niż numeroskop, ma więcej danych, bardziej profesjonalnie wygląda – ale ostatecznie jest tak samo nienaukowy i niezweryfikowany empirycznie. Podobnie, jak każdy niezweryfikowany empirycznie wskaźnik.

4. Social media can and should be measured. Social media można i należy mierzyć. Zasady pomiaru są takie same, jak przy tradycyjnym PR – strategia, mierzalne cele, różne efekty komunikacji widoczne stopniowo, w różnych momentach czasu etc. Z drugiej strony, można tutaj zmierzyć nie tylko liczbę fanów, ale właśnie świadomość marki czy zaangażowanie w daną społeczność. Informacji może dostarczyć nie tylko wyszukiwarka czy system monitorujący internet, ale również statystyki ruchu na stronach internetowych, czy informacje z systemów CRM i dane dotyczące sprzedaży.

5. Measuring outcomes is preferred to measuring media results. Lepiej mierzyć ostateczne rezultaty niż rezultaty w mediach. Ostatecznymi rezultatami prowadzenia działań komunikacyjnych są m. in. zmiana świadomości, postaw, zachowań powiązana z zakupami, dotacjami, kapitałem marki, reputacją korporacyjną, zaangażowaniem pracowników, decyzjami inwestycyjnymi etc. w przypadku jakiejkolwiek organizacji. I to właśnie można i należy mierzyć.

6. Business results can and should be measured where possible. Rezultaty biznesowe mogą i powinny być mierzone, jak to tylko możliwe.
Podczas konferencji Katie D. Paine pokazała bardzo prosty przykład na pomiar rezultatów sprzedażowych: zestawiła dane dotyczące dotacji przekazywanych na jedną z amerykańskich organizacji pozarządowych z danymi dotyczącymi obecności tej organizacji w mediach. I o to właśnie chodzi. Komunikacja ma zawsze wpływ na biznes.

7. Transparency and replicability are paramount to sound measurement. Przejrzystość i powtarzalność są priorytetem obiektywnego pomiaru (albo: priorytetem pomiaru przeprowadzanego za pomocą sondażu). Tutaj nie mam pewności co do mojego tłumaczenia, bo “sound” oznacza zarówno “słuszny”, “oparty na faktach” ale również “sondaż”. W prezentacji z konferencji w tym miejscu była mowa o dwóch metodach badawczych, analizie treści i sondażu właśnie. Przy czym, przy analizie treści skupiono się na ustaleniu standardowych kategorii pomiaru, a przy sondażu mówiono o zasadach przeprowadzania badań. Jak dla mnie było to spore zamieszanie – bo jeśli mówimy o ogólnych regułach prowadzenia procesu badawczego, to są one takie same dla wszystkich metod badawczych – i skupmy się na tym, a dopiero potem mówmy, jakie są wady i zalety poszczególnych metod badawczych (nie tylko sondażu i analizy treści – mierzenie efektów PR jest też przecież rodzajem eksperymentu naturalnego).

Pełna wersja deklaracji tutaj.

A Wy co o tym wszystkim sądzicie?

Międzynarodowe Stowarzyszenie Pomiaru i Oceny Komunikacji (The International Association for Measurement and Evaluation of Communication, AMEC), zrzesza firmy świadczące usługi związane z analizą treści przekazów medialnych i badaniami działań komunikacyjnych. Obecnie należą do niego firmy z 32 krajów. AMEC został powołany w 1997 roku w Londynie i wówczas zrzeszał 7 firm. Wzrost imponujący, co świadczy o tym, że idea mierzenia efektów komunikacji (w tym public relations) cieszy się coraz większym zainteresowaniem.

Korzyści z członkostwa jest wiele: dostęp do najnowszej wiedzy na temat pomiaru i oceny efektywności działań komunikacyjnych, a także do najlepszych praktyk stosowanych na najbardziej rozwiniętych tym względem rynkach, możliwość wymiany doświadczeń z osobami specjalizującymi się w pomiarze efektów komunikacji z całego świata. Ostatecznie skorzystają na tym klienci NewsPoint, bo dostaną od nas usługi (na przykład analizy i raporty ) zgodne z najnowszymi międzynarodowymi standardami.

A już jutro w Barcelonie rozpoczyna się 3-dniowa konferencja 2nd European Summit on Measurement zorganizowana przez AMEC właśnie. W planach między innymi praca nad wspólnymi standardami branżowymi odnośnie mierzenia komunikacji. “Zabronić stosowania ekwiwalentu reklamowego!”, grzmiał już Barry Leggeter, szef AMEC, na dyskusyjnej liście branżowej. Oj, będzie ciekawie…

Relacja wkrótce – tak szybko, jak pozwoli mi na to wzrok mocno nadwyrężony korektą doktoratu.

J. Owyang stwierdził też, że social media można mierzyć w czterech wymiarach:

• dialogu – czy organizacja prowadzi aktywny dialog ze swoimi klientami;
• rekomendacji – czy jej klienci polecają innym jej produkty i usługi;
• wsparcia technicznego – czy klienci sami stanowią dla siebie grupę wsparcia, czy też firma asystuje im bezpośrednio stosując technologie social media;
• innowacji – czyli produktu ubocznego angażowania się w social media.

Następnie przypisał do tych wymiarów różne wskaźniki oraz różnych amerykańskich dostawców narzędzi do monitorowania internetu – aby pokazać, kto może dla nas co zmierzyć.

Czuję się coraz bardziej jak fundamentalistyczny kaznodzieja nawołujący do zaprzestania grzechu, różnica jest jednak taka, że nawołuję do mierzenia efektów działań w praktyce PR. Tak jak każdy jest przeciwko grzechowi, PR-owcy, z którymi rozmawiam, są za prowadzeniem pomiaru. Jednak ludzie wciąż grzeszą, a PR-owcy wciąż nie robią badań.
J. E. Grunig

To cytat, który wybrałam do zakończenia mojej rozprawy doktorskiej. Właśnie poszła do druku wersja do korekty…