97

Pierwsza w Polsce kampania oparta na monitoringu i rozpoznawaniu obrazu

cola image recognition

Zaczyna się robić coraz bardziej ciekawie jeśli chodzi o zastosowanie technologii rozpoznawanie obrazu w marketingu. Temat oczywiście nie jest nowy, pojawia się w prezentacjach, przepowiadanych trendach czy chociażby w technologii, którą wdrażała firma Itraff Technology m.in w aplikacji SaveUp i wielu innych projektach. Ale jednym z marzeń marketerów, kiedy patrzą w niebo na spadające perseidy, jest możliwość rozpoznawania obrazu ze zdjęć czy materiałów video – tych jest coraz więcej w sieci. Po co? Oczywiście, żeby wejść w interakcję z użytkownikiem publikującym np. siebie z konkretnym napojem w ręku. Wszystko działa pięknie, kiedy użytkownik publikując post oznaczy się pięknie tagami – co prawda świadomość tagów wciąż rożnie, ale wciąż jest całe mnóstwo nieoznaczonych treści, które są łakomym kąskiem dla marketerów (i oczywiście świetną usługą, aby sprzedać ją klientowi).

Tak jak wspomniałem, zapowiedzi i prezentacji możliwości technologicznych widziałem już sporo, ale dopiero teraz miałem okazję „pomacać” z bliska technologię rozpoznawanie obrazu w konkretnej kampanii na polskim rynku – według zapewnień Michała Sadowskiego – pierwszej takiej kampanii w Polsce.

Brand24 wraz z agencją NEXT właśnie realizują projekt dla Coca-Coli polegający na monitorowaniu treści na Facebooku i Instagramie. Oprócz tradycyjnego monitoringu treści tekstowych trwa również analiza zdjęć użytkowników Instagrama. Jeśli algorytm wykryje, że na zdjęciu znajduje się puszka/butelka Coca-Coli, przekazuję tę informację do agencji, która może wejść w interakcję z użytkownikiem.

Przepytałem z tej okazji Michała Sadowskiego (Brand24) i Filipa Beźnickiego (NEXT)

Maciek Budzich: Jakie napotkaliście technologiczne trudności podczas realizacji tego projektu?

Michał Sadowski: Przez długi czas byłem przekonany, że monitoring obrazu, nawet lokalnie jest niemożliwy ze względu na zbyt dużą ilość treści. Okazało się jednak, że technologie analizy obrazu działają na tyle sprawnie, że koszt przetworzenia dziesiątek/setek tysięcy zdjęć nie jest już tak ogromny i realizacja tego typu inicjatyw zaczyna się opłacać.
I tak wspólnie z agencją NEXT wymyśliliśmy, że można byłoby wychwytywać zdjęcia, na których pojawiły się produkty lub logotyp Coca-Cola i wchodzić z nimi w interakcję. Idealnym kanałem do realizacji tego celu okazuje się Instagram, gdzie interakcja marka użytkownik jest dużo łatwiejsza niż np. na Facebooku gdzie ustawienia prywatności i niedostatki API wycinają dostęp do sporej części danych. Niestety Instagram też nie jest ideałem medium do monitorowania. Jego API, nie zwraca listy polskojęzycznych autorów lub treści. Musimy ich zatem wyłuskiwać z milionów zdjęć jakie pojawiają się każdego dnia. Jeśli choć raz wychwycimy wynik od wybranego autora – zapisujemy go w naszej bazie polskojęzycznych użytkowników Instagram, w której mamy aktualnie kilkaset tysięcy profilów.

Maciek Budzich: Czyli zastęp studentów/stażystów (niepotrzebne skreślić) śledzi i przeczesuje wyniki, które dostarczacie?

Filip Beźnicki: Narzędzie jest przyjazne w obsłudze, więc dużego zastępu nie potrzebujemy. Ale aktualnie jesteśmy w stanie odpowiadać na praktycznie każde zdjęcie z Coca-Colą, które wychwycimy tym narzędziem czyli praktycznie każde, które pojawi się na polskim Instagramie.

Trzy tygodnie temu rozpoczęliśmy eksperymentalne działania. My wychwytujemy treści związane z Colą niezależnie od tego czy w opisie lub komentarzu pada fraza związana z tą marką. Nasza agencja, wspólnie z działem social Coca-Coli wchodzi w interakcje.
Naturalnie marka wchodzi też w interakcje z treściami, gdzie w opisie jest związany z marką hashtag lub opis. Największe wrażenie robią jednak reakcje na treści, które wychwycił tylko monitoring obrazu.

Maciek Budzich: Dobra, o ile jestem w stanie bez problemu rozumieć pozytywny wynik, kiedy na zdjęciu jest wyeksponowane ładne logo Coca-Coli (to nawet OCR rozpozna) to w przypadku kiedy logo jest nieczytelne, bardzo małe (albo wcale go nie ma), zdjęcie jest słabej jakości, produkt pod kątem – ile wtedy jest algorytmu i automatu a ile pracy analityków? Patrzę sobie na te trzy przykłady… i jestem pod wrażeniem (prawy górny róg obrazka: Instagram >> view on Instagram przeniesie Was do zdjęcia i komentarzy):

Michał Sadowski: W monitoringu obrazu wykorzystywany jest miks rozpoznawania kształtów i kolorystyki. Akurat te przykłady bardziej opierają się na analizie kolorów. Filtry tego typu zbierają niestety nadal mnóstwo śmieci, ale akcję wspiera także zespół analityków, którzy sprawdzają wyniki automatycznej analizy obrazu.

cola image recognition

Równolegle do realizowanej akcji testujemy kilka technologii rozpoznawania obrazu. Trzeba przyznać, że Polska może się pochwalić w tym zakresie najlepszymi technologiami na świecie. Wystarczy wspomnieć o takich firmach jak Recognize.im Arka Skuzy, czy Expectar.com. Z którymi zresztą chcemy przy okazji tego typu akcji współpracować.

Filip Beźnicki: Jakby nie patrzeć pierwsza tego typu akcja w Polsce i najpewniej także na świecie (a już na pewno z udziałem tak dużej marki).

Maciek Budzich: A jak reagują użytkownicy? Na powyższych przykładach na razie szału nie ma.

Filip Beźnicki: Użytkownicy reagują zupełnie naturalnie. Dystans pomiędzy marką, a zwykłym człowiekiem, znajomym, dzięki społecznościom cały czas się zaciera i Instagramowicze reagują, na to jak na komentarz właśnie od znajomego / przyjaciela. I chyba o to nam chodziło, żeby z takiej pozycji komunikować się z nastolatkami i tak nas na Instagramie postrzegali.

Maciek Budzcih: A po co wyłapywać „krzysia” czy „zosię” z 30 znajomymi, angażować w to zasoby ludzie i zasoby serwerów, skupienie i wyselekcjonowanie grupy influncerów i interakcja z nimi nie przyniesie podobnych efektów? Lajk i interakcja z instagramowiczem z 3 tys. obserwujących (takie oraz mniejsze pułapy można ręcznie wyselekcjonować) będzie może miało większą wartość niż angażowanie się w komunikację z 500 instragramowiczów z 30 znajomymi (nie licząc nakładu pracy włożonego w interakcję)?

dial02

dial03

Michał Sadowski: Interakcja z użytkownikami o niewielkiej liczbie śledzących tylko pozornie nie zapewnia sensownych efektów dla dużej marki z mainstreamowym produktem. Często zdarza się bowiem, że zasięg drugiego stopnia (czyli ilość znajomych znajomych) robi już dużo większe wrażenie. Ponadto, treści z social media coraz lepiej pozycjonują sie wyszukiwarkach a co za tym idzie – ludzie trafiają na nie tygodnie, miesiące i lata po publikacji oryginalnego wpisu. Interakcja z fanami marki w mediach społecznościowych może zatem przynosić profity długoterminowe, które dopiero będziemy mierzyć.

Równie istotny element to coś co nazywam “PR Stunt”. Czyli jednorazowa fajna reakcja marki pod treścią z nią związaną. Tego typu reakcje żyją w sieci własnym życiem – na screenshotach udostępnianych na FB, czy Twitterze – generują często gignatyczne zasięgi. Monitoring obrazu daje pole do popisu przy właśnie tego typu reakcjach.

Filip Beźnicki: Poza tym dla tzw. influencerzy są już przyzwyczajeni do wszelakich kontaktów z markami. Dla Krzysia i Zosi jest to totalna nowość.. A potencjalnie docierając to tysięcy Krzysiów i Zoś jesteśmy w stanie i tak osiągnąć efekt skali. Do tego to nie są zupełnie przypadkowi Instagramowicze – oni mają już jakiś sentyment do marki skoro wrzucili zdjęcie z produktem. Dzięki temu sprawiamy, że przywiązanie będzie jeszcze większe.

Maciek Budzich: Domyślam się, że klient, który chce przeprowadzić komunikację opartą na monitoringu obrazu musi Wam dostarczyć jakiś wzorzec, czy też opracowanie tego jest również po Waszej stronie? Jak wygląda taki wzorzec, ile jest głównych wzorów? To jest stały algorytm, czy też stale „ucząca” się baza?

Michał Sadowski: Tym zajmuje się głównie firma/firmy, których technologie wykorzystujemy w tego typu akcjach (tu akurat LogoGrab.com). W przypadku Coca-Cola logotyp jest opisany bardzo dobrze, bo analizę tej marki można znaleźć nawet w ich case study na stronie. Rzeczywiście tworzony jest model, na bazie którego realizowane jest rozpoznawanie obrazu – im dokładniejszy – tym naturalnie lepsze efekty i lepsza skuteczność automatu w wykrywaniu logotypów. Z logotypem Coca-Coli był ten problem, że jest całkowicie obły i posiada mało charakterystycznych punktów. Dla niektórych marek i logotypów skuteczność algorytmu może być znacznie wyższa.

Maciek Budzich: Jak daleko jesteście od monitoringu treści wideo? Co jest tutaj największym ograniczeniem i kiedy mogę się spodziewać pierwszych działań opartych na wyłapywaniu marek z filmów na YouTube?

Michał Sadowski: Na razie nie działamy jeszcze w żaden sposób z monitoringiem wideo. Nie chciałbym tu dawać kategorycznych wypowiedzi, bo pamiętam jak nie tak dawno mówiłem, że monitoring obrazu jest niemożliwy 🙂 Prawda jest taka, że technologia idzie błyskawicznie do przodu. Algorytmy i serwery na których pracują działają coraz szybciej. Problemem nie jest to, czy da się to zrobić. Da się na pewno. Problemem jest bardziej odpowiedź na pytanie: kiedy będzie to na tyle opłacalne, żeby marki zaczęły korzystać z technologii produkcyjnie? Moim zdaniem minie jeszcze parę ładnych lat zanim to nastąpi.

Maciek Budzich: Dziękuję Wam za rozmowę, piona!

  • sprawdzam :v

  • Grubo, naprawdę grubo! Gratki dla obu panów, no i dla klienta. 😉

  • Marcin :))))

  • Fajny pomysł! Gratki dla twórców.

  • Fajne to. Zróbcie taką uniwersalną apkę dla innych produktów, to chętnie skorzystamy i będziemy wychwalać pod niebiosa nabywców naszego energy drinka 🙂

  • oklaskacja! 🙂

  • Fajne!

  • Kozak! Niedługo będziemy sprawdzać, czy ktoś ze znajomych kupił już T-shirt, który podoba mi się w sklepie 😉

  • Świat się zmienia, a Wy się do tego przyczyniacie :). To naprawdę robi wrażenie!

  • Piotr, popatrz czyj to instagram;)

  • Fajne!

  • „Amazing.” – Apple

  • Kiedy monitoring graficzny będzie dostępny „dla mas” ? 😀

  • Lekko nie było, ale pierwszy eksperyment jest – teraz będziemy pracować nad tym, żeby jakoś w nieodległej przyszłości wyskalować to rozwiązanie i udostępnić każdemu „z automatu”.

    Dzięki za dobre słowo Norbert!

  • trudno powiedzieć, bo na razie to kosztowna zabawa, ale w najbliższych miesiącach pewnie zrobimy rollout dla wszystkich.

  • Brawo brawo! Next step – video 🙂

  • Natalia Cichocka – słyszysz to? Możesz zacząć zbierać na nową zabawkę. Może się Tobie przydać 🙂

  • ale świetne!

  • (Y)

  • Super! 🙂 Trzymam kciuki! powodzenia 🙂

    ..a jest szansa zrobić z Brand24 akcję wychwytującą ludzi z fejsa zaznaczających „traveling to” ?
    FB nie daje tej kategorii targetownia.

  • Gratulacje!

  • tak z ciekawości: o ile % zwiększa się liczba wychwyconych treści dzięki analizie itraffa?

  • wygląda super;)

  • Super!

  • jeju jeju jak się ciszę 😉 czym prędzej komercjalizujcie 😉

  • Epic win

  • ostatnio się zdziwiłam jak skomentowali mi moje zdjęcie butelki na instagramie, ale były hashtagi 🙂

  • WOW. Wielkie propsy. Kamien milowy monitoringu osiagniety.

  • *dokąd 😉

  • Marcin Nagraba sprawdziłem przed chwilą dla Ciebie i w ostatnim tygodniu treści wychwycone przez monitoring obrazu – nie zawierające jakiegokolwiek opisu czy hasha związanego z marką to 12% wszystkich fotek na insta.

  • super

  • Polska mistrzem świata. Wrocław mistrzem Polski!

  • zaraz usune swoja fotke z insta

  • http://instagram.com/p/r7MWUqH-lZ/ widzę, że Cola przez parę dni będzie mogła wychwytywać swoje treści przez hashtag #brand24 🙂

  • Lubie to 🙂

  • Zajebiste!

  • Nice try Tomasz Sulewski http://instagram.com/p/sNFPw3rQQW/ 🙂

  • ja wolę pepsi.

  • ale ocb?

  • ;)))

  • Michał, Wasza nauka z See Bloggers nie poszła w las 😉

  • aaa, już przeczytałem. drogi mikołaju, najbardziej chciałbym dostać skuter w kolorze coli. i pizzę ciepłą. ale już jutro.

  • @Tomasz: wrzucasz puszke pepsi na instagrama, a Michal podjezdza ze zgrzewką coca coli jako dar losu:)

  • Tak tworzy się historia. 😀 Gratulacje, Michał!

  • so nice! 🙂

  • Kurde, wole pepsi i nie sprawdzę :/ Ale podobno kindla też testujecie 😀

  • Gratz !!!

  • No to już widzę, że dzis będę miał wieczór roboty w dziale social Coli 🙂 http://instagram.com/p/sNHllbOrO5/

  • no … ciekawe 🙂

  • 😉

  • mistrzowie 🙂

  • Gajowczyk

    Co się dzieje po wyłapaniu wzorca i interakcji z tym użytkownikiem? Skoro na fotce jest już produkt Coca-Coli co się dzieje dalej ?

    • jeśli firmie zależy, może nawiązać kontakt z użytkownikiem, monitoring może też służyć to wyłapywania w różnego rodzaju konkursach itp.

  • http://instagram.com/p/sNPaQ9s8aT/ wyzwaniem będzie monitoring ktory wyłapuje zanim ludzie zdążą wypić 🙂

  • http://instagram.com/p/sNOdzzxf68/ dajcie choć obiad zjeść 🙂

  • U … rewelacyjnie szybko 🙂

  • no to teraz tylko wyłapywanie z nagrań video 🙂

  • Pomysł bardzo dobry, realizacja techniczna również widać, że działa świetnie.

    Ale muszę się czepić jednej rzeczy, która wpadła mi w oko 😉

    Filip mówi: „Instagramowicze reagują na to, jak na komentarz właśnie od znajomego/przyjaciela.”

    I trochę mi to nie współgra z komentarzem Coca-Coli pod zdjęciem paatikaaxd:

    „Dla pewności potwierdź nam, czy wyrażasz bezterminową i nieodwołalną zgodę dla The Coca-Cola Company i podmiotów zależnych do bezpłatnego i nieograniczonego terytorialnie wykorzystania tego zdjęcia w naszych kanałach społecznościowych.”

    Zdaję sobie sprawę, że chodzi o kwestie prawne. Ale ja bym usiadł i przemyślał, w jaki sposób to legalnie obejść. Bo wrzucanie takich komentarzy nie nazwałbym przyjacielskimi 🙂

    • Filip

      Patrząc na normalne komentarze tak właśnie jest.

      Tutaj faktycznie jest dysonans, ale jeśli chcemy być w 100% correct jeśli chodzi o dalsze wykorzystywanie tych zdjęć to trzeba taką zgodę uzyskać. Aktualna wykładnia mówi, żeby robić to w ten sposób. Jak znajdziemy inny formalnie poprawny na pewno będziemy go stosować.
      Tymczasem, aż tak źle nie jest bo mimo prawniczego tonu ludzie raczej reagują pozytywnie i się zgadzają (są zadowoleni, że ich zdjęcie będzie na oficlanym profilu Coca-Cola).

      Ale na przyszłość jest to też kwestia, która na bank może być lepiej rozwiązana.

  • A jak bede mial ustawienia na insta ze fotki tylko znajomym ?

  • TomAnt

    Kto przy zdrowych zmysłach pije jeszcze ten odredzewiacz zakrapiany aspartamem i innymi E? Równie dobrze można napić się Ludwika bo pewnie to ma taki sam skład. A… nie! Przepraszam! W coli jest jeszcze pół kilo cukru!

    Czy naprawde nie macie innych klientów, którzy dadzą Wam zarobić? I marnujecie swój czas i życie dla takich durnot? Chyba, że dla Was liczy się tylko kasa to zdrówka życzę! Pijcie to szambo i oglądacie Warsaw Shore, taki sam poziom inteligencji trzeba mieć, żeby w tym uczestniczyć.

    Obudzicie się i zacznijcie w końcu myśleć ludzie!

    • Wpadłeś przypadkiem i dlatego odleciałeś tak daleko od tematu?

  • To nie 😉

  • Jaki czad!!! -> Filip 🙂

  • Nie chcę nic mowić, ale wygrywacie Internety. Trzymam za Was kciuki 🙂 #Brand24

  • ja odpowiadałem. credits go to Pawel ModzelewskiJan Mian Ożarowski Justyna Obara i Next Agency – dział social 🙂

  • o Brand24 nie muszę wspominać 🙂

  • Odwieczny dylemat monitoringu – na ile buzz oficjalny różni się statystycznie od tego for friends :))))

  • Ale fejm poszedł, a tamtych młodych i zdolnych nie znam;p Gratki dla wszystkich – oczywiście!:)

  • Pawel Lenarczyk

    Brawo Michal! Bardzo fajna sprawa, masa zastosowań!

  • Gratki! Piekna sprawa…

  • thx ! 🙂

  • Powiem tak – cieszę się, że takie pomysły powstają właśnie w Polsce. Sam pomysł genialny w swojej prostocie (choć pewnie algorytmy rozpoznawania logotypu już takie proste nie są). Sam zastanawiałbym się na miejscu wybrańców, skąd do cholery Cola wie, że wrzuciłem zdjęcie ich puszki. Założę się o skrzynkę Coli, że Insta teraz oszaleje na punkcie fotek z butelkami i puszkami.

    …i o to chodzi 🙂 Gratulacje!

    • dzięki za dobre słowo! bardzo to dopinguje i motywuje! 🙂

  • Grubo. Jestem na tak

  • Powodzenia! 🙂

  • Grats, a podobno Tumblr miał być pierwszy 😉

  • dzieje się 😉

  • Ale już czasem zmiana koloru napisu jest nierozpoznawalna przez skypt. Tak było z moją Coca Colą na insta. Sprawdzę co się stanie gdy napis bedzie innego koloru.

  • z jednej strony czad 🙂 a z drugiej, to jest straszne, bo jak my możemy robić coś takiego, to do czego mają już dostęp służby specjalne 😐

  • Robi wrażenie 🙂 jutro kupię i zobaczymy czy mnie też znajdą 😉

  • uuu Filip Beźnicki 🙂

  • Tom

    Bardzo fajna kampania poza jednym jej elementem, a mianowicie komunikacją / komentarzami coca coli po wyłapaniu danego zdjęcia. Rozumiem, że czas jest cenny ale wklejanie każdej focie „Swoją drogą świetne zdjęcie, czy możemy je dać u siebie..” brzmi średnio, moglibyście się chociaż trochę wysilić i modyfikować te komunikaty, nie mówiąc już, że niektóre foty nie są nawet przeciętne, więc pisanie „świetne zdjęcie” to dla mnie taki sztuczny uśmiech sprzedawcy, żeby klient się fajnie poczuł a efekt jest odwrotny.

  • Super sprawa, gratulować!

  • „Niestety Instagram też nie jest idealnym medium do monitorowania. (…) Musimy zatem wyłuskiwać [polskojęzycznych autorów] z milionów zdjęć jakie pojawiają się każdego dnia. Jeśli choć raz wychwycimy wynik od wybranego autora – zapisujemy go w naszej bazie polskojęzycznych użytkowników Instagram, w której mamy aktualnie kilkaset tysięcy profilów.”

    Czy na sali jest GIODO?

  • a dam Ci lajka!

  • Tak trochę w temacie to takie rozwiązanie ma ponad 20-lat i wspominał o nim Manovich („W latach 90.(…)Firma Virage wprowadziła system VIR Image Engine, który pozwala na wyszukiwanie podobnych względem zawartości obrazów, jak również zestaw narzędzi umożliwiający przeszukanie i indeksowanie plików wideo.”.

    Mimo to, innowacyjność projektu jak mniemam dotyczyła zastosowania komercyjnego.- padło na Coca Colę. To ciekawe, a jednocześnie trochę niebezpieczne, jak większość internetowych zabawek:) – bo za moment Facebook, a raczej jego brat Instagram zaczną sprzedawać zdjęcia użytkowników dużym firmom, z racji tego, że ktoś miał taką czy inną koszulkę, i nagle będzie można zobaczyć swoje zdjęcie w jakiejś kampanii, gdyż publikując zdjęcia na większości portali społecznościowych tracimy do nich prawa, ale może się mylę.

  • Co do monitorowania video to wydaje mi się, że łatwiej byłoby wyodrębnić nazwę marki z dźwięku niż z obrazu np. z tekstu „chcesz coli?”

  • UjotMieszkalski

    Jeśli się potrafi właściwie korzystać z najnowszych technologii to i monitoring w takich rozwiązaniach będzie dobry :>

  • Przydatny artykuł, choć dziwi brak komentarzy. Aha – podreperowałabym poprawność językową, spójność stylistyczną itd, bo kłuje w oczy 🙂

  • Pingback: Zdjęcie jak odcisk palca, czyli monitoring fotografii - Anna-Maria Wiśniewska()