Kereső Világ: keresés, szövegbányászat, big data

Crimson Hexagon - tartalomelemzés másképp

zoltanvarju — Thu, 23 May 2013 08:00:00 +0200

A közösségi média monitorozására szinte naponta alapítanak egy céget, de csak nagyon kevés tud megmaradni. Ennek csak részben oka az erős piaci verseny. Sokszor nehéz elmagyarázni az ügyfeleknek mire és hogyan használhatók a tartalomelemző eszközök, ennek hiányában pedig a legkifinomultabb technológia is rossz eredményekhez és értetlen felhasználókhoz vezet. A Crimson Hexagon mindkét oldalon erős és olyan ügyfeleket sikerült megnyernie mint a Bing, az NBA és a CNN.

A Crimson Hexagon eljárása Gary King, a Harvard Department of Government professzora, az Institute for Quantitative Social Sciences igazgatója, tartalomelemzési munkásságán alapul. Ezt King Daniel Hopkins-szal írt A Method of Automated Nonparametric Content Analysis for Social Science című tanulmányban fektette le. A kapcsolódó ReadMe nevű program pedig elérhető szabadon is (az R nyelvet ismerők előnyben!). King és Hopkins abból a megfigyelésből indul ki, hogy a gépi tanulási osztályozó algoritmusok célja az, hogy nagy adathalmazt osztályozzanak gyorsan egy emberi erőforrások bevonásával készített ún. tanulókorpusz alapján. Habár ezek az eljárások általában igen jó hatásfokúak (77 és 90 százalékos pontosságot érnek el) a viszonyítási pont gyakran mesterséges és nem érhető el a gyakorlati alkalmazás során. Ennek oka, hogy statisztikailag nem reprezentatív se az algoritmus betanítására alkotott korpusz, se a vizsgálatra felhasznált adathalmaz. A tartalomelemzési eljárások során az ún. kódkönyvben fektetik le a korpusz kialakításának menetét és hogy milyen szempontok szerint értékeljék ki annak elemeit. A kódkönyv kialakítása és a tanulókorpusz elkészítése a legidőigényesebb és egyben a legdrágább része minden projektnek. King és társai ezt foglalták részben algoritmikus formába, amihez részletesen leírták a kódkönyv készítésének metodológiáját. Ezt különböző tanulmányokban és szabad szoftver formájában közkinccsé is tették. Ezzel egy időben a Crimson Hexagon-on keresztül szabadalmat jegyeztek be az algoritmus és az eljárás egy-egy szofisztikáltabb változatára is.

A cég a szabadalomra alapozva fejlesztette tovább King és társai eljárását. Az elemzőfelületet online teszik elérhetővé és az R nyelvről áttértek a Java technológiára (teljesítmény és skálázhatósági kérdések miatt). Nem csupán a technológiát árulja a Crimson Hexagon, hanem elérhetővé teszi tanácsadóit is az ügyfeleknek, ami nagy segítség a tanulókorpusz kialakítása során. Véleményünk szerint nem is annyira az alkalmazott technológiában rejlik a cég erőssége, hanem abban, hogy rugalmasan tud alkalmazkodni ügyfelei igényeihez és segít neki olyan kérdéseket megfogalmazni, melyekre ott rejlik a válasz az adatokban. Így nem csak a szokásos osztályozási módszerek (pl. szentimentelemzés, előre meghatározott kategóriába sorolás) hanem olyan kérdések is vizsgálhatóak, mint mennyire humoros vagy ironikus egy adott szöveg, mennyire segítőkészek egy adott fórum hozzászólásai stb. Mivel a cég nem árul el sokat magáról, ezért következő posztunkban két olyan tanulmány eredményeit ismertetjük mely a King és Hopkins eljárását használta fel.

Idibon - Big Data Bábel

zoltanvarju — Tue, 21 May 2013 12:00:00 +0200

Az interneten keletkező információ legnagyobb része nyelvi, legyen az szöveg, audió vagy pedig videó. Napjainkban kb. ötezer nyelvet használnak a modern tömegkommunikációs eszközök használói és az általuk generált adatok elemzése során gyakran merülnek fel nyelvi, nyelvészeti kérdések. Az Idibon célja, hogy segítsen eligazodni az ilyen kérdésekben. Az NLP meetup volt előadója, Tyler Schnoebelen a friss startup senior data scientist munkatársa szerint a cég piacát azok az adatelemző központok jelentik, melyek felismerik, hogy a nyelvi adatok elemzéséhez szükségük van külső szakértőkre.

Az összes kommunikáció kb. hét százaléka az interneten zajlik ma. Ezt szemlélteti a Robert Munro (Idibon CEO) Strata előadásának ábrája.

Habár több mint ötezer nyelvet használnak a netezők, a tíz leggyakrabban használt nyelv beszélőinek száma lefedi a felhasználók több mint felét. Látható, többet kommunikálunk mobilon (beszélgetés és SMS formájában is) mint interneten. Fontos ugyanakkor megemlíteni, hogy egyre gyakoribb az eltérő anyanyelvűek közötti kommunikáció (ami általában valamilyen közvetítőnyelven történik, ami legtöbbször az angol vagy valamelyik másik világnyelv). Akár egynyelvű, akár többnyelvű a vizsgálni kívánt dokumentumok köre, könnyen belátható, szükség van szakemberekre az adatok elemzése során. Számítógépes nyelvészt tartani drága mulatság és valószínűleg a legtöbb cégnek nincs is szüksége folyamatosan ilyen képzettségű munkatársakra. Az Idibon-on keresztül olyan szakemberek érhetők el, akiknek tapasztalata van az akadémia és az ipar világában is.

Az Idibon munkatársait a Stanford Department of Linguistics és a University of Pennsylvania-n működő Linguistic Data Consortium körében toborozta. A cég első magvető befektetője 1.4 millió dollárral az a Khosla Ventures, melynek olyan cégekben vannak érdekeltségei mint a bitly, a Kaggle és a Metamarkets.

Az Idibon az első olyan nyelvtechnológiai és nyelvészeti tanácsadó cég, amely kockázati tőkét vont be és szinte egyedülálló a piacon. De csak szinte! Itthon a Nyelv és Tudomány kínál hasonló szolgáltatásokat.

Hogy mit nyújthat egy nyelvész a big data terén? Erre jó példa Tyler meetup előadása, melyben arról beszél, hogyan gazdagíthatjuk egy Twitter vizsgálat demográfiai adatait nyelvészeti elemzéssel.

Tyler Schnoebelen : Gender and style in American English tweets from Szamitogepes nyelveszet on Vimeo.

Pollyanna a magyar weben

zoltanvarju — Fri, 17 May 2013 08:00:00 +0200

A szentiment elemzésekről és a pollyanna jelenségről szóló posztunk kapcsán joggal merült fel olvasóinkban a kérdés, hogy is állunk a magyarban ezzel.

A tanulmányokban előforduló példa szópárokbó kigyűjtöttem párat és magyar megfelelőik gyakoriságát vizsgáltam. A Google-t használva a keresési találatok száma is támogatja a pollyanna jelenséget meglétét a magyarban (a "buta" kivételével).

szópár	pozitív	negatív
jó - rossz	104,000,000	23,300,000
boldog - szomorú	10,300,000	7,700,000
magas - alacsony	26,500,000	10,600,000
szép - csúnya	48,400,000	2,580,000
okos - buta	5,630,000	35,800,000

Mégjobb adatokat kapunk, ha csak a magyar oldalakra keresünk a Google-ön, de a Magyar Webkorpusz is megerősít minket ebben.

szópár	pozitív	negatív
jó - rossz	375000	304423
boldog - szomorú	77073	10000
magas - alacsony	266981	106652
szép - csúnya	61000	20000
okos - buta	36211	15479

A huszonöt leggyakoribb melléknév a korpuszban pedig a következő:

nagy magyar kis teljes fontos jó egyes biztos szakmai helyi politikai szabad emberi rossz hazai igaz bizonyos amerikai angol magas sok eredeti fiatal nemzeti ismert

Ebből egyértelműen negatív a "rossz", de a "kis" is ennek tekinthető. Annyit megállapíthatunk, hogy szógyakoriság tekintetében a magyar nyelvben is megfigyelhető a pollyanna jelenség.

Megkérdeztük Szekeres Pétert a Neticle vezető kutatóját, hogy véleményárfolyam vizsgálataik során ők tapasztaltak-e hasonló jelenséget, mint DiGrazia, McKelevy, Bollen és Rojas.

Mi inkább szektor karakterisztikákat látunk a magyar weben: pl. politikában minél több az említés, annál negatívabb a véleményárfolyam, mert főleg negatívumokat írnak. Ez igaz például telekommunikációs és pénzügyi szektorra is erősen, míg például autók és tech szektor inkább igaznak tűnik az említett korreláció, hiszen ezeket a területeken inkább az elégedett "fogyasztók"/rajongók posztolnak, míg az előbbiek esetében rossz szolgáltatás/elégedetlenség miatt írnak a netezők.

Ezt alátamásztandó Péter rendelkezésünkre bocsátotta az Együtt 2014-re mért polaritás és említésgyakoriság értékeket 2013 január 1-től (köszönjük szépen az adatokat Péter!). Látható, a pozitív vélemények az említések elenyésző számát képviselik csupán.

Vessünk egy pillantást a vélemények eloszlására is:

Akik szeretnének jobban elmélyedni az adatokban, azoknak ajánljuk a Méltányosság és a Neticle közös politikai véleményárfolyam riportjait, melyek a véleményelemzések mellett tartalmaznak említésgyakorisági adatokat is.

A szakirodalom alapján úgy tűnik, a pollyanna jelenség univerzálé (azaz minden nyelvre jellemző tulajdonság). Azt sugallják a szógyakorisági adatok is, hogy a magyar sem kivétel ez alól. Nagyon elgondolkodtató, hogy a politikával kapcsolatban ennyire felülreprezentáltak a negatív vélemények. Ugyanakkor meg kell jegyeznünk, hogy az adatok az említett kutatástól eltérnek (nem csak a Twitter-ről gyűjtött ún. referencia említéseket tartalmazzák).

Légy negatív – megjegyzések a szentiment elemzések értelmezéséhez

zoltanvarju — Thu, 16 May 2013 08:00:00 +0200

A szentiment elemzések (vagy más néven polaritás mérés, azaz egy adott szöveg érzelmi viszonyulásának – pozitív, semleges vagy negatív voltának – automatikus megállapítása) egyre inkább elterjedtek. Az Indiana University egy interdiszciplináris kutatócsoportja, DiGrazia, McKelevy, Bollen és Rojas (School of Informatics és Department of Sociology) arra az elsőre meglepő megállapításra jutottak, hogy egyes esetekben nincs szükség a polaritás mérésére. More Tweets, More Votes: Social Media as a Quantitative Indicator of Political Behavior című tanulmányukban ismertetett eredményeik szerint, a 2010-es egyesült államokbeli kampányban a republikánus jelöltek említése a Twitteren (nem keverendő össze ez avval a jelenséggel, amikor hivatkoznak egy Twitter felhasználóra a kukac előtaggal pl. @BarackObama, vagy ún. témamegjelölésre szolgáló hashtag formában használják az adott politikus nevét pl. #obama, hanem a tweetekben, „folyószövegben” történő sima említés) korrelált a választási eredményekkel (pontosabban a két jelölt közötti szavazatkülönbséggel). Ahogy a tanulmányból vett alábbi ábra is mutatja, nagy szórás mutatkozik, de a kapcsolat egész erős (a társadalomtudományok mércéje szerint).

A TechPresident-nek nyilatkozva DiGrazia felhívja a figyelmet arra, hogy a vizsgálat deskriptív (leíró) és jelen formájában nem prediktív (azaz nem használható előrejelzésre). Ezért vigyázni kell az amikor a közösségi médiát elemezve akarunk következtetéseket levonni.

"If you're a Democrat in a very conservative district, getting a lot of tweets would mean you would be expected to get a better than expected result," he said, "but not necessarily mean that you would overcome the disadvantage of being in a conservative district."

A kutatók úgy gondolták, a begyűjtött tweeteket szentiment elemzéssel kell majd vizsgálniuk miután megmérték a jelöltek említésének gyakoriságát, de meglepetésükre enélkül is kimutatható a korreláció.

"We thought we were going to have to look at the sentiment," he said. He speculated that one reason for the correlation could be a so-called Pollyanna Hypothesis, "that people are more likely to gravitate toward subjects that they are positive about and are more likely to talk about candidates that they support."

A pollyanna jelentése kb. túlzott optimizmus, Eleanor H. Porter Pollyanna című gyermekregényének optimista főhősének neve vette fel ezt a jelentést. Sokáig gyanították a nyelvészek, hogy valamiért gyakoribbak a pozitív töltetű szavak, mivel a társadalmi normák is azt diktálják, hogy ne legyünk annyira negatívak. Boucher és Osgood The pollyanna hypothesis című tanulmányában sok bizonyítékot vonultat fel amellett, hogy kultúrafüggetlen ez a jelenség, sőt a gyermekek nyelvelsajátításában is hamarabb jelennek meg a pozitív szavak, továbbá tanulási feladatokban is hamarabb tanulják meg az alanyok a pozitív töltetű (vagy annak gondolt) szavakat.

Az ETH kutatói, Garcia, Garas és Schweitzer, Positive words carry less information than negative words című tanulmányukban kimutatták, hogy a jelenség irodalmi korpuszokban éppúgy kimutatható, mint a tkp. az egész webet feldolgozó Google n-gram korpuszokban.

Ugyanakkor azt is kimutatták, hogy a negatív szavak több információt hordoznak. Ezt könnyű belátni intuitívan is; mivel a pozitív töltetű szavak gyakorisága magasabb mint a negatívaké, ezért kevesebb szerepük van egy-egy mondat jelentésében is. Persze egy szó érzelmi töltése változhat a szövegkörnyezet hatására, de a tanulmány szerint ezt figyelembe véve is magasabb információtartalommal bírnak a negatív szavak.

Manapság a szentiment elemzések egyik legelterjedtebb alkalmazása az üzleti hírek vizsgálata. Ezekkel kapcsolatban érdemes megjegyezni, hogy Hildebrandt és Snyder elemzése szerint, a pollyanna jelenség az üzleti beszámolókban is megjelenik. A vizsgálatban két évre fókuszáltak, egy recessziót (1975) és egy kifejezetten jó évet (1977). Azt találták, hogy a kifejezetten rossz évben is sokkal magasabb volt a pozitív kifejezések aránya, függetlenül az adott társaság anyagi helyzetétől. Természetesen egy rossz évben a beszámolókban elkerülhetetlen negatív kifejezéseket használni, de ezek száma nem emelkedik egyenes arányban a cég anyagi gondjainak sokasodásával. Az első kutatások óta többször is megismételték a vizsgálatot, ezek eredményei azt támasztják alá, hogy nem csupán a céges beszámolók, de a gazdasági hírek is csínján bánnak a negatívumokkal.

Figyelembe véve a pollyanna jelenséget és az eltérő információtartalmat, érdemes a negatív hangokra odafigyelnünk amikor a webes tartalmak polaritása érdekel minket. Persze úgy tűnik evvel csak a régi bölcsességet ismételjük, miszerint a negatív kritikából lehet tanulni, de immár ezt tudományosan is alátámasztva mondhatjuk.

Twitter forradalmak

zoltanvarju — Tue, 14 May 2013 12:00:00 +0200

A közösségi médiában futótűzként terjedhetnek el a hírek. Erre a legjobb példa az egyiptomi forradalom, amit élőben követhettünk nyomon a Twitteren. Kérdés azonban mi volt előbb, elégedetlenség, ami kereste az útját, vagy a tömegkommunikáció teremtette meg annak lehetőségét, hogy az indulatok egymásra találjanak és elérjék azt a kritikus tömeget, ami már cselekvésre késztetett embereket? A Twitter forradalmak bepillantást engednek abba, milyen szerepe van a közösségi médiának a kollektív cselekvésben.

Ahogy később látni fogjuk, a forradalmak helyébe behelyettesíthetünk más eseményeket is, mint pl. a pletyka, az innováció vagy a divat, de akár gondolhatunk tudományos forradalmakra is á la Kuhn. Az ilyen jelenségek megértése nem egyszerű és általában több szinten történik, ezért először nagyon röviden kitérünk a „nagy képre”, azaz a forradalmak kapcsán leginkább emlegetett politikafilozófiai elméletekre, majd magát a „folyamatot” leíró formális kerettel foglalkozunk. Ezután megvizsgáljuk, hogy a tömegkommunikáció és a közösségi média milyen szerepet játszik napjaink forradalmaiban és végül egy példán keresztül szemléltetjük milyen következtetéseket vonhatunk le a Twittert elemezve.

Forradalmak régen

Napjaink forradalmainak értelmezéséhez az eszmetörténészek sokszor nyúlnak vissza a francia forradalomról szóló művekhez. Ennek oka, hogy a forradalmak után Egyiptomban és Tunéziában is erős centralizáció tapasztalható, ami párhuzamba állítható a francia történelemmel.

Tocqueville szerint a felkelők nem akartak igazából eltörölni mindent, sokkal inkább a reformok iránti igény vezette őket. A kontinuitás utáni vágy erősebben hatott, mint a forradalmi hevület, hiszen az ancien régime helyett hamarosan egy erősen centralizált állam jött létre. (Bővebben l. Tocqueville: A Régi rend és a forradalom)

Burke a francia forradalmat az amerikai függetlenségi háborúval állította szembe. Míg az újvilági telepesek körében szerves fejlődés vezetett az önszerveződéshez és a függetlenségi háború az angol korona korlátozó intézkedéseire adott válasz volt, addig a francia forradalom a felvilágosodás absztrakt eszméire épült. Burke szerint eleve bukásra volt ítélve a forradalom, hiszen túl racionális volt, nem számolt az emberi természettel (ti. az absztrakt eszmék helyett a társadalmilag rögzült gondolkodás elsőbbségével). A forradalom végül a centralizált bonapartista rendszerhez vezetett, később pedig a restaurációhoz. (Bővebben l. Burke: Töprengések a francia forradalomról)

Burke elemzését sokan az egyiptomi helyzethez hasonlónak tartják. Érdemes megjegyezni ugyanakkor, hogy sem Tocqueville, sem Burke nem ad magyarázatot arra, hogy mi váltotta ki a forradalmat és miért éppen az adott pillanatban. Erre Marx híres, hírhedt tétele, a „mennyiségi változások minőségbe ugrása” tett kísérletet. Ennek értelmében a társadalmi változások egy idő után elérnek egy olyan kritikus mennyiséget, ami minőségi változáshoz vezet.

A politikai gondolkodók meglátásai jó fogalmi keretet biztosítanak egy adott helyzet elemzéséhez. Azonban nem adnak lehetőséget arra, hogy modellezzünk vagy éppen összehasonlítsunk hasonló helyzeteket. Arra pedig végképp nem alkalmasak, hogy előrejelzéseket tegyünk. (Fontos ugyanakkor megjegyezni azt, hogy ez nem is a céljuk, a politikafilozófia egy sajátos megértésre törekszik és nem tudományos leírásra. A tudományos és a bölcseleti megértés nem alá- vagy fölérendelt viszonyban áll, hanem ugyanannak az érmének a két oldala.)

Társadalmi beágyazottság, hálózatok és az információ terjedése

A forradalmak és egyéb társadalmi jelenségek okait szeretjük egy-egy dologgal magyarázni. Ezek közül általában a legkézenfekvőbb a gazdaság. De elkülöníthetjük-e a gazdaságot a politikától? A politika független a kultúrától?

Polányi Károly elemezte először a különböző területek egymásba ágyazottságát, amit később Mark Granovetter fejlesztett tovább. Granovetter a közgazdaságtan elszigetelt, individualista homo economicus-a és a szociológia „túlszocializált”, a társadalmi környezet által meghatározott egyénfelfogása helyett egy középutas megoldást javasolt Economic Action and Social Structure: The Problem of Embeddedness című tanulmányában, amit a társadalmi hálózatokban talált meg. Ez nem annyira meglepő egy hálózatkutatótól, de ha jobban szemügyre vesszük elméleteit, látható miért is gondolta ezt.

Granovetter ún. küszöbérték modellje (amit Threshold Models of Collective Behavior c. tanulmányában mutat be) formálisan írja le miképp terjednek el bizonyos jelenségek (pl. pletyka, divat, vagy éppen a forradalmi eszmék és cselekvések) a társadalomban. A modell szerint mindenki bizonyos küszöbértékkel bír. Pl. vannak akik újítók és maguktól kezdenek el hordani egy vicces sapkát, mások rögtön követik őket, a többség csak akkor veszi meg a sapkát ha már sok emberen látta és így tovább. Ahogy a lenti ábra is szemlélteti, egy jelenség így először nagyon lassan terjed, majd egy ponton megugrik és hirtelen eléri azt az értéket, amikor a többség is követi a trendet, majd egy idő után nagyon lassan fejlődik tovább a trend. Persze ez a modell sem magyarázza meg azt, hogy miért alakulnak ki a forradalmi eszmék, de Marx mennyiségek minőségbe történő átcsapásáról szóló gondolatánál sokkal egzaktabb, formális rendszerben ír le egy jelenséget.

De miképp terjed az információ a közösségen belül? Erre kísérek meg válaszolni Granovetter ún. gyenge kapcsolatok (weak ties) elmélete (amit The Strength of Weak Ties tanulmányában fektett le). Egy embernek általában sok kapcsolata van, ezek között egyesek erősebbek (pl. család, barátok, szomszédok stb.) mások gyengébbek. Kitől szoktunk új információkat hallani; azoktól akikkel szoros kapcsolatot ápolunk vagy azoktól akikkel gyenge kapcsolatban állunk? Egy találkozás egy rég nem látott volt osztálytárssal vagy szomszéddal gyakran beindítja a pletykát és hirtelen sok mindent megtudunk hajdani barátokról, ismerősökről.

Granovetter empirikus vizsgálataiban kimutatta, hogy a gyenge kapcsolatoknak sokkal nagyobb szerepe van, mint az erőseknek, mivel rajtuk keresztül sokkal több információ áramlik. Ez kontraintuitív, hiszen azt gondoljuk az informális álláskeresésben az erős szálak fontosak. De hasonló következtetéseket vontak le az innováció terjedését vizsgálva is.

Tömegkommunikáció és a mobil hatása

2004 novembere és 2005 decembere között lezajlott Ukrán narancsos forradalom még nem használta a közösségi oldalakat, de erősen támaszkodott az olyan web 2.0 eszközökre, mint a blogok és az online sajtó kommentjei. Legalább ilyen fontos volt, hogy a résztvevők zsebében ott lapult egy mobiltelefon. De mire is használták ezeket az eszközöket?

Minden protest mozgalom két kulcsfontosságú területre koncentrál, szeretne minél több embert megnyerni és csatlakozásra bírni és egyben koordinálnia kell a már csatlakozott tagok akcióit. Az ukrán forradalom során általánosságban elmondható, hogy a nyilvános internetes tartalmak a propaganda, a mobilkommunikáció inkább a koordináció eszközei voltak. (Érdemes elolvasni a The Role of Digital Networked Technologies in the Ukrainian Orange Revolution c. tanulmányt evvel kapcsolatban.)

Koordináció vagy propaganda?

Jevgenyi Morozov viccesen jegyzi meg egy írásában, hogy a nyilvános interneten tervezni egy forradalmat hülyeség, hiszen a hatalom emberei is ugyanazokat a forrásokat olvassák (The Net Delusion című könyvében külön fejezetet szentel ennek Why the KGB Wants You to Join Facebook címmel). A 2009-es moldovai twitter forradalom sem kivétel ez alól. Az internetet elárasztották a különféle irományok, de ezek szerepe a propaganda volt, nem pedig a koordináció. Mivel a tiltakozók gyülekezési helyén erősen korlátoztatták a mobiltelefonok használatát, akadozott a résztvevők koordinációja és egyesek ebben látják annak okát is, hogy kaotikus állapotok alakultak ki (Bővebben l. More analysis of Twitter's role in Moldova). Morozov szerint Twitter helyett hangszórókra volt inkább szüksége a szervezőknek.

A moldáv Twitter felhasználók száma Morozov kutatása alapján kb. 70 volt 2009-ben. Mivel azonban Romániában különös figyelemmel kísérték az eseményeket és jelentős számú moldáv diaszpóra él szerte a világban, a tüntetésekről szóló beszámolók jelentős visszhangot kaptak a csiripelők között. Ebből arra következtethetünk, hogy a Twitter és a közösségi média szerepe elsősorban a propaganda. Ezt támasztja alá a Guardian és az LSE vizsgálata a londoni zavargások kapcsán is, ahol a koordináció eszköze a mobil volt.

The Revolution Will Be Tweeted

A 2010 decemberében indult elégedetlenségi hullám 2011 tavaszára csúcsosodott ki az "arab tavaszban" és jelentős változásokat indukáltak az arab világban. Hiába próbálkoztak az elnyomó rezsimek a mobilkommunikáció és az internet részleges vagy teljes korlátozásával, a hírek megállíthatatlanul eljutottak a világ minden tájára. Maxim Tsvetovat hálózatkutató és kollégái a DeepMile Networks-nél ekkor úgy érezték, elérkezett az idő hogy Granovetter elméleteit a Twitteren is teszteljék. A továbbiakban ezt ismertetjük Tsvetovat és Kouznetsov Social Network Analysis for Startups című könyvének első fejezete alapján.

A Twitter aszinkron közösségi háló. Alapbeállítások mellett nem kell a másik fél jóváhagyása, hogy „kövessük”, de ez azt is jelenti, hogy a viszony nem kölcsönös, azaz nem köteles minket visszakövetni a másik. A Facebook-kal ellentétben a fiókok többsége nyilvános, tehát nem kell személyes ismeretség a kapcsolatok között. 2011 május 1-jén Sohaib Athar (@ReallyVirtual) abbottabadi informatikus az alábbi tweeteket tette közzé pár ezer követőjének:

Helicopter hovering above Abbottabad at 1AM (is a rare event).
— Sohaib Athar (@ReallyVirtual) May 1, 2011

A huge window shaking bang here in Abbottabad Cantt. I hope its not the start of something nasty :-S
— Sohaib Athar (@ReallyVirtual) May 1, 2011

Mint utóbb kiderült, ő közvetítette az Osamára bírt amerikai csapást:

Uh oh, now I'm the guy who liveblogged the Osama raid without knowing it.
— Sohaib Athar (@ReallyVirtual) May 2, 2011

A Tweetek nagyon gyorsan elterjedtek, pedig a @ReallyVirtual ekkor még a mai 63 ezernél nagyságrendekkel kevesebb követővel rendelkezett. Az egyiptomi forradalom során is hasonló módon egy akkor még átlagos követőszámmal bíró csiripelő, Wael Ghonim tweet-jei kapták a legtöbb újramegosztást (retweet). @Ghonim ekkor 80.000 követővel rendelkezett és minden tweetjére átlagosan 3200 reakció (retweet, említés, válasz) érkezett. Ugyanekkor Justin Bieber 7.5 millió követője 300 reakciót produkált a tinisztár egy-egy csiripelésére. Ezt szemlélteti Tsvetovat alábbi ábrája.

Ghonim követői gyenge kapcsolatok „sűrű” hálózatába szerveződnek, még Bieber hívei között még a gyenge kapcsolatok száma is gyenge. A kutatók ebből azt a következtetést vonták le, hogy Granovetter elmélete a közösségi médiára is alkalmazható; a gyenge kapcsolatok több információt közvetítenek, hiszen ezeken keresztül kerülhet be a „körön kívüli” információ. Minél sűrűbb ezeknek a kapcsolatoknak a hálózata, annál gyorsabban tud terjedni és lépi át egyre több ember küszöbértékét.

Mi ebből a tanulság?

A Twitter forradalmakról megállapíthatjuk, a propaganda eszközéről kapták nevüket. A közösségi média megkönnyíti az információ áramlását mivel sok lazán kapcsolódó sűrű hálózat alakul ki rajta. Ha szeretnénk, hogy az általunk közölni kívánt információ sok emberhez eljusson, érdemes kikutatni az erre legalkalmasabb utakat. Viszont ha koordinációra is szükségünk van, azaz valamilyen cselekvésre is szeretnénk rávenni a hálózat tagjait, akkor más eszközökre is szükségünk lesz. A Twitter mint propagandaeszköz mellett egyre elterjedtebbek az online közvetítést lehetővé tévő streaming szolgáltatások mint pl. a UStream és a jövőben érdemes lesz ezek szerepét is vizsgálni ilyen szemszögből. Addig is ajánljuk Kiss Dániel inkLink előadását, amiben szó esett arról, kik és hogyan használták a UStream-et hasonló helyzetekben.

Video streaming by Ustream

Összességében elmondható, hogy a közösségi média remek terep arra, hogy teszteljük elméleteinket, de nem helyettesíti az alapos kutatói és elemzői munkát.

Amikor egy adathibán nemzetek sorsa múlhat...

zoltanvarju — Mon, 13 May 2013 08:00:00 +0200

Az ún. evidence-based policy, azaz az evidencia alapú politikacsinálás egyre nagyobb teret hódít. A big data-nak köszönhetően már nem csak közszférában, hanem a vállalatirányításban is megjelent ez az irányzat. Míg a vállalatok esetében érthető, hogy nem teszik közkinccsé adataikat, a súlyos politikai döntéseket megalapozó kutatásokkal szemben ez alapvető elvárás kellene hogy legyen. Reinhart és Rogoff Growth in a Time of Debt tanulmányát az Egyesült Államokban és az EU-ban is előszerettel lobogtatták a szigorú megszorítások hívei, de Herndon, Ash és Pollin kimutatta, hogy komoly gondok vannak a vizsgálódás során használt táblázattal.

Az inkriminált tanulmány szerint az országoknak ügyelniük kell arra, hogy a GDP-hez viszonyított államadósságuk szintje ne haladja meg a kritikus 90%-ot. Ez az az határérték, melyet átlépve a gazdasági növekedés drámaian lecsökken. A The Economist összefoglalója szerint azonban:

A coding error in their Excel spreadsheet sliced several countries out of the data set. Several critical years of post-war data from New Zealand were left out, thereby omitting a time in which both its debt level and growth rate were high. And the authors reckon the Reinhart-Rogoff method of calculating average growth gave outsize weight to unrepresentative data points (including one year of abysmal New Zealand data). Taken together, the authors of the new paper reckon that average post-war growth above the 90% threshold ought to have been reported at 2.2% rather than -0.1%

Ennek tükrében jelentősen módosulnak az adatok. A The Economist ábrája remekül szemlélteti a "régi" és az "új" eredményeket.

Az eset alaposan felkavarta a kutatókat szerte a világban. Az Open Knowledge Foundation felhívta a figyelmet a nyílt adatok szükségességére a tudományban (és a tudományos eredményekre alapozott politikacsinálásban). De vannak akik szerint a nyílt tudomány felé tett lépések ellenére az ilyen hibák lehetősége "benne van a rendszerben" és a tudomány művelése során elkerülhetetlenek.

Nyári szakmai gyakorlati lehetőség a Precognox-nál

zoltanvarju — Fri, 10 May 2013 08:00:00 +0200

Kaposváron működő, innovatív informatikai fejlesztő cégünk szívesen biztosít gyakorlati helyet érdeklődő, környékbeli, elsősorban Óbudai Egyetem vagy BME mérnök informatikus, illetve ELTE programtervező informatikus hallgatók számára. A legjobban teljesítőknek hosszú távú munkalehetőséget biztosítunk.

Ha érdekel a lehetőség, már sikeresen túl leszel legalább négy féléven, és legalább 4 hétre tudsz jönni, bátran jelentkezz online.

Szezonzáró NLP Meetup

zoltanvarju — Thu, 09 May 2013 08:00:00 +0200

Május 22-én tartjuk szezonzáró meetupunkat 18 órától a Colabs-ben (Budapest, Irányi út 3). A részvétel ingyenes, de előzetes regisztrációhoz kötött.

Neticle Technologies - Méltányosság Politikaelemző Központ: Politikai véleményárfolyam

A Méltányosság Politikaelemző Központ és a Neticle Technologies egy itthon egyedülálló kutatást indított útjára, amely innovatív módszerekkel eddig ismeretlen szemszögből láttatja a hazai politikai folyamatokat. A Neticle Technologies saját fejlesztésű webes szöveganalízisére építve az MPK a fő politikai manőverek, taktikai lépések és a véleményalkotás összefüggéseire fókuszáló elemzéseket készít. Az elemzés nem csupán az internetes szféra véleményreflexióira világít rá, hanem feltárja a háttérben meghúzódó ok-okozati kapcsolatokat is. A májusi NLP meetupon az április havi történéseket vesszük górcső alá. (Az előadás elején kitérünk a módszertani kérdésekre is.)
Korábbi elemzések:
2013. február: http://meltanyossag.hu/node/3233
2013. március: http://meltanyossag.hu/node/3268

Méltányosság Politikaelemző Központ
A Méltányosság Politikaelemző Központ Magyarország első specifikus, a társadalmi és a politikai kohézió kutatására szakosodott agytrösztje, amely megőrzi és új tematikájában is alkalmazza a cég méltányos és elfogulatlan szemléletmódját.Agytrösztünk a politikában megszüntethetetlennek látja a konfliktust, nélkülözhetetlennek a konszenzust és pótolhatatlannak a kohéziót. E három fogalom mind alaposabb tudományos jellegű feltárására, egymáshoz való viszonyuk bemutatására, és az akadémiai jellegű kutatómunka mellett egy Magyarországon merőben újszerű kohéziós stratégia kimunkálása érdekében tevékenykedünk.

Netice Technologies
A Neticle-t egy fiatal szakértői csapat hozta létre azzal a céllal, hogy a jelenleg elérhető közösségi média és online sajtófigyelési szolgáltatásokon túlmutató támogatást kínáljon. Ennek eredménye egy olyan rendszer, ami közel valós időben, a webes véleményárfolyam kiszámításával tudja követni, hogy mi a véleménye a magyar webnek egy cégről, termékről, szolgáltatásról, vagy akár a versenytársakról.

Petykó Márton: Mit mond kognitív nyelvészet a blogokról?

Előadásomban bemutatom, hogy hogyan értelmezhető a diskurzustípus és a műfaj fogalma a kognitív pragmatika elméleti keretében. Ezt követően az előbbi fogalomértelmezéseket a gyakorlatban is alkalmazom a számítógép közvetítette kommunikáció egyik jellegzetes műfajának, a blognak a vizsgálata során. Áttekintem, hogy a blogok esetében melyek azok a műfaji jellemzők, amelyek minden példányra érvényesek, és melyek azok, amelyek a példányoknak csak egy bizonyos részére. Végül szót ejtek a spontán írott nyelv és a tervezett írott nyelv fogalmáról, valamint alkalmazhatóságáról a blog két megnyilatkozástípusának: a posztnak és a kommentnek a jellemzése során.

Petykó Márton az ELTE BTK Magyar nyelv és irodalom szakának végzős hallgatója beszédtudomány szakirányon. Emellett az MTA Nyelvtudományi Intézet Szótári Osztályának tudományos ügyintézője. Fő érdeklődési területe a számítógép közvetítette kommunikáció, valamint a nyelvhasználat és az identitásképzés viszonyának kognitív pragmatikai vizsgálata.

Tempfli Péter: Social media monitoring - Néhány gyakorlati kérdés

Az prezentáció bemutat néhány, a közösségi média figyelés napi gyakorlatában felmerülő problémát. Szólok az adatok megkereséséről és begyüjtéséről, a releváns kérdések megfogalmazásáról és az eredmények bemutatásáról. Szó fog esni arról, mit lehet és mit nem lehet mérni, illetve arról is, mikor érdemes mérni, mikor pedig más technikát választani. Végül, röviden bemutatom a Replise rendszert.

Tempfli Péter az ELTE BTK orosz szakán végzett, jelenleg a Budapest Corvinus Egyetem gazdasági informatika szakos hallgatója. Szociális méda elemző a Replise-nél, magyar, lengyel és orosz piacokkal foglalkozik.

House of Cards – tartalom és big data

zoltanvarju — Tue, 07 May 2013 12:00:00 +0200

A tartalomgyártásban már régóta jelen van a fogyasztói viselkedés és igény mérése. A szórakoztató lapok vetették be először a kérdőívezést, de ma már a komoly lapok is rendre végeznek felméréseket, hogy megismerjék olvasóikat. Míg az eladási statisztikák utólag árulnak el sokat a tartalomról, addig ezek a felmérések segítenek abban, hogy a fogyasztók számára kívánatosabb legyen a termék. A Netflix House of Cards sorozata azonban új szintre helyezte az ilyen felméréseket.

A The Hufftington Post az első olyan híroldal, ami intenzíven használja az A/B tesztelést arra, hogy megállapítsa mely címek és leader szövegek keltik fel jobban az olvasók érdeklődését. Az eljárás az utóbbi időben annyira elfogadottá vált, hogy olyan népszerű blog motorokhoz mint pl. a Wordpress is megjelentek az ezt lehetővé tevő bővítmények.

A New York Times nemrég jelentette be, hogy szerkesztőségi analitikai csoportot állít fel. A csoport célja, hogy a szerkesztőségnek segítsen jobban megérteni kik és hogyan fogyasztják a lapot, tehát, hogy hatással legyenek a tartalomra.

A Netflix tkp. egy online videótéka, csak éppen nem kikölcsönözik, hanem ún. streaming formájában, folyamatos internet kapcsolat mellett tekinthetik meg ügyfelei a filmeket. A cég így rengeteg adatot gyűjthet a felhasználókról; a megtekintés ideje, a megszakítások gyakorisága, hol hagynak abba egy filmet, hogyan néznek sorozatot az egyes korosztályok, mely témák érdekesek stb. Ennek szolgálatában a Netflix egy nagyon komoly analitikai architektúrát épített ki (a technológia iránt érdeklődők erről bővebben is olvashatnak itt).

A Netflix ezen adatokra alapozva vágott saját tartalom gyártásába. A lépés logikusnak tűnik, hiszen a cég alaposan ismeri saját piacát és költséghatékony megoldás kikerülni a televíziós és mozis piacot megcélzó gyártókat. Az irányt az Amazon is igyekszik követni. A nézők ezzel biztosan nyernek, hiszen a szolgáltatók szeretnék az ízlésüket minél jobban kiszolgálni. Kérdés mennyi tere marad így a kísérletező, újító alkotásoknak. (A Kontent blogon bővebben is olvashatsz a Netflix új sorozatáról és a big data alkalmazásáról.)

Gráfra fel - BarCamp előadás

kereso — Fri, 03 May 2013 12:00:00 +0200

Tegnap a Web 2.0 Symposium - BarCamp konferencián adtam elő Gráfra fel! címmel, arról hogyan változtatják meg a közösségi média legújabb fejlesztései a (mobil) keresést.

Gráfra fe barcamp_2013 from Zoltan Varju

A beágyazott videók sajnos nem érhetők el a slideshare-en, ezért érdemes a prezentációt letölteni ezen a linken. Az előadásban említett témákról az alábbi anyagokban többet is megtudhatsz:

Facebook Graph Search (Kerső Világ poszt)
Yandex Wonder - ami a Facebook Graph Search szeretne lenni (Kereső Világ poszt)
Google Knowledge Graph (Kereső Világ poszt)
E-kereskedelem (Kereső Világ poszt a Hunch taste graphról, a Walmart és az eBay fejlesztéseiről)
Interview with Hugo Liu taste researcher (A Hunch alapítójával a Számítógépes nyelvészet készített interjút)
Google Now - a gondolatolvasó (Kereső Világ poszt)
Giant Global Graph (Tim Berners-Lee írása)
Giant Global Graph (Wikipedia szócikk)

Gépkocsiba be!

zoltanvarju — Thu, 02 May 2013 08:00:00 +0200

Miközben mindenki arra tippel, mikor jelenik meg az Apple az autóiparban valahogy, a Nuance és a Google már öles léptekkel halad az úton. Ahogy arról már beszámoltunk, a Nuance megállapodott a Spotify-al és a Ford-dal és az autórádiók új generációját hozza hamarosan kereskedelmi forgalomban. A Google pedig a Volskwagen-nel működik együtt.

A Smileage az autózás élményét szeretné vegyíteni a közösségi média (jelen esetben a Google+) lehetőségeivel. Hogy mennyire jó ötlet a telefon használatára ösztönözni a vezetőket, azt döntse el mindenki saját maga. Az is lehet, hogy a kereső óriás már a jövőre gondol, amikor önvezérlő autóiban valamivel el kell majd ütnie az időt az utasoknak.

Az autonóm autók, igaz még szigorú szabályok által kötve, kísérleti jelleggel már megjelentek az Egyesült Államok útjain. A Google által támogatott Udacity egyik kurzusán pedig betekintést nyerhetünk a technológia alapjaiba is.

Hogy mikor vezethetünk ilyen csoda autókat, azt még az iparági szakértők sem tudják megmondani. A The Economist gépjárműipari melléklete szerint 2020 és 2040 között kerülhet sor a tömeggyártás beindítására. Azonban a technológia bizonyos elemeivel már ma is találkozhatunk a mindennapokban. Ilyen pl. a Ford vezetési asszisztense.

European buyers of the Ford Focus, a mid-sized car, can now leave it to drive itself and maintain a safe distance in steady traffic. The car can measure a parking space and steer itself into it. It reads road signs and admonishes the driver if he breaks the speed limit. Such gadgetry also increasingly makes decisions on the driver’s behalf and overrules him in an emergency, for instance, braking to avoid a crash. (Forrás)

A mobil technológia lehetőséget ad a telemetrikus (az autó műszaki állápotát, földrajzi helyzetét, sebességét stb. jellemző adatok) adatok figyelésére és megosztására. Sőt, a forgalomban lévő autók egymással is tudnak kommunikálni, elkerülve ezzel az emberek okozta veszélyes helyzeteket.

From next year cars sold by GM in the United States and Canada will come with fast 4G mobile broadband. Improved connections will also make it possible for cars to send hazard warnings to each other, to receive a constant stream of information on the traffic and weather ahead and even to interact with signals as they approach junctions.(Forrás)

A Nuance egyre nagyobb hangsúlyt fektet az autóiparra. A mobil kommunikációs eszközök hangvezérlése csupán egy szelete ennek. Az AutoNavi-val - Kína egyik vezető navigációs rendszer fejlesztője és elektronikus térkép szolgáltatója - kötött megállapodása jelzi, hogy a navigáció is egyre hangsúlyosabban jelenik meg a cég stratégiájában. A különféle gyártókkal kötött megállapodásokban általában a kényelmi funkciók hangvezérléséses irányítása szerepel, de a BMW tulajdonosok a hangvezérléses SMS küldést is választhatják opciónak. További információkat a cég autóipari oldalán találhatnak olvasóink.

A vezetés egyike azon kevés területnek, ahol természetesebbnek érezzük a hangvezérlést. Az asszisztív technológiák és az autonóm vezérlés is komplex, de egyszerűen kivitelezhető interakciót követel meg, amire a beszéd a legjobb. A jelenleg futó fejlesztések egy része még alapvetően kísérleti és nem tudjuk mikor kerülhetnek ezek felhasználásra. De reméljük nem kell túl sokáig várnunk és hamarosan mi is tesztelhetjük a technológia újdonságait!

LinkedIn: több tartalom, jobb kereső

zoltanvarju — Tue, 30 Apr 2013 12:00:00 +0200

A Facebook Graph Search keresőjét hatalmas médiazaj kísérte, annak ellenére, hogy jelenleg inkább ígéret mint ütős alkalmazás. Mindeközben a LinkedIn halkan megújította keresőjét és lépéseket tett a tartalomipar irányába is.

Most, hogy a Google bejelentette a Reader bezárását, egyre többen gondolkodnak el azon, hogyan is fogyasztunk híreket. Az egyik legkézenfekvőbb a közösségi média használata; azt olvassuk, amit ismerőseink megosztanak velünk. Az olyan startupok mint a Wavii és a Prismatic ezt kihasználva állítanak elő személyre szabott hírfolyamot. Mielőtt temetni kezdenénk a sajtót, vegyük észre, hogy a közösségi hírfolyam minősége nagyban függ attól, hogy akadnak-e olyan ismerőseink, akik olvasnak értelmes tartalmakat és veszik a fáradtságot arra, hogy ezt megosszák velünk. Az ilyen kemény fogyasztók nélkül félő, hogy cuki cicákról, kutyákról és babákról szólna minden megosztás... Persze a LinkedIn nem az a hely, ahol a haverokkal és rég nem látott ismerősökkel tartjuk a kapcsolatot. Ott, ahol szakmai életünket éljük, nincs helye a vicces fotóknak és bulvárhíreknek. A LinkedIn Today erre érzett rá és a releváns szakmai híreket összegyűjtve kínál nekünk olvasnivalót. Nem vagyunk rászorulva egy hírmániás ismerősre ahhoz, hogy releváns tartalmakat kapjunk. A Thought Leaders (vezető gondolkodók) lehetőséget ad arra, hogy egy-egy téma szakértőjének írásait is kövessük. (Érdemes a Médiablog írását elolvasni a LinkedIn saját tartalomgyártásáról.)

A Pulse hírolvasó alkalmazás megvásárlásával a LinkedIn okosan kikerüli egy másik fél megjelenését saját platformján. A LinkedIn-en található szakmai profilok jó alapot jelentenek egy ajánlórendszernek. Mivel egy szakmai közösségen belül általában releváns híreket illik megosztani, itt nem merül fel az időtöltésből posztolt tartalmak problémája sem. Az akvizícióval olyan funkcióval bővült a cég, amit ma már elvárnak a felhasználók, ugyanakkor sikerült ezt szervesen illeszteni a meglévő tartalomgyártáshoz és közösségi funkciókhoz.

A funkciók bővülése egyben a kezelőfelület komplexitását is növelte. A LinkedIn ma már nem csak egy szakmai közösségi oldal, hanem egyben információs portál is. Aki intenzíven használja a felületet, az egyre inkább elveszik a rázúduló információtól. Ezért kellett megújítani a LinkedIn keresőjét is.

Smarter LinkedIn Search from LinkedIn

A kereső egységesített lett, nem kell külön beállítani, hogy személyre, cégre vagy álláshirdetésre keresünk. Egy keresődobozba írjuk be a keresett kifejezést, majd az eredmények között végezhetünk egyszerűen szűréseket. Ezek mellett, olyan funkciók is megjelentek, melyek joggal elvárhatóak egy modern keresőtől:

automatikus kiegészítés - a kereső kifejezés begépelése közben felkínált kiegészítési lehetőségek
keresési ajánlások - a találati oldalon kapcsolódó keresések ajánlása
keresési szándék megértése - a rendszer az oldalon folytatott tevékenységünket tárolja, ez alapján megpróbálja egyértelműsíteni a kereséseket is (pl. ha valaki IT területen dolgozik és "project manager" kifejezésre keres rá, akkor a szakterülethez kapcsolódó projekt menedzseri állások előrébb rangsorolódnak)
haladó keresési funkció - jobban átlátható és kezelhető haladó funkciók
figyelmeztetések - a Google Alerts-hez hasonlóan egyes kereső kifejezéseket automatikusan monitoroz a rendszer és figyelmeztetést küld nekünk az új tartalmakról rendszeres időközönként

Az utóbbi időben egyre inkább teret nyer az a nézet, hogy a minőségi tartalom elengedhetetlen a felhasználók megszerzéséhez és megtartásához. A LinkedIn nem bízza a véletlenre és a felhasználókra a tartalom kialakítását, de teret enged a közösségi média lehetőségeinek. Persze a szakmai közösségi háló helyzeti előnyben is van, hiszen egyfajta enyhe nyomás nehezedik a felhasználókra, hogy ne osszanak meg olyan tartalmakat, melyek személyesek vagy nem relevánsak. Ugyanakkor a cég aktívan keresi a felhasználók igényeinek kiszolgálását és egyben alakítását is az üzleti modell szellemében. Reméljük a minőségi tartalomnak ebben tényleg nagy szerepe van és a LinkedIn követőkre talál.

A Google felvásárolta a Wavii-t

zoltanvarju — Mon, 29 Apr 2013 12:01:57 +0200

A Google sokáig próbálkozott, mire végül a Plus-szal nehezen, de betört a közösségi médiába. Ma már a Plus a Facebook mögött a második leglátogatottabb közösségi oldal, megelőzve ezzel a Twitter-t. A napokban a kereső óriás 30 millió dollárért felvásárolta a közösségi híraggregátor Wavii-t. A Google Reader hamarosan bezár, de a jelek szerint nem maradunk hírolvasó nélkül.

A dolog pikantériája, hogy a Wavii a Facebook megosztásokra alapozva generált személyre szabott hírfolyamot. Az akvizíció után az alkalmazás elérhetetlenné vált, akit érdekel miképp nézett ki, annak ajánljuk korábbi ismertetőnket.

Úgy tűnik, a közösségi hírolvasók kelendő portékák, a LinkedIn is mostanában vásárolta fel a Pulse-t.

Milyen is az internet nyelve?

zoltanvarju — Thu, 25 Apr 2013 08:00:00 +0200

Előző posztunkban arra kerestük a választ, milyen határai vannak egy internetes tartalmak elemzésére alapozott vizsgálatnak. Andrea nevű levélírónkat az érdekli, hogy az interneten megjelenő szövegek mennyire alkalmasak elemzésre.

Mennyire alkalmas az internetes nyelv arra, hogy azt elemezve következtetéseket vonjunk le? Egyrészt a tartalmak színvonala nagyon vegyes, a szépen, igényesen megírt elemző írások mellett ott van a sok igénytelen, nyelvileg primitív blogposzt, Facebook és Twitter "status update" stb. Nem kapunk így torz képet? A pletyka, a sok tartalmatlan csevegés és időtöltésből írt szöveg nem veszi el a figyelmet a komoly tartalmaktól?

A nyelvészektől gyakran kérdezik meg, hogy mondunk valamit helyesen. Ennél nagyobb tévedést nem követhet el senki! A nyelvészek nem írják elő hogyan kell beszélni vagy írni! Egy fizikus nem írja elő miképp gyorsuljanak a szabadon eső testek, hanem megfigyeléseket és kísérleteket végez, majd olyan elméletet alkot, ami leírja és megmagyarázza a látottakat, továbbá előrejelzéseket tesz. A nyelvészet is tudomány, s így egy nyelvész a fizikusokhoz hasonlóan megfigyel és elméletet alkot. A tudomány deskriptív, azaz leíró, nem pedig preskriptív azaz előíró. A témában érdemes a Nyelv és Tudomány Kálmán Lászlóval és Kis Tamással készített interjúit elolvasni.

Érdemes elgondolkodni azon, hogy a közösségi média megjelenése "torzítja"-e a megjelenő tartalmakat. Az emberiséget történelme során egy dolog biztosan jellemezte, beszélt. Az írás viszonylag késői invenció, hiszen a modern ember kb. 200 000 éve alakult ki, az írás csak i.e. 3200 táján jelent meg Mezopotámiában, de a 19. századi kötelező iskolai oktatás elterjedéséig igazán nem terjedt túl egy szűk elit határain. McLuhan szerint a nyomtatás megjelenése radikális változásokat indított be, a nyomtatott könyv szélesebb réteg számára is elérhetővé tette a szépen megformált szövegek világát, kialakult az írásos, individualizált, tudományos, felvilágosult nyugati kultúra. De pont ez a kultúra hozta el a tömegkommunikáció korát, amiben a távolságok eltűntek, a kommunikáció felgyorsult, ma már a felvilágosodásra jellemző emelkedett tudományos levelek eltűntek, ezek helyett csevegünk, akár a világ túlsó felén élő ismerősökkel (vagy ismeretlenekkel).

A tömegkommunikáció, habár alapvetően írásos formában zajlik az interneten, más, mint a nyomtatott szöveg. Ong (aki McLuhan tanítványa volt) vezette be a másodlagos oralitás fogalmát. Az ilyen kommunikáció hiába írásos, alapvetően a beszélt nyelv jellemzőivel rendelkezik, azaz spontán, folyamatos, s így telis-tele van "hibákkal". Fontos megjegyezni, hogy a másodlagos jelző nem hordoz értékítéletet, csupán arra utal, hogy a beszélt nyelvet más közegben alkalmazzuk, ami nem a természetes adottságunk (szemben a spontán beszéddel, azaz az elsődleges használattal).

A szakirodalomban nincs megegyezés arról, hány százaléka spontán beszéd vagy másodlagos oralitás a mindennapi nyelvhasználatnak és mekkora a formális szövegek alkotásának és fogyasztásának aránya. Abban viszont egyetértés mutatkozik, hogy nagyságrendekkel nagyobb a spontán nyelvhasználat aránya. Ha a nyelven keresztül vizsgáljuk az emberi viselkedést, akkor bizonyosan nagy hiba kihagyni ennek legelemibb és leggyakoribb megnyilatkozásait. De tartalmukban mit árulhatnak el ezek?

Aszociolingvisztika (a nyelvészet azon ága, mely a nyelvet társadalmi vonatkozásaival együtt vizsgálja) megerősít minket abban, hogy még a jelentéktelennek tartott megnyilatkozások mögött is érdekes jelenségek bújhatnak meg. Bourdieu mutatta ki, hogy a nyelvi megnyilatkozásokban megmutatkoznak a társadalmi folyamatok. A politikai, gazdasági és kulturális hatások minden szinten leképeződnek, nem csak az értelmiség és a média nyelvhasználatában.

Összességében tehát elmondhatjuk, ha több forrást is vizsgálunk, azzal nem rosszabb, hanem jobb képet kaphatunk. A problémát nem a nyelvi adatok reprezentativitása jelenti, hanem a jelenleg rendelkezésünkre álló módszerek határai, melyről következő írásunkban fogunk pár szót ejteni.

Párhuzamos világok - az online vizsgálódások határai

zoltanvarju — Tue, 23 Apr 2013 12:00:00 +0200

A társadalomtudományokkal foglalkozó posztjaink kapcsán (első és második rész) olvasóinkban felmerült pár kérdés, ezekből kettő tipikus levelet kiválasztottunk és két részben igyekszünk megválaszolni a héten. Sarolta nevű levélírónk kérdésével kezdjük:

Mennyire tekinthető valid következtetéseknek azok, amelyekhez online vizsgálatok során jutunk? Például a blogotokon is bemutatott Neticle BUX-indexet vizsgálva egész jó eredményeket hoz, de mennyire tekinthető reprezentatívnak pl a politikai véleményárfolyam indexük? És ha tovább megyek, mennyire tekinthető reprezentatívnak a posztotokban bemutatott arab tavaszt vizsgáló kutatás?

Rövid válaszunk az lenne, hogy jó okunk van azt feltételezni, hogy bizonyos mértékben az online világ leképezi a valóságot. Ezt nem csak azért mondjuk mert emberek kreálják az internetes tartalmakat, hanem mert sokszor figyelhetjük meg, hogy bizonyos jelenségek együtt járnak. Az együttes előfordulás azonban csak közvetett bizonyíték, ezért minden kutatást egészséges szkepticizmussal kell fogadni.

A levélben említett Neticle a webes tartalmak polaritását méri, azaz sentiment elemzést (sentiment analysis) végez. Ehhez a közösségi média bejegyzéseit, újságcikkeket, blogposztokat stb. vizsgál végig automatikusan, melynek az eredménye egy szám, ami kifejezi, hogy az összes bejegyzés alapján mennyire pozitív vagy negatív az interneten megjelenő vélemény egy-egy témában (ami lehet a BUX-indexben szereplő cégek listája, egy étterem, egy politikus, egy cég stb.) Ahogy az alábbi videón is látható, a tőzsdeindex szépen együtt mozog a véleményárfolyammal. Habár nem közöltek korrelációs értéket, az ábrákon látható, hogy az minden bizonnyal magas lehet. De még ekkor is joggal mondhatjuk, a korreláció még nem jelent oksági kapcsolatot (correlation is not causation).

Video streaming by Ustream

A társadalomtudományokban nagyon nehéz erős oksági kapcsolatot találni. A különféle felmérések esetében szoktuk hallani, hogy "reprezentatív mintán" végezték el az adatfelvételt és bizonyos "hibahatáron belül" kell érteni a kapott eredményeket. Internetes kérdőívezés esetén szokás felhívni a figyelmet arra, hogy az internetezők demográfiai adatai jelentősen eltérnek a teljes népesség jellemzőitől (pl. kevés nyugdíjas netezik, talán még kevesebb tölt ki online kérdőíveket is). A tartalomelemzések kapcsán is érdemes figyelembe venni ezeket a tényezőket és óvatosan kezelni a levont következtetéseket.

Ugyanakkor nem mehetünk el a tény mellett, hogy sok esetben a társadalomban megfigyelt jelenségekkel analóg folyamatok figyelhetők meg az online világban is. Idő és hely szűkében három példára, a filter bubble jelenségre, az internetes divat terjedésére és közösségi gráfokra szorítkozunk most.

Blogunkon már többször foglalkoztunk a filter bubble jelenséggel. A közösségi média megjelenésével egyre inkább perszonalizálhatjuk a webet. A Facebook nyomon követi milyen tartalmak érdekelnek minket és azokat sokkal nagyobb valószínűséggel jeleníti meg hírfolyamunkban, a Google "emlékszik" keresési előzményeinkre és azok alapján szolgálja fel nekünk a találatokat. A "plusszolásokkal" és lájkokkal ezt tovább erősítjük és személyes preferenciáinkkal egy olyan burkot alakíthatunk ki magunk körül, melyen nem juthat át egy nekünk nem tetsző vélemény. Eli Pariser szerint ez ahhoz vezet, hogy pl. egy liberális előbb-utóbb nem értesül a konzervatív véleményekről egy-egy ügy kapcsán.

Thomas Schelling mutatott rá, hogy még akkor is előfordul bizonyos szegregáció a társadalomban, ha amúgy minden polgár az egyenjogúság híve. Ha mindenki véletlenszerűen választ lakhelyet, akkor vegyes képet kapunk (a fenti ábra bal oldala mutatja ezt a helyzetet). Ha véletlenszerűen kiválasztunk néhány lakót és megcseréljük a helyzetüket, már az is ahhoz vezet, hogy homogén szigetek keletkeznek (az ábra jobb oldala mutatja ezt a helyzetet). Ha csak egy kicsit változtatunk a kiindulási feltételeken és csak annyit mondunk, hogy a hasonló lakók a hozzájuk hasonló szomszédokat preferálják egy kicsit jobban, már akkor jelentősen megugrik a szegregáció. Bill Bishop The Big Sort című könyvében mutatja be, hogy az Egyesült Államokban egyfajta politikai szegregáció zajlik le és politikai nézetek szerint egyre homogénebb területek alakulnak ki (l. a bekezdés utáni ábrákat). Ez a folyamat nem csak az Új- hanem az Óvilágra is jellemző (l. pl. a The Economist cikkét az Egyesült Királyságban zajló hasonló folyamatokról).

A közösségi média elemzése során talán a legtöbbet idézett (és a leggyakrabban újra felfedezett) matematikai szociológus Mark Granovetter. Thresold Models of Collective Behavior (A kollektív cselekvés küszöbérték modelljei) című 1978-as tanulmányában arra kereste a választ, hogy mikor ér el egy adott viselkedési forma olyan kritikus tömeget egy közösségben, ami már visszavonhatatlan változásokat generál. Pl. egy tüntetési hullám mikor csaphat át forradalomba?

A fenti ábra is szemlélteti, hogy ha minden résztvevőnek más preferenciái vannak, csak akkor csatlakozik, ha bizonyos számú embertől már látja az adott viselkedést. Így először nagyon lassan növekszik a résztvevők száma, majd egy ponton robbanásszerű növekedés következik be, majd ismét lassú növekedés, végül pedig hanyatlás jön. Granovetter modellje remekül alkalmazható a forradalmakon kívüli társadalmi jelenségekre, pl. a divatra, eszmeáramlatokra, de a hírek és pletyka terjedésére is. Az online világban a hírek, rémhírek és mémek terjedésének vizsgálatára szokták alkalmazni a modellt.

A küszöbérték modell az innovációk térnyerésének modellezésére is alkalmas. A The Strenght of Weak Ties (A gyenge kapcsolatok erőssége) című tanulmányában Granovetter arra hívja fel a figyelmet, hogy bizonyos közösségeket elhagyók, akik azután máshol alakítanak ki kapcsolatokat, egyfajta hidat képeznek és segítik a két elkülönülő közösség közötti kapcsolatok kiépítését. Acemogul, Ozdaglar és Yildiz tanulmányában megmutatta, hogy az innováció elterjedésében is komoly szerepe lehet ilyen hidaknak és az eltérő küszöbértékek optimalizálásban is. Hasonló elemzésekre támaszkodott pl. az Obama kampány stábja, amikor adományokat gyűjtött. Ennek során igyekeztek elérni azokat a "hidakat", akik egy-egy alulreprezentált csoportot is megszólíthattak.

Saroltát tehát nem nyugtathatjuk meg teljesen, de annyit mindenképpen elmondhatunk jó okkal gondoljuk úgy, hogy valamennyire érvényes következtetéseket vonhatunk le az online világ elemzéséből.

The Revolution Will Not Be Televised

zoltanvarju — Thu, 18 Apr 2013 07:12:05 +0200

"The revolution will not be televised, will not be televised,

will not be televised, will not be televised.

The revolution will be no re-run brothers;

The revolution will be live."

(Gil Scott Heron: The Revolution Will Not Be Televised)

Az arab tavasz, az M5S választási sikere, a szír felkelés eseményeiről tudósító Syria Deeply arra utal, hogy a közösségi média a változások katalizátora lehet. Nem véletlen, hogy kialakult egy új tudományág, a számítógépes társadalomtudomány (computational social science) ami az internet nyújtotta lehetőségeket kihasználva próbálja feltérképezni a társadalmat mozgató erőket.

Szkeptikus hangok

Jevgenyi Morozov Belorussziában született és nőtt fel, volt alkalma megismerni Lukasenka, Európa utolsó diktátorának elnyomó rendszerét. Morozov szerint az internet nem hozza el a korlátlan szabadságot, hiszen egyszerre nyújtja a globális kommunikáció lehetőségét a felhasználóknak és totális megfigyelés elérhetőségét az államoknak (és cégeknek stb.) A közösségi média szerepét is kétségbe vonja a társadalmi változásokban. A The Economist China and the Internet melléklete nagyon részletesen mutatja be, hogy a kommunista állam milyen módszerekkel tartja kontroll alatt netező polgárait. Az Aranypajzs (más néven Nagy Tűzfal) kifinomult technikái, a szorgos cenzorok és az öncenzúra kényesen ügyel arra, hogy milyen információ kerülhet nyilvánosságra. A nagy hírek rendre fennakadnak a tűzfalon, de akadnak olyan dolgok (pl. légszennyezés, alacsonyabb rangú pártkatonák és hivatalnokok mocskos ügyei stb.) melyek felszínre kerülhetnek. Mindezek ellenére a leghíresebb kínai blogger Han Han kétségbe vonja a közösségi média forradalmi erejét:

“You feel everyone’s really angry, you feel like you could go open the window and you would see protesters on the street,” Mr Han said. “But once you open the window, you realise that there’s nothing there at all.” Microblogging, he said, encouraged people to tune into a big story briefly, almost as entertainment, until the next big story comes along. It did not bring about “any real change or progress”. (forrás)

Szürke tények

A társadalomtudományokban a nyolcvanas években jelent meg a statisztikai tartalomelemzés, ami tkp. egyes szövegek statisztikai vizsgálatát jelentette sokáig (szógyakoriság szövegen belül ill. eltérések egyes szövegek között). A kilencvenes és kétezres évekre a technológia és a számítógépes nyelvészet fejlődése lehetővé tette sokkal szofisztikáltabb eljárások alkalmazását is. Ilyenek például az ún. topik modellek vagy LDA (egy adott dokumentumhalmaz csoportosítása témák szerint) és az entitáskinyerő-eszközök (named entity recognition - névvel rendelkező entitások automatikus felismerése). Ezzel párhuzamosan az internet elterjedésével hatalmas mennyiségű szöveges információ keletkezett.

A tartalomelemzés egyik úttörője Gray King (Harvard, Department of Government). King és társai kimutatták, hogy a kínai mikroblogokról a kollektív cselekvésre buzdító bejegyzéseket törlik a hatóságok. Így az internet egy amolyan szelep, ahol a polgárok kiereszthetik dühüket, de a cenzorok kényesen ügyelnek arra, hogy ezt ne kövesse tényleges cselekvés a való világban.

Rich Nielsen a Harvard Department of Goverment PhD hallgatója azt vizsgálja miért válnak radikálissá egyes muszlim vallás- és jogtudósok (ulema). Még nem publikált, de már elérhető tanulmánya a Jihadi Radicalization of Muslim Clerics remek példa arra, hogyan alkalmazható a számítógépes nyelvészet a társadalomtudományi tartalomelemzésben. Az interneten elérhető, ulemák által írt szövegek tartalomelemzésével állapította meg, hogy mely írások radikálisak és melyek nem. Majd megvizsgálta a szerzők társadalmi beágyazottságát és azt találta, hogy azok radikalizálódnak leginkább, akik kevésbé beágyazottak a vallási vezetők közösségébe. (Bővebben a kutatásról a The Economiston)

Trey Causey a University of Washington PhD hallgatója az autoriter államok médiáit vizsgálja empirikus alapon. Disszertációjában a 2010 és 2011 közötti arab médiában megjelent híreket elemzi és arra kíváncsi, hogy a hírekkel miképp próbáltak hatni a forradalmi eseményeket szemlélőkre. Talán nem meglepő, hogy az eredmények szerint az állami médiák inkább a "felforgató" tevékenységre hívták fel a figyelmet, míg a civil és független médiák foglalkoztak inkább az elnyomó rendszerek viselt dolgaival. Annál érdekesebb, hogy arra a következtetésre jut, hogy az autokraták célja egy olyan egyensúlyi állapot megtalálása, ami még kellő információval látja el a lakosságot, ahhoz hogy ne bénuljon le az élet, de nem éri el azt a kritikus tömeget, hogy tényleges akciót idézzen elő. Han Han biztosan egyetért Causey-val.

Optimista kívülállók

Az új technológia lehetőségei a számítástudomány és egyéb "kemény", matematizált tudományok művelőt is megihlették. Egyre több cég (köztük olyan nagyok mint a Microsoft, Facebook, Yahoo!) nyit külön "computational social science" részleget és fog bele társadalmi kérdések vizsgálatába. Oboler, Welsh és Cruz felhívta a figyelmet arra, hogy a közösségi oldalak vagy akár egy jó indikátor (pl. mobiltelefonok) vizsgálata önmagában semmit sem ér. Minden elemzéshez ismerni kell azt a kontextust, amiben a megfigyelt jelenségek történnek - ehhez pedig jó társadalomtudományi háttér szükségeltetik. A Nature egyik cikke is óvatosságra int. Az adatok sok dologra megtaníthatnak minket,de nem helyettesíthetik az elméleteket. Granovetter a hetvenes években egyszerűen kiokoskodta az ún. "gyenge kapcsolatok" elméletét, amit felhasználva közvetlenül tudott adatokat gyűjteni. Ezt a régóta közismert elméletet az utóbbi években sok "tudós" újra felfedezte a közösségi hálózatok elemzése során...

Bővebben

What Facebook Knows

Manifesto of computational social science (PDF)

Adatújságírás - vissza a gyökerekhez

Társadalmi kísérletek és big data

zoltanvarju — Tue, 16 Apr 2013 12:00:00 +0200

A közösségi médiának nagy jelentőséget tulajdonítanak mind a 2008-as, mind a 2012-es Obama kampányban. Számtalanszor megírták, hogy külön adatcsapat dolgozott a választási hadjárat során, de hogyan jutottak el az adatok elemzésétől a választók megszólításáig és hogyan vették rá őket a szavazásra? A győzelem bejelentése után készült tweet - ami lakonikusan jelentette be, hogy "Four more years" (azaz még négy év) egy képpel, melyen Obama nejét öleli át - lett minden idők legtöbbet megosztott közösségi média státusz frissítése, amiben az új eszközök diadalát látják sokan. Azonban ha mélyebbre nézünk, láthatjuk sokkal összetettebb dologról van szó, ami a társadalom- és viselkedéstudományok kísérleti módszereit ötvözi a nagy adatok (big data) elemzésével és az evidencia alapú politikacsinálással (evidence-based policy).

Four more years. twitter.com/BarackObama/st…
— Barack Obama (@BarackObama) November 7, 2012

A kísérleti módszer

A természettudományokban bevett módszer megismételhető kísérletekre alapozni egy elméletet. Galilei híres kísérleteit többször is elvégezte, s ezzel bizonyította, hogy a lehulló testek sebessége független súlyuktól. A mai napig iskolások ezrei végzik ezt el és tanulják meg az összefüggést. A viselkedéstudományokban (pl. pszichológia, kognitív tudomány, szociálpszichológia, nyelvészet stb.) nem ilyen egyszerű kísérleteket végezni. A legenda szerint I. Pszammetikosz fáraó tudni szerette volna, melyik a legősibb nyelv, ezért arra utasította szolgáit, hogy két gyermeket minden emberi érintkezéstől elzárva neveljenek fel és figyeljék, milyen nyelven szólalnak először meg, ami állítólag a fríg volt végül (bővebben). Hasonló kísérleteket etikai megfontolások miatt nem végezhetünk, amikor az emberi viselkedést kutatjuk. Ezek helyett olyan módszerekkel élnek a kutatók, melyek megbízhatóan utalnak egy inger viselkedésre gyakorolt hatására, mint pl. a habituáció, azaz a megszokás. Pl. a gyermekek beszédhang megkülönböztető képességét szokták így vizsgálni. Ha egy adott hang meg van a gyermek nyelvében, azt folyamatosan lejátszva habituálódik hozzá. Ha egy idő után egy másik nagyon hasonló hangot játszunk le neki, akkor vagy nem veszi észre ezt a gyermek és nem változtat viselkedésén, vagy felfigyel erre és másképp viselkedik, így közvetett bizonyítékot tudunk szerezni.

A társadalomtudományokban még nehezebb a helyzet. Hogyan lehetne eldönteni, hogy X gazdaságpolitika jobb-e, mint Y? Vegyünk két ugyanolyan társadalmat és egyikben X, másikban Y politikát vezessük be. Az a gazdaságpolitika jobb, amelyik nagyobb jóléthez vezet ötven év múltán. Persze sokan úgy érzik, mindannyian egy-egy ilyen kísérlet részesei vagyunk, de belátható, a gyakorlatban kivitelezhetetlenek az ilyen kísérletek. Ehelyett a társadalomtudósok matematikai modelleket használnak és a múltbeli adatokból próbálnak következtetéseket levonni, vagy a jelenben felvett adatokból tippelik meg a jövőt. Ilyenkor a megfigyelésekre támaszkodnak és nagyon nehéz oksági kapcsolatokat feltételezni, mivel nem kontrollálhatják a vizsgálat körülményeit.

Get Out the Vote

Wermer András, a magyar politikai marketing egyik atyja, híres mondása szerint a politika is olyan, mint a mosópor; el kell adni. Nem meglepő, hogy demokratikus államokban nagyon hamar elkezdték alkalmazni a modern marketing eszközeit a választók meggyőzésére és mozgósítására. A mondás szerint a marketing költségek fele kidobott pénz, csak nem tudjuk, hogy melyik fele. De talán ez nem teljesen igaz.

A legegyszerűbb politikai marketing eszköz a direkt megkeresés (levél, e-mail, telefonhívás stb.) Ennek hatékonysága rendszerint nagyon alacsony, viszont alkalmazásával olcsón, sok embert elérhetnek hirdetők. Továbbá lehetőséget biztosítanak arra, hogy ún. A/B tesztelés keretében vizsgáljuk meg, milyen formátum a leghatékonyabb. Az eljárás lényege az online marketing szótár szerint "Klasszikus megoldás: készítünk kétféle kreatív anyagot és fogunk két random mintát, és egyiknek az egyik üzenetet, másiknak a másik üzenetet küldjük ki. Megnézzük melyik hatékonyabb, majd ezt követően a teljes listára már a hatékonyabb verziót küldjük ki."

A politikai döntés azonban nem csak egy márka kiválasztása, hanem sok esetben egy döntési aktus is (gondoljunk pl. a különböző helyi, vagy hazánk NATO csatlakozásról tartott népszavazására). Hogyan lehet mozgósítani a szavazókat? Hogyan lehet rávenni őket arra, hogy végiggondolják magukban a döntést és leadják voksukat? Hogyan lehet elérni, hogy egy ügydöntő népszavazás előtt a polgárok meghallgassák a pro és kontra érveket?

Harold Foote Gosnell a múlt század húszas éveiben Chicagoban kezdte meg empirikus kísérleteit. Alaposan tanulmányozta a város demográfiai adatait és többé-kevésbé hasonló körzeteket sikerült azonosítania. Így lehetősége nyílt arra, hogy ezek között végezhessen összehasonlító vizsgálatokat. Az A/B teszteléshez hasonlóan a demográfiailag hasonló kerületekben különböző csoportokat (nők, kisebbségek, bevándorlók stb.) más-más módszerrel szólított meg, hogy politikai cselekvésre (pl. szavazói regisztráció, részvétel politikai gyűlésen stb.) bírja tagjaikat.

Donald P. Green és Alan S. Gerber vitte tökélyre Gosnell empirikus kutatásait. Módszerük lényege, hogy ún. randomizált, kontrollált terepkísérletezést (randomized controlled field experiment) bevezették a politikatudományba. Az ilyen kísérletekben hús-vér hétköznapi emberek valós viselkedését vizsgálják. Egyik kísérletükben engedélyt kaptak New Haven városától, hogy a területrendezési tervek megszavazása előtt tartott összejöveteleket használják fel adatgyűjtésre. Green és Gerber számára az volt a fő kérdés, hogy miképp vehetőek rá a passzív polgárok arra, hogy elmenjenek szavazni. Mi bír nagyobb mozgósítóerővel, ha felszólítjuk őket éljenek állampolgári kötelességükkel, vagy ha tudomásukra adjuk, hogy szomszédjuk már élt jogaival? A választói jegyzéket használva véletlenszerűen rendelték az egyes embereket csoportokba, akiket aztán más-más módszerrel próbáltak aktivitásra bírni. Érdekes módon azt találták, hogy a legjobb módszer az enyhe nyomásgyakorlás, mint pl. felhívni a választó figyelmét arra, hogy szomszédja jó polgár volt és élt jogaival. Green, Gerber és tanítványaik rengeteg hasonló kísérletet végeztek azóta. Az úttörők a Get Out the Vote-ban összegezték eredményeiket a nagyközönség számára.

A győzelem laboratóriuma

A nyolcvanas évektől a politikai marketingbe is betört a számítástechnika és a számítógépes adatelemzés. Mivel egy demokráciában szinte folyamatosan vannak választások (pl. hazánkban az EP választások általában a parlamenti ciklus közepére esnek, az önkormányzati és az országgyűlési választások között pár hónap szokott eltelni, továbbá lemondások, halálozások stb. miatt rendszeresek az időközi referendumok) sok alkalom adódik a kísérletezésre. A marketing anyagok A/B tesztelését nagyon gyorsan tökéletesítették a szakemberek, de valahogy elégedetlenek voltak azzal, hogy minden kiküldött száz levél eredménye csak egy-két mozgósított ember lett. A politikai hirdetések hatékonyságának mérése, az aktivisták agitálásának eredményessége sokáig nyitott kérdés maradt.

A kilencvenes években a mobilkommunikáció, az internet és a kábeltelevíziós hálózatok fejlődése azonban fordulópontot jelentett. Az aktivisták folyamatosan jelenthették mobiltelefonon tevékenységüket a kampányközpontoknak ahonnét aztán az adatok fényében a legmegfelelőbb helyre irányíthatták őket. Az internet megjelenése egyben az online marketing elterjedését is magával hozta és egyet jelentett a valós idejű analitika megszületésével. Az online és televíziós hirdetések körében megjelent a lokalizálhatóság. Így pl. egy adott város nyugdíjasok által preferált kerületében más reklámot vethetnek be, mint a fiatal egyedülállók által lakott részeken.

A közösségi média tkp. nem a bevett módszert változtatta meg, hanem lehetőséget adott arra, hogy még jobban beleláthassanak az elemzők a kampányba. A választói névjegyzéket összekapcsolhatták Facebook profilokkal, ezzel láthatóvá vált kiket érnek el az elkötelezett támogatók. Lehetőség nyílt a reklámokkal kapcsolatos lakossági vélemények monitorozására (pl. a blogunkon már bemutatott Bluefin Labs-hez hasonló megoldásokkal) megvizsgálhatták kik az internetes véleményvezérek, kiket érnek el az aktivisták stb. A kezdeti egyszerű névjegyzékek és demográfiai adatok hirtelen kiegészültek sok-sok más adattal és megjelent a big data a politikában. Sasha Issenberg The Victory Lab: The Secret Science of Winnig Campaigns könyve olvasmányosan foglalja össze ezt a folyamatot.

Evidencia alapú, racionális politika

Az olyan mozgalmak mint az olasz M5S, vagy a racionálisak lázadása az Egyesült Államokban azt mutatják, hogy a hagyományos pártpolitikáról egyre inkább egyes ügyekre helyeződik át a hangsúly. Itt nagy szerepe van az ún. evidencia alapú politikacsinálásnak, azaz az empirikus felméréseken alapuló, hatástanulmányokkal alátámasztott döntéseknek. Ezek kapcsán egyre gyakrabban halljuk a pilot project, azaz a próba, vagy kísérleti projekt terminust. Ez annyit tesz, hogy egy-egy megoldást kicsiben tesztelnek először. Például csak bizonyos iskolákban vezetnek be egy új pedagógiai módszert, majd folyamatosan gyűjtik az adatokat és összevetik a "hagyományos" és az új eljárás eredményeit. A pilot végén jó esetben kellő mennyiségű és minőségű adat áll rendelkezésre a döntéshez.

Napjainkban a polgároknak egyre több dologban kell dönteniük, amibe - legalábbis jelenleg - egyre nehezebb bevonni őket. A választók informálásában és aktivizálásában egyre nagyobb szerepe van az információtechnológiának. A kísérleti módszer lehet a befolyásolás és a politikai marketing eszköze, de az aktív állampolgárság és a részvételi demokrácia egyik pillére is.

Bővebben:

A More Perfect Union: How President Obama’s campaign used big data to rally individual voters, Part I.

A More Perfect Union: How President Obama’s campaign used big data to rally individual voters Part II.

A More Perfect Union: How President Obama’s campaign used big data to rally individual voters Part III.

Adatújságírás - vissza a gyökerekhez

A Precognox csatlakozott a LinguaPark Klaszterhez

zoltanvarju — Wed, 10 Apr 2013 08:00:00 +0200

A Precognox csatlakozott a LinguaPark Klaszterhez, mely fordítással, nyelv- és fordítástechnológiával, valamint kommunikációval foglalkozó vállalkozásokat és intézményeket fog össze. Cégünk nagyon büszke, hogy egy az Európai Unió által kiemelt szakterület prominens kutatóhelyeivel és cégeivel működhet együtt a jövőben.

Adatújságírás – csináld magad

zoltanvarju — Tue, 09 Apr 2013 12:00:00 +0200

Adatújságírásról szóló sorozatunk és az inkLink után sokakban merült fel, hogy miképp is vághatnának bele az adatújságírásba és/vagy adatelemzésbe. A legtöbb érdeklődőt az rettenti el, hogy azt hiszik, egyszerre kell programozóvá és statisztikussá válniuk. Ez azonban nem igaz! Az adatújságírás műveléséhez nincs szükség statisztikai képzettséghez és/vagy programozói diplomára. Simon Rogers, a The Guardian Datablog főszerkesztője szerint az adatújságírás az új punk mozgalom; mindenki művelheti. Alapvetően két fő összetevője van egy jó projektnek, adatok és egy eszköz ami segít az adatok mögé látni.

School of Data

Az Open Knowledge Foundation nemrég indította útjára a School of Data portált, ami rövid és mindenki számára érthető leckékben foglalja össze az alapokat, kezdve az adatok begyűjtésével és kitisztításával az összetettebb elemzésekig. Egy kis angoltudáson és egy elfogadható számítógépen és internetkapcsolaton kívül más nem is kell az alapok elsajátításához.

Adatelemző eszközök

Olyan ingyenesen használható eszközöket sorolunk fel, melyek általános digitális írástudáson kívül nem igényelnek más háttértudást.

Google Fusion Tables - A Fusion Tables erőssége, hogy a Google Maps-en is könnyen megjeleníthetjük adatainkat segítségével.
Tableau Public - A Fusion Tables-hez hasonló, de talán szebb megoldásokat produkáló eszköz. Az ingyenes változata is remekül használható, de lehetőség van előfizetni a szolgáltatásra ami sok bónusz eszközzel jár.
Google Spreadsheets - A megszokott táblázatkezelőkhöz hasonló eszköz, használatával egyszerű grafikonokat készíthetünk.
DataMarket - Sok adatot érhetünk el a DataMarket-en, ezek jelentős része ingyenes. Az adatokat rögtön meg is jeleníti a beépített ábrázoló eszköz.
ManyEyes - Az első ingyenesen elérhető vizualizációs eszköz előnye, hogy sok felhasználó adatait és vizualizációit is böngészhetjük.

Hol az adat?

Nehéz felsorolni az összes adatforrást, de az alábbi helyek jó indulópontok.

KSH - A Központi Statisztikai Hivatal oldalain rengeteg magyar vonatkozású adatot érhetünk el.
Eurostat - Az EU szervezetei és a tagállamok statisztikai hivatalai egyaránt jelentenek a Eurostat-nak, így érdemes itt kezdeni a keresést, ha európai viszonylatban vagyunk kíváncsiak valamire.
IMF - a Valutaalap nagyon jó pénzügyi és gazdasági statisztikákkal rendelkezik.
ENSZ adatbank - Az ENSZ szervezeteinek adatait tartalmazó adatbank.
DataMarket - részben ingyenes adatok is találhatók az oldalon. Nagy előnye, hogy egy helyen gyűjt össze különböző forrásokat.

Adat piac sorozatunkban bemutattuk a (részben) fizetős adatforrásokat is.

Adat piac 1. rész - a Data Market és az InfoChimps bemutatása.
Adat piac 2. rész - a Factual és az uberlic bemutatása.
Adat piac 3. rész - a Kasabi és linked data adatforrások bemutatása.

További olvasnivalók:

Simon Roger: Facts are Sacred - ez a rövid Kindle Single összefoglalja az adatújságírás történetét, bemutatja napjaink módszereit és eszközeit a legizgalmasabb kurrens projekteken keresztül. A Számítógépes nyelvészeten részletesen is ismertettük a kötetet.
Simon Rogers: Anyone can do it. Data journalism is the new punk
Simon Rogers: Data visualization DIY: our top tools

inkLink 2013 - részletes program

zoltanvarju — Thu, 04 Apr 2013 09:27:44 +0200

Április 6-án (most szombaton) kerül megrendezésre az inkLink 2013, az első magyar adatújságírás-nap és hackday. Regisztrálni az eventbrite-on lehet - aki nem engedheti meg magának hogy támogatói jegyet vegyen, az kérjük jelezze részvételi szándékát a szervezőknek (a zoltan.varju(kukac)gmail.com címen) és értesítjük, ha felszabadul egy hely. A program:

Szombaton rendhagyó NLP Meetup-ot is tartunk, mely keretében megismerkedhetnek az érdeklődők az Open Knowledge Foundation-nel. A meetupra külön is lehet regisztrálni az esemény oldalán.