Kereső Világ: minden a keresésről, keresőkről

Szövegbányászat minden mennyiségben

zoltanvarju — Sat, 26 May 2012 19:01:00 +0200

A Hungarian Natural Language Processing Meetup csoport szervezésében július 24-én két rendezvény is várja a szövegbányászat iránt érdeklődőket.

R tm hands-on tutorial by Ingo Feinerer

Az R statisztikai programozási nyelv tm (text mining) csomagjának szerzője vezeti be az érdeklődőket a szövegbányászatba. A tutorial ingyenes, de a részvétel előzetes regisztrációhoz kötött. Reggel 10-kor kezdünk és délután négyig meg sem állunk, na jó egy ebéd bele fog férni.

Text Mining

Hagyományos meetup, 19 órától, szintén július 24-én. Jelenleg egy előadó biztos, Ingo Feinerer, aki Distributed Text Mining című előadásában beszél nekünk hogyan fogták munkára a Hadoop-ot a tm csomaggal. Ha valaki szeretne előadni szövegbányászatról, jelentkezzen (vendégünkre tekintettel ezen az estén kizárólag angol előadásokra vagyunk nyitottak).

Silk - adatra fel!

zoltanvarju — Tue, 22 May 2012 12:00:00 +0200

Az adatújságírásról szóló posztunkban röviden bemutattuk azt az új irányzatot, mely az egyre nagyobb mennyiségben elérhető adatokra támaszkodva igyekszik megreformálni az újságírást. Habár rengeteg eszköz érhető el, melyekkel az adatokat érthető formában megjeleníthetjük, egy történet "elmeséléséhez" akár több, különböző applikációt is használnunk kell. Ennek legjobb példája a Guardian Data blog. De nem mindenki engedheti meg magának, hogy egy csapat újságírót és programozót tartson, és ez a csoport teszi ki az emberiség nagyobb hányadát. Nekik a Silk nyújt egyszerű megoldást.

A Silk tkp. az adatok Tumblre. Pár kattintással létrehozhatuk egy csatornát (nem kell feltétlenül tematikusnak lennie), amihez aloldalakat is rendelhetünk. Ezután a neten található adatokat importálhatjuk a Silkbe, majd egyszerűen készíthetünk vizualizációkat hozzájuk. A végeredmény egy (jobb név híjján) poszt, ami az adatokat s azok képi megjelenítését is tartalmazza és természetesen írhatunk szöveges elemzést is hozzá. Akik követik a Guardian Data blogot, azoknak ez nagyon ismerős lehet, a különbség "csupán" annyi, hogyha találunk adatokat a neten, akkor a Silk azt megpróbálja nekünk kitisztítani, és el is tárolja, nem kell külön eszközöket keresnünk a képi megjelenítéshez, hanem a rendszer felajánlja nekünk automatikusan az elérhető grafikonokat.

Az adatok importálás után táblázatos formában jelennek meg. Itt van lehetőségünk a séma ellenőrzésére, vagy akár egyes elemek javítására is. A Silk célja, hogy egy helyen gyűjtsön össze minnél több adatot, az egyes Silk csatornák ezeket megoszthassák egymás között és ne kelljen kétszer feltölteni ugyanazt az adathalmazt.

A rendszer valamennyire intelligens és megpróbál felajánlani vizualizációs technikákat (nyilván a táblázatok sémái alapján). Ez természetesen nem jelenti azt, hogy csak azokat a módszereket érhetjük el, melyek alkalmazhatóak is az adatokra. A várható élettartamra vonatkozó adatok esetében pl. felajánlja az ilyen típusú adatok megjelenítésére kivállóan alkalmas ún. column (v. bar) chart formát.

Ellenben a line chart is választható, amit inkább idősorok esetében érdemes használni inkább.

A térképes megjelenítés nem rossz, de lehetne jobb is.

Összességében elmondható, hogy a Silk segítségével nagyon egyszerűen mesélhetünk el adatokkal támogatott történeteket, vagy csak mutathatunk be adatokat. Mindenki elindíthatja a maga kis Data blogját, a Silk pedig összeszedhet sok-sok szabadon elérhető, vagy direkt a felhasználók által gyűjtött és feltöltött információt. Kifejezetten szimpatikus, hogy a cég legtöbb fejlesztését "visszaadja" a közösségnek mint nyílt forráskódú szoftver. Mindenképpen jó, hogy két irányból is építkeznek (adatok begyűjtése, ill. felhasználói kör kiépítése), de kérdéses még, melyik irány fogja termőre fordítani a céget, addig maradnak a sikeres kockázati tőke befektetések.

Weotta - mit csinálsz ma?

zoltanvarju — Tue, 15 May 2012 12:00:00 +0200

"Data is stupid. Weotta makes it smart." A mottó első felével egyet is ért mindenki, a második fellengzősnek hathatna, de igaz. Többször leírtuk már, hogy a mobil korszakban milyen fontos a kontextus és mi mindenre lehet(ne) használni, a Weotta ennek iskolapéldája.

A Weotta tevékenységének nagy része még szupertitkos, amit tudni lehet azt most bemutatjuk. Hogy nem csupán hype-ról van szó azt erősíti, hogy vezetőfejlesztőjük Jacob Perkins, aki az egyik legnépszerűbb számítógépes nyelvészeti blog és könyv szerzője és a szakmai konferenciák elengedhetetlen előadója (a Számítógépes nyelvészet blognak adott interjúja itt olvasható).

A Weotta Stations önmeghatározásában a perszonalizált internetes rádiókhoz hasonlítja magát. Fogalmam sincs miért ezt a hasonlatot választották a fejlesztők, de biztos igazuk van. Az alapötlet nagyon egyszerű, a mit csináljak ma este (vagy X napon Y órában) kérdésre a lehető legegyszerűbben választ találni.

Különféle alkalmakhoz állíthatunk be "állomásokat", pl. koncertek, szombat esti partik stb. Az ezekhez kapcsolódó adatokat összeszedi a Weotta és szépen tálalja nekünk.

A további két, még nem éles szolgáltatás is ehhez kapcsolódik. A Go valós időben ajánl "eseményeket", legyen az egy film a közeli moziban, vagy éppen a körzetben található mexikói éttermek listája. A Plans pedig segít megszervezni egy napot, a reggelitől az esti filmig.

A Weotta nagy fába vágta a fejszéjét, de rendkívüli szürkeállományt rendeltek a feladahoz. Maga a problém már egy ideje ott van a levegőben, de senkinek sem sikerült még igazából megoldani. Reméljük egyre többen indulnak el ezen az úton!

Első magyar NLP meetup

zoltanvarju — Mon, 14 May 2012 12:00:00 +0200

Május 10-én, a Colabs-ben tartottuk az első Natural Language Processing Meetupot.

Több mint ötvenen regisztráltak a meetupra és kereken negyvenen vettek részt. Köszönjük az előadóknak a színvonalas prezentációkat, a hallgatóságnak pedig az aktív részvételt.

Trapit - avagy megint egy közösségi hírolvasó

zoltanvarju — Tue, 08 May 2012 12:00:00 +0200

A trapit igen előkelő felmenőkkel büszkélkedhet, hiszen az SRI International kutatásaiból nőtt ki. Az SRI "alom" legismertebb tagja ma a Siri, az Apple személyi asszisztense, de sok érdekes egyéb SRI spin-off akad még.

A trapit is személyi asszisztens lenne, csak éppen a közösségi médiában és a hírfolyamokban szeretne segítségünkre lenni. Ennek megfelelően Facebook vagy Twitter fiókkal egyszerűen regisztrálhatunk a szolgáltatás eléréséhez.

Ha már bent vagyunk, akkor egy kellemesen egyszerű és áttekinthető felületen igazodhatunk el. Saját hírfolyamokat is beállíthatunk, személyre szabhatjuk a feedeket, de személyes tapasztalatom szerint egész jól kitalálja a felhasználó preferenciáit.

A "featured" listában különböző híreket (pl. szórakoztatás, tudomány, üzlet, sport stb.) böngészhetünk.

A minket érdeklő dolgokat olvasmánylisába is menthetjük.

Ez mind szép és jó, de valahogy nem érzem azt amit pl. a Prismatic esetében. Nem kapok újdonságokat, nem érzem hogy az RSS olvasóm helyett inkább ezt az eszközt akarom használni. Nagy előnye a design, ami a Wavii és a Prismatic esetében nem ment, az itt összejött remekül. Viszont itt is, ahogy a Wavii esetében gond van a háttérben futó algoritmusokkal! Nem elég nagy vonalakban belőni mi is érdekelheti a felhasználót, mert az nem eredményezi egyben azt, hogy ténylegesen ki is szolgálja a rendszer az érdeklődési körét. A filter bubble jelensége ma már közismert, aki ezen a téren labdába akar rúgni, annak meg kell oldani valahogy, hogy az olvasó saját véleményével ellentétes dolgokkal is szembesüljön. Reméljük a trapit fel fog nőni a feladathoz.

Adatújságírás 1

zoltanvarju — Tue, 01 May 2012 12:00:00 +0200

Nem tudunk úgy eltölteni egy napot olvasgatással, hogy ne fussunk bele egy aktuális siránkozásba arról, hogy haldoklik a print média, az online ingyenesség pedig az igénytelenség és a content farm-ok melegágya. Sajnos kevés szó esik arról (különösen hazánkban) hogy vannak akik nem sírnak, hanem cselekszenek és megpróbálják újragondolni az újságírást az internet és az adatok korában, ennek eredménye az adatújságírás.

Az adatújságírás egyik forrásának Adrian Holovaty (programozó/újságíró, a népszerű Django webprogramozási keretrendszer egyik megalkotója) A fundamental way newspaper site need to change esszéjét szokás tekinteni. Holovaty szerint ideje szakítani a „sztori centrikus”, azaz egy-egy történetet középpontba állító közlési formával mivel ez nem teszi lehetővé hogy a különböző platformokhoz tudjuk adaptálni a híreket. Egy hír magját a felhasznált adatok és azok alapvető elemzése alkotja, ezt a központi elemet tudjuk hordozni a print, mobil, webes és egyéb felületek között. Holovaty erről nem csak szépen tud írni, hanem Every Block oldalával elképzelését bizonyította is, ahol helyi híreket gyűjtenek csokorba az érdeklődők számára. Egy helyi hír általában nagyon helyhez kötött és a benne szereplő adatok is egy (viszonylag) szűk univerzumban értelmezhetőek, ez pedig egy számítógép számára nagyban megkönnyíti az automatikus feldolgozást. Azonban a lokális, adatcentrikus hírek csak egy kis szeletét teszik ki a hagyományos médiának is.

Manapság minden cég elkerülhetetlenül adatokat generál működése során, ezek feldolgozása az üzleti intelligencia területe. De van egy olyan terület ami szintén adatokkal dolgozik; az újságírás. A zsurnaliszták adatokkal dolgoznak (persze itt nem a bulvár médiára gondolok), alapesetben a gazdasági újságíró lételeme a gazdasági statisztika, de a sportújságíró sem lehet meg adatok nélkül, és hát egy riport is jó ha adatokkal van megtámogatva. Szerencsére a klasszikus újságírók nem azok a profithajhász, bezárkózó emberek és felismerték hogy a negyedik hatalmi ág is sokat tehet azzal a demokráciáért ha közzéteszi az általa összeszedett anyagokat. Ezt pedig a New York Times és a Guardian lapok profi módon tették meg. Nem csak egyszerűen letölthetővé tettek adatokat, hanem jól megtervezett API-kat hoztak létre erre.

A Guardian Datablog projektje a legjobb példa arra hogy nem kell programozónak válnia egy újságírónak ahhoz hogy adatokkal foglalkozzon. Minden cikk (vagy poszt?) alapja egy adathalmaz, ami külön le is tölthető. Az írások tulajdonképpen rövid elemzések, de nem mennek bele a technikai részletekbe. Az adatok "felmondását" elkerülik, inkább különféle (bárki számára elérhető) vizualizációs technikákat alkalmaznak hogy elmondják mi van az adatok mögött. Az embernek az a benyomása hogy ez egyrészt pofon egyszerű, de miért nem csinálják mások is ez? Miben különbözik ez a megközelítés a The Economist, vagy a HVG grafikáitól? Erre még nincs válasz. A Guardian nyomtatott verziójának olvasótábora rohmléptekben apad, az online változat olvasottsága nő és már többen Egyesült Királyságon kívül mint hazájában. Az online felület jövedelmezővététele kemény dió viszont ez az egyetlen járható út. A brit lapnál már elhatározták hogy a digitális verzió az irány adó (ez az ún. digital first irányelv) és keresik az új utakat..

Wavii - közösségi hírfolyam

zoltanvarju — Tue, 24 Apr 2012 12:00:00 +0200

Korábban már bemutattuk a Wavii-t. Most, hogy már nem szupertitkos módon üzemel, egy kicsit közelebbről is megvizsgáljuk mit is tud.

A Wavii alapötlete egyszerű, hamár úgyis sokan a Facebook-on megosztott híreket olvassák, miért ne használjuk a közösségi hálót egy hírfolyam összeállítására. A lájkolások egész jól leírják egy felhasználó preferenciáit, ezek alpján lehet különböző érdeklődési köröket is felajánlani számára. Mivel egy rendes Facebook felhasználó amúgy is szeret lájkolgatni, a hírfolyamon is adjuk meg neki ezt a lehetőséget, így szépen magának taníthatja be a rendszert. Ez így leírva persze nagyon egyszerűnek és ötletesnek tűnik, de a képlet ennél sokkal bonyolultabb.

A választható témák oldalon elvileg olyan dolgok jelennek meg, melyek Facebook profilunk alapján érdekelhetnek minket. Azonban gyakran megesik hogy valahogy félresikerül ez az ajánlás, pl. gondolom Chris Jericho és a milanoi Scala azért került a nekem ajánlottak közé mert lájkoltam a Jericho tévésorozatot és a Scala programozási nyelvet. A frissítés ("Refresh") gombot nyomva új ajnlásokat kapunk, de ezek általában egyre távolabb állnak tényleges érdeklődéi körünktől.

Kapunk egy egyszerű és könnyen áttekinthető profilodalt is, sőt a Twitter-hez hasonlóan aszinkron (azaz itt nem a tényleges ismertség vagy barátság alapján választjuk ki kit követünk és ezt a viszonyt nem kell a követett személynek jóváhagynia, sőt nem kell visszakövetnie minket) követhetünk más felhasználókat. Hiába töltöttem hosszú perceket kétszer is azzal hogy kövessek embereket, ez nem jelent meg a profilomon. Lehet még nem működik ez a funkció élesben...

A hírfolyam spártai egyszerűsége nekem kifejezetten tetszik. Átláltható és egyszerű, az egyes hírekről csak a rövid leader, esetleg egy kép jelenik meg.

Több dolgot is tehetünk egy hírrel. Szerethetjük, utálhatjuk, elcsodálkozhatunk rajta. Ez talán túl sok. Annyi biztos hogy a rendszer tanul és egyre jobban kiszolgálja az ízlésünket ha szorgalmasan lájkoljuk vagy utáljuk a híreket. Ez viszont nem feltétlenül jó, hiszen így esélyünk se lesz valami érdekes újdonságot találnunk, vagy netalán nézeteinkkel ellentétes véleménnyel szembesülni. A filter bubble a Wavii esetében úgy gondolom valós veszély, ha valakit nem csak a saját kis világa érdekel, akkor válassza inkább a Prismatic-ot.

DiscoverText, a szövegfelfedező

zoltanvarju — Tue, 17 Apr 2012 12:00:00 +0200

A neten egyre több szöveges információ keletkezik. A közösségi média remek terepe lehet(ne) az egy-egy termékkel kapcsolatos információk és vélemények nyomonkövetésére. Ez a feladat azonban még várja, hogy valaki véglegesen megoldja, addig is a DiscoverText remek szolgálatot tehet nekünk.

A belépéshez LinkedIn vagy Facebook fiókra van csupán szükségünk s 14 napig ingyenesen kipróbálhatjuk mit tud a szolgáltatás.

Belépés után egy egyszerű, de könnyen kezelhető felület fogad minket.

Egy új projekt indítása után kiválaszthatjuk milyen forrásokból szeretnénk adatokat gyűjteni (Facebook, Twitter, LinkedIn, stb.) és megadhatjuk milyen időközönként milyen kulcsszavakra keressen helyettünk a DiscoverText, az eredményeket pedig el is menthetjük. Külön monitorozhatjuk a projektet is, ami különösen akkor fontos, amikor fizetünk is a szolgáltatásért.

Az adatokról nagyon alapos jelentést készít a rendszer, kezdve a geolokációs információktól a fontosabb közösségi média használók azonosításáig.

A begyűjtött adatokból pedig egy szófelhőt is generál nekünk az összefoglaló.

A DiscoverText egyszerű eszközt ad a kezünkbe, mely segíti bizonyos kulcsszavak nyomonkövetését a közösségi médiában. A sok hasonló szolgáltatásból az emeli ki, hogy az eddig inkább elméleti megközelítésnek tartott geometriai módszereket sikerült egy termékbe önteniük, kiváltva ezzel a szakma elismerését.

Hol történik ma az Internet és a mobil?

kereso — Tue, 10 Apr 2012 09:08:00 +0200

Rendszeresen rácsodálkozom, amikor előadók Magyarországon gondolkodás nélkül az amerikai adatok, statisztikák és kutatások alapján vonnak le következtetéseket az Internet vagy a mobil világ alakulásáról.

Vegyük észre, az Internet és a mobil egyre kevésbé ott történik.

Megjegyzés: a magyar adatokat csak azért vettem bele, hogy lásd mennyire érdemes egy szolgáltatást a magyar piacra célozni.

A kontextus órási ereje: keresés mobilon

kereso — Fri, 06 Apr 2012 12:08:00 +0200

A keresés alapvető problémája és legrégibb kérdéseinek egyike, ami miatt a keresők nem tudnak máig sem jobb választ adni a kérdéseinkre, hogy nem ismerik a szándékunkat abban a pillanatban amikor a kérdésünket megfogalmazzuk. Az agyunk zárt rendszer a keresőrendszer számára ilyen szempontból, mondhatnánk még szerencse.

Ugyanazon keresési kifejezés más és más jelentést hordozhat a fejünkben. Nem írja le pontosan a keresőkifejezés azt, hogy mit szeretnénk. Például mit akarunk pontosan, amikor egy film címére, vagy egy író nevére keresünk?

Az ember és gép közötti kommunikációval foglalkozók válasza erre a problémára a kontextus. Mindent eszközt valamilyen kontextusban használunk. Minden esetben van egy gondolatunk, vagy mondjuk akaratnak, amivel egy célt szeretnénk elérni (szándék és cél).

Mobil: áttörés a keresésben

A mobil a keresés esetében pontosan a teljesebb kontextus miatt jelent nagyon fontos áttörést, és ad új lehetőségeket a kezünkbe. Tudhatjuk keresés közben a helyet, az időt, a korábbi helyszínt, kik mások vannak még ott, a használó mozgását, sebességét, vagy éppen milyen alkalmazást használt korábban. Mondhatnánk sokkal inkább belátunk a kereső agyába.

Ezért aztán érdekes feltételezéseket tehetünk. Ha egy étel nevére például a felhasználó otthon, a konyhájában keres, akkor feltételezhetjük hogy receptet keres. Ha viszont a belvárosban, és mondjuk ebédidőben keressük egy étel nevét, akkor nagyobb valószínűséggel egy éttermet keresünk. Egy film címe egy bevásárló központban, ahol mozi is található azt jelentheti, hogy kiváncsi vagyok mikor kezdődik a legközelebbi vetítése egy filmnek. Persze rögtön látjuk a korlátot is, mert lehet, hogy mondjuk DVD-n akarjuk megvásárolni a filmet.

A mobileszköz által nyújtott kontextus sem ad választ minden kérdésre a felhasználó szándékával kapcsolatban, de jó néhány kérdést és bizonytalanságot megválaszol illetve megszüntet.

Természetesen nem minden témában jellemző a mobilos keresés, de vannak olyan tématerületek, ahol már nagyon jelentős a mobilról keresők aránya. Ezek általában erősen lokálisak, tehát a korábban említett kontextusnak nagy szerepe van benne.

Hogyan lehet alkalmazni?

A mobilos keresésekben rengeteg lehetőség rejlik még! Érdemes olyan megoldásokat létehozni, amelyek figyelembe veszik a felhasználói kontextust. Két magyar példát hadd hozzak. Az egyik az árukeresés lehetősége. Biztosan nem csak én álltam már egy műszaki boltban egy termék előtt azon gondolkodva vajon a szuper akciós ár mennyire valós vagy nem. Kapható-e ez most esetleg máshol olcsóbban? Ilyenkor sokat segíthet egy árösszehasonlító oldal, a példában az árukereső mobilos oldalát láthatjuk. Mindez sokkal jobb lehetne, ha a kontextust, vagyis a jelenlegi helyemet is figyelembe venné.

Másik példa a Pharmindex gyógyszer keresője, ahol rögtön arra is láthatunk példát, hogy milyen speciális keresési felülettel lehet alkalmazkodni egy terület igényeihez Itt például azt láthatjuk, hogy egy gyógyszer külső jellemző jegyei alapján akarjuk megtalálni, hogy mi is az, ha úgymond elgurult a gyógyszer. Persze azt nem tudom vállalnak e felelősséget, ha esetleg mégis rosszul azonosítottuk és vérnyomáscsökkentő helyett valami egészen mást veszünk be. Milyen jó lenne ha az orvostól kijövet a felírt gyógyszernek akarunk megbízható forrásból utánanézni, megtudva akár azt is, hol a legközelebbi patika ahol kapható és mennyiért vásárolhatjuk meg.

Mennyire fontos ez az egész?

A végére egy mellbevágó tény. Mennyire lényeges a keresés szempontjából a teljesebb kontextus? Nagyon. A AT&T és Nielsen felmérése alapján a mobilon helyi keresést végrehajtók 43 százaléka konkrétan el is ment a megkeresett üzletbe. 22%-uk pedig aztán vásárlást hajtott végre. Ez magasan kiemelkedő sikerességi, konverziós arány. A keresés témájától függetlenül, általánosságban is úgy látom, hogy a mobil területen pontosan azok a szolgáltatások tudnak kiemelkedően sikeresek lenni, amelyek a korábban említett kontextus jellemzőkre hangsúlyosan építenek.

Ennyire erős eszköz van a kezünkben. Használjuk ki!

Az előadás a 2012-es Smartmobil konferencián hangzott el. Az előadás diái:

A kontextus ereje a mobilos keresésben

View more presentations from jendre.

Quid: döntéstámogatás felsőfokon

zoltanvarju — Tue, 03 Apr 2012 12:00:00 +0200

Napjainkban egyer nagyobb teret nyer a big data (nagy adathalmazok) elemzése és az analitikai eszközök használata. Ez kétszeresen is kapcsolódik a kereséshez, egyrészt az alapprobléma ugyanaz, strukturálatlan, szöveges adatokból igyekeznek kinyerni használható információt, másrészt maga a keresés is rengeteg adatot generál (logfájlok, kattintási statisztikák, stb). Egyre több olyan startup indul el mely, összekapcsolja a két megközelítést és megpróbál egy adott területről minnél több információt összegyűjteni, majd ezek alapján előrejelzéseket szolgáltatni. Ilyen induló vállalkozásokról már Keressük a jövőt című írásunkban beszámoltunk, most a prediktív analitika legígéretesebb és egyben legnagyobb játékosát, a Quid-et mutatjuk be.

A Quid története a ködös Albionban kezdődött. Bob Goodson és Sean Gourely alapítók Oxfordban ismerkedtek meg egymással, majd Kaliforniában kötöttek ki és a cég alapítása után nyomban importálták Amy Heineike-t is mint "Director of Mathematics", azaz matematikai igazgató.

A Quid terméke nem tömegeknek szól, hiszen arra vállalkozik hogy, a széles értelembe vett technológiai szektorra vonatkozó elemzéseket szolgáltasson. Üzleti modellje b2b, (business to business) magyarán vállalatok közötti kontraktusokon alapul. Ezért nem lehet sokat tudni a szoftver kezelőfelületének kinézetéről, a cég honlapján egy árva kép árulkodik arról mit képzeljünk el:

Sokkal izgalmasabb az amit ötletes infografikájukban elárulnak munkamódszerükről.

Az első két pont igazából csak annyit árul el, hogy felhőszolgáltatásokkal dolgozzák fel a hatalmas adatmennyiséget. A harmadik pont jelenti a klasszikus keresést, de itt akad egy kis probléma, nem tudjuk pontosan mire is kell keresnünk, ezért azonasítanunk kell azokat az entitásokat is melyek érdekelhetnek bennünket. Ezután következik a patternek (minták) azonosítása (negyedik pont), és itt emberi erőforrásokat is igénybe vesznek. A minták alapján következik a tulajdonságok kinyerése (feature extraction), ami annyit tesz, hogy valamilyen magyarázati modellt illeszt az automatikus rendszer a minták mögé. A hatodik lépésben ún. topic modellek segítségével automatikusan kinyernek az adathalmazból ontológiákat (az entitásokat és a közöttük lévő relációkat). Az ezt követő fázisban tkp. pontosítják az ontológiákban talált összefüggéseket, majd a nyolcadik lépésben különböző gépi tanulási eljárásokkal ezt feldolgozva megállapítják mely entitások és relációk szignifikánsak. A következő két lépésben ezt idősorba rendezik és vizuálisan megjelenítik, ill. kezelik az eljárások során keletkező problémákat (erre azért van szükség mert a felsorolt folyamatok nagyon számításigényesek, ill. a többszörös transzformáció során az adatokban inkonzisztencia léphet fel). Az elkészült idősorra végül felkerülhetnek az entitások és a közöttük lévő kapcsolatok. Ez lehetővé teszi hogy a döntéshozók eddig még nem látott összefüggéseket fedezzenek fel.

Nem véletlen hogy a Quid ügyfelei vállalatok, hiszen a fent vázolt folyamat rendkívül költséges, különösen ha figyelembe vesszük a negyedik pontban említett humán feldolgozást is. Az ábrán látható 12 lépés nem új dolog, ez az ún nlp pipeline (natural language processing pipeline - azaz számítógépes nyelvészeti munkafolyamat) egy tipikus esete. A nagy dolog az hogy ilyen komplex folyamatot a cég olyan gyorsan és megbízhatóan tud elvégezni ami ügyfelei számára már kielégítő szolgáltatást nyújt - ez eddig még senki másnak nem sikerült.

Talán kicsit túl absztrakt, ahogy leírtuk hogyan működik a Quid. Sean Gourely alapító előadása a Gigaom Big Data konferencián szemléletesen mutatja be, miképp használható a fent vázolt rendszer a döntéstámogatás során.

Watch live streaming video from gigaombigdata at livestream.com

Reméljük a jövőben egyre többször látunk majd példákat a nagy adatok elemzésének, a számítógépes nyelvészet és a keresés eredményeinek összekapcsolásáról.

10 tanács konferencia előadóknak

kereso — Fri, 30 Mar 2012 09:32:00 +0200

Jól éreztem magam a tegnapi Smartmobil konferencián, sok érdekes információt, előadást hallottam. Ugyanakkor úgy érzem nem mehetek el szó nélkül a magyar konferenciák állandó problémája az idők nem betartása mellett. Előrebocsátom, magamat sem tartom kiemelkedő előadónak, mégis a problémát és az óriási csúszást érzékelve, az amúgy is 8 percre tervezett prezentációmat 5,5 percben mondtam el, kihagyva belőle néhány gondolatot.

Nem tartom tragédiának, hogy magyar előadók többségében nem tudunk olyan színvonalú előadást tartani még, mint mondjuk tegnap Robbie Douek (Google). Ő profi csapattal készül egy-egy ilyen prezentációra, és nyilván ezt az előadást is már többször elmondta különböző helyeken, aktualizálva a témáját. Viszont vannak olyan egyszerű alapelvek, amelyek mindannyiunknak segítenek abban, hogy a magunk lehetőségei között fejlődjünk ebben a tekintetben.

Hogyan tarthatsz jó konferencia előadást?

1. Tartsd be az időkeretet, amit kaptál. Ez az első, és legfontosabb. Miért baj, ha nem tartod be? Több fél felé is nagy hibát követsz el, ha nem így teszel.

Elsősorban tiszteletlenség a konferenciaszervezőkkel szemben. Ők megbíznának benned, hogy tudod mennyi időd van, és mi a teendőd. Ha nem tartod be, gyengíted a konferencia hatásosságát.

Tiszteletlenség a hallgatóság felé, hiszen ők pontosan időre szeretnének bejönni egy-egy előadásra, és betervezik előre, hogyan váltanának a különböző termekben zajló programok között.

Tiszteletlenség a többi előadóval szemben, akik egy egyre frusztráltabb - vagy éppen elfogyó - közönség előtt kell elmondják mondandójukat.

Végül, ha megadatik, hogy külföldre is eljuss prezentálni, nagy lesz az arcra esés. Sokkal drasztikusabban betartatják - éppen ezért az előadók egyébként maguktól be is tartják - az időkereteket. Számomra ez egy nem tolerálható bűn.

2. Ne mond el, hogy kevés az időd: Lehet, hogy tényleg kevés, de azzal, hogy ezt elmondod a kezdés előtt, csak rontani fogsz a helyzeteden. Vágj bele rögtön, ne szabadkozz! Ennyi időt kaptál, használd ki minél jobban. Ha te leszel Robbie Douek, majd te is kapsz 20 percet.

3. 10 perc, valójában nem 10 perc: Az elkerülhetetlen holtidőket - konferálás, mikrofon beállítás, prezentáció elindítása - leszámítva valójában maximum 8 perced van.

4. 10 perc, még csak nem is 8 perc: Egy két évvel ezelőtti 5(!) perces SeedCamp prezentációm óriási tanulsága ez. Legalább 10-szer gyakoroltam el szó szerint, a végletekig finomítva a prezentációt, kihúzva belőle a még kihúzható részeket, mire eljutottam az 5 perces hosszig. Élesben elmondva mégis kiderült, hogy még fél perc kellett volna... Valamiért élesben tovább fog tartani. Ezzel is kalkulálj!

5. Próbáld el! Sokakon láttam tegnap is a teljes és őszinte döbbenetet, hogy a 34 diából álló prezentációjuk nem fér el a rendelkezésre álló 8 perces időkeretben, és minderre a 9. percben jönnek rá. Könyörgöm, próbáld el otthon, és mérd le! A mai okostelefonok, mint tegnap megtudtuk sok mindenre, már erre is alkalmasak. A méltán zseniális előadónak tartott Steve Jobs nagyon sokszor elpróbálta és végiggyakorolta az előadásait, mielőtt azokat ténylegesen élesben elmondta.

6. Egy üzeneted legyen: Az időkeretbe nem fér bele, hogy egy témát teljes mértékben körüljárj. Az előbbi pontban említett próba abban is segít, hogy kiválaszd mi lenne a fő üzenete az előadásodnak. Pollner ezt úgy fogalmazta meg a kommentjében, hogy legyen valami amit hazavihetnek a hallgatóid.

Azért is, mert nincs információ tartalma a jól ismert általánosságoknak, ahogy ezt többen Twitteren is megjegyezték:

Annyira vicces hogy minden prezi azzal kezd hogy berobbant a mobil és mindenhol már mobilozunk. Tudjuk ezért vagyunk itt ;)

doktor_justice: Egyre erősebb az érzésem, hogy a mobilinternetes sztori nagy lesz Eddig minden előadó elmondta.#smartmobil

7. Power point diák: Ez az a terület, ahol szerintem már tisztán látszik a fejlődés az előző évekhez képest. Csak pár alapelv ismétlésképpen: 28 pontnál kisebb betűt ne használj. A legfontosabb üzenetek a dia tetején legyenek. Jó minőségű képeket keress. Ne legyenek hosszú, pontokba szedett listák egy-egy oldalon.

Nyilván lehet szempont az is, hogy a dia aztán az előadás meghallgatása nélkül is érhető legyen, ami ellentmond némelyik esetben az általános elveknek.

8. Ne legyenek felesleges körök: 10 perces időkeretben felesleges előre elmondanod a vázlatodat. Ez egy valóban jó gyakorlat lehet egy fél órás előadás esetén, de egy 10 perces (tudod, valójában 8) konferencia prezentáció esetében, csak magadtól vettél el újabb 30 másodpercet feleslegesen.

9. Próbáld ki a diavetítésedet a helyszínen: Különösen igaz, ha nem a saját eszközödön lesz vetítve. Nem fog minden úgy működni, mint otthon. Tegnap is, nem egy ilyen eset történt.

10. Használj hagyományos eszközöket: Tudom, sokaknak az elevenébe vágok ezzel, mégis kimondom. Nagyon szexinek tűnhet iphoneról, ipadről vagy éppen Macbookról prezentálni, de tegnap is 50 százalék alatt volt a sikerességi arány. Természetesen egész más, ha az előadás előtt van 10 perced a beállításokra. Biztosan vannak olyanok is, akiknek érdekes a MacBook hozzáhangolása a kivetítőhöz, de ha 10 percem van, én nem vesztegetnék el 1 percet pont ezzel. Ha nem hiszed kérdezd meg Szabó Gergőt...

Szívesen olvasnám mások tanácsait is a témában, osszátok meg! Előre a jobb konferencia előadásokért!

Linkeskedésből jeles: bitly

zoltanvarju — Tue, 27 Mar 2012 12:00:00 +0200

A bitly (régebbi nevén bit.ly) sokak számára mint a Twitter url-rövidítője ismert. Az első adatvezérelt startupok egyike ma már egy hatalmas, folyamatosan bővülő adatbázison ül, ezt készül most bevetni a valósidejű (real-time) keresés terén.

A bitly nem csak egy cég a sok közül. Egyike az első igazán nagy adatokkal (big data) dolgozó startupoknak, mindehhez pedig egy kiválló kutató-fejlesztő csapatot alakítottak ki. Hilary Mason vezető fejlesztő neve fogalom az adattudománnyal (data science) foglalkozók körében (data diva - azaz adatdíva állandó jelzővel szokták illetni). Rajta keresztül a New Yorkban formálódó startup ökoszisztéma kiépítésében, valamint az adattudományi rendezvények (meetupok, Strata konferencia, stb.) szervezésében jeleskedik az url-rövidítő cég.

A bitly alapötlete egyszerű, a 140 karakteres csiripekbe nehéz volt anno linkeket is elhelyezni. A rövidítés mellett azonban elérhetővé tettek nagyon egyszerű, ám sokak számára fontos (vagy legalább érdekes) statisztikákat is, mint pl. hányan kattintottak a megosztott linkre, mely órákban, a világ mely tájáról, melyik oldalon stb. Nemrég ezt kiegészítették egy QR-kóddal is (quick respons code, azaz egy kis négyzet amiben a tévéken látható hangyaháborúhoz hasonló fekete fehér kockák találhatóak, ezeket a legtöbb okostelefon ma már képes felismerni ha a készülék kameráját ráirányítják, majd a beolvasás után a böngészőt elviszi az adott oldalra).

A bitlyenterprise a fent bemutatott szolgáltatás továbbfejlesztett változatát kínálja céges ügyfelek számára. Első sorban kiadók és a közösségi média elemzői veszik igénybe a többletszolgáltatást. A news.me közösségi médiából gyűjti össze ismerőseink megosztásai alapján a minket (feltételezhetően) érdeklő híreket. Habár nagyon érdekes kezdeményezés volt, hogy egy minimális összegért cserébe fizetős tartalmakat is beválogatott, az előfizetésből pedig visszaosztott szerződött partnereinek. Mára viszont ingyenes az alkalmazás és a perszonalizáció, valamint hírforrások figyelésének lehetősége került a fejlesztések középpontjába.

A valós időben történő keresés napjaink egyik legfelkapottabb témája. Még koránt sincs megoldva hogy pl. a legfrissebb, leginkább véleményformáló híreket egyszerűen, az időbeli változásokat figyelembe véve kereshessük. A bitly adatbázisa az ehhez szükséges információk tárháza hiszen egy helyen találhatók benne a megosztott linkek, rákattintások, továbbosztások, időbeli változások, geolokációs adatok stb.

Nem csoda hogy a legújabb, még csupán "privát béta" módban működő bitly fejlesztés egy valósidejű kereső. A fenti videón maga Mason mutatja ezt be működés közben (0:32 körül keződik és kb 10 percig taglalja). Habár a valós idő földrajzi helyzettel párosítva nagyon hasznos lehet, sok esetben legalább annyi kérdést vet fel mint ahány problémát megold. Az idő és a hely relevanciájának kérdése kulcsfontosságú például, ha arra vagyunk kíváncsiak, mely tőlünk 20 percre lévő bárokban van éppen happy hours akció.

Google Knowledge Graph

zoltanvarju — Tue, 20 Mar 2012 12:00:00 +0100

A Google Knowledge Graph-ról egyre több hír kerül napvilágra, nemrég a Mashable számolt be róla. Utánna jártunk mi van a háttérben és mit várhatunk ettől a technológiától.

A szemantikus web a kétezres évek elején még csak álom volt, blogunkon is bemutatott linkelt adatok gyűjtése még nem indult el ekkor és még öt-hat évvel ezelőtt is sokan szkeptikusak voltak a program sikerét illetően. 2006-ban alapították meg lelkes szemantikus web szakemberek a Metaweb-et, ami azt a célt tűzte maga elé hogy szemantikus formában gyűjt adatokat (bármiről!) lelkes felhasználók segítségére támaszkodva. Ennek eredménye lett a Freebase adatbázis. Ez tkp. egy ún. entitás gráf, azaz az egyes elemek és a közöttük fenálló kapcsolatok egy gráf alapú reprezentációban tárolódnak a cég szerverein. Az elnevezés jelzi hogy nem teljesen klasszikus linkelt adatokról van szó, de a különbség a felhasználó szempontjából nüansznyi.

2010-ben a Google megvásárolta a Metawebet, de a Freebase továbbra is szabadon hozzáférhető maradt. Soka úgy gondolták hogy ezzel egyrészt fényezni akarja magát, mások szerint csupán acqui-hire azaz a tehetséges alkalmazottak átvétele állt. A Freebase használhatóságát a keresésben nagyon jól szemlélteti Freebase Parallax projekt:

Látható hogy sok esetben a Google vagy nem ad megfelelő választ keresésünkre, vagy pedig nagyon nehéz összeszedegetni az információmorzsákat a találatokból. Ezt gondolta tovább a Ubiquity + Freebase koncepciója, mely a Firefox-ot természetes nyelvi parancsok értelmezésével felruházó Ubiquity kiegészítőt köti össze a Freebase adatbázissal. Az eredmény pedig elképesztő:

Freebase + Ubiquity from spencer cooly on Vimeo.

A Knowledge Graph a Freebase-re építve, de immár automatikus módszereket és a neten fellelhető nyilvános és fizetős linkelt adatbázisokat is felhasználva elkezdett kiépíteni egy sokkal nagyobb és összetettebb gráf adatbázist. A fenti koncepciók már önmagukban is meggyőzőek, izgatottan várjuk mi jöhet még.

Adat piac 3. rész

zoltanvarju — Tue, 13 Mar 2012 12:00:00 +0100

Sorozatunk korábbi részeiben olyan szolgáltatásokat mutattunk be, melyek nyers adatokat és az elemzésükhöz szükséges eszközöket kínálják, ill. rendezett formában egy API-n (application programming interface, alkalmazás programozási interfész) keresztül teszik elérhetővé a szükséges információt. Most a Kasabi szolgáltatását vesszük górcső alá.

A Kasabi mögött a szemantikus technológia egyik legismertebb és legerősebb cége a brit Talis áll. Az alapötlet nagyon egyszerű, a Factual mintájára begyűjtik az adatokat és egy API-n keresztül elérhetővé teszik. A hasonló filozófia mögött azonban két merőben eltérő technológiai megközelítés rejlik.

A Factual maga szedi össze a különböző adatokat és gondozza azokat (data curation). A Kasabi ellenben a DataMarket-hez hasonlóan kész adathalmazokat tárol saját szerverein. Ezek vagy ingyenesen elérhetőek vagy az adatokat létrehozó személyek és vállalatok töltik fel és bocsájtják áruba. Az igazi különbség abban rejlik, hogy a Kasabinak határozott elvárásai vannak az adatok formátumaira vonatkozóan.

Minden Kasabi adathalmaz egy ún linkelt adathalmaz melyben a linkek tkp. az egyes elemek közötti viszonyokat jelölik. Ezeket RDF (Resource Description Framework) formátumban - egy a HTML-hez hasonló jelölőnyelv szabvány, melyben leírhatjuk a linkelt adatokat - tárolják a szerveren. Az RDF adatbázisok lekérdezését végző kereső nyelv (query language) a SPARQL (SPARQL Protocol and RDF Query Language) szabvány melynek több implementációja (megvalósítása) is létezik. SPARQL endpoint-nak (végpontnak) nevezzük az olyan nyilvános vagy zárt online szolgáltatásokat, melyek szabványos RDF alapú linked data adatbázisokat tesznek elérhetővé online. Minden Kasabi adathalmaz tkp. egy SPARQL endpoint.

Nem csodálkozunk ha az olvasó kicsit belefáradt az előző bekezdésbe. A linkelt adatok nagyon hasznosak, de használatuk korántsem triviális. Nagyon találónak tartjuk hogy a Kasabi logója egy szorgos kis méhecske, hiszen a linkelt adatok nem csak egy adahalmazon belül kapcsolódnak, hanem egymás között is tartalmazhatnak kapcsolatokat, egy helyen tárolva egyszerűen összekapcsolhatóakká válnak egy SPARQL lekéredezésen belül is.

Az elmúlt öt évben az adatvezérelt alkalmazások fejlesztői előtt tornyosult az adatok megszerzésének, kitisztításának és gondozásának problémája. A sorozatunkban bemutatott cégek szolgáltatásai jelentősen lecsökkentették a piacra lépés költségeit és reméljük már nem kell sokáig várni arra hogy egy vibráló startup ökoszisztéma alakuljon ki körülöttük.

Adat piac 2. rész

zoltanvarju — Tue, 06 Mar 2012 12:00:00 +0100

[...] data is the next Intel Inside (Tim O'Reilly)

Sorozatunk előző részében bemutattuk a többé-kevésbé nyers adatokat kínáló DataMarket-et és az "anyacég"- az Infochimps - felhőszolgáltatásban kínált adatelemzési megoldásait. Mivel nem mindenki szeret maga bajlódni az adatok feldolgozásával, tisztításával és tárolásával, megjelentek az adatokat API-n (application programming interface, alkalmazás programozási interfész) keresztül rendszerezett formában elérhetővé tévő vállalkozások is a piacon. Most a legnagyobb és legérettebb játékost, a Factual-t, valamint a legígéretesebb feltörekvőt az Uberlic-et mutatjuk be.

Szinte mindegy mivel foglalkozik egy honlap, nem árt ha "van adat mögötte". Egy KKV pl. alap esetben feltünteti elérhetőségét a céges honlapon, ami postacím, telefonszám, e-mail cím minimum. Ha indítunk egy a városunk kávézóit értékelő honlapot valahogy össze kell szedni melyik kávézó hol van, mikor van nyitva, milyen különlegességeket árul (illetve további érdekes adatokkal dobhatjuk fel az oldalt). Könnyen belátható hogy egy e-kereskedelmi oldal is sokat profitálhat, ha sikerül termékeiről további információkat gyűjtenie, de akár önálló szolgáltatások is alapozhatók bizonyos adatokra. Sokaknak van szüksége jó minőségű, könnyen használható adatokra, azonban ezek összegyűjtése és kezelése (data curation, adat gondozás) időigényes, összetett és nagyon drága dolog.

A Factual mögött a Google AdSense hirdetési platformját eredetileg kifejlesztő Applied Semantics ötletgazdája Gil Elbaz áll. Sokan próbáltak/próbálnak benyomulni az adatszolgáltatási piacra, de igazából eddig senkinek sem sikerült ez a Factual kivételével. Sikerük egyik titka, hogy olyan zseniális kutatókkal dolgoznak mint Tim Chklovski, illetve a kínai irodájukban található olcsón, de jól dolgozó magasan kvalifikált mérnökök hada. A hatékony működés lehetővé teszi, hogy külön figyelmet fordítsanak az egyes adathalmazok gondozására (data curation), ehhez nagy számban alkalmaznak ezen a téren járatos korpusznyelvészeket.

Az adathalmazok többsége ingyenesen elérhető. Az API felhasználóbarát, minimális webfejlesztési háttérismerettel (html és JavasScript) és egy kis gyakorlással bárki képes használni. Habár a cég nagyon sikeresen szervezett egy fejlesztői közösséget, új utakat is keres. Egyes adathalmazok szabadon letölthetőek, az igazán hasznosak és érdekesek pedig fizetség ellenében. Habár elindult a találgatás, hogy lehet mégsem jó üzleti modellt követett eddig a cég, a hivatalos közlemények szolgáltatásbővítésről szólnak és semmi nem utal arra hogy ezt megkérdőjelezzük.

Az Uberlic még csupán teszt üzemben működik és nem sokat tudunk róla, de máris a Factual ígéretes konkurenciájaként tartják számon. A berlini startup jelmondata - "One API to Link Them All" - jelzi hogy teljesen más oldaláról közelíti meg a problémát. Mivel a sok-sok adat valahol úgyis összegyűlik és előbb-utóbb valaki elérhetővé teszi "fogyasztható" formában, az Uberlic nem tesz mást mint ezeket összekapcsolja, így a felhasználónak nem kell külön-külön bajlódnia az egyes API-okkal, a cég pedig eltekinthet az adatgondozás terhétől.

Az Uberlic legnagyobb ígérete az, hogy az API-k összekapcsolása nem csak adatforrásokat jelent, hanem ügyesen építkezve megkereshetjük a számunkra ideális adatforrást, feldolgozhatjuk hogy kinyerjük belőle a kívánt információt, végül pedig ezt akár szépen meg is jeleníthetjük. Mindezt pedig úgy hogy saját eszközeinket minimálisan vesszük igénybe.

Adat piac 1. rész

kadar.akos — Tue, 28 Feb 2012 12:00:00 +0100

Van egy kis földünk. Szeretnénk ültetni valami növényt, mert szeretjük a zöldet, azonban pesti DJ-k vagyunk. A barátnőnk anyjától meg tudjuk kérdezni, hogy az adott növényeket, hogy kell ültetni, metszeni stb. ezzel nincs is probléma. A probléma az, hogy a növényeknek igényeik vannak, a területeknek pedig adottságaik.

A földterületünk adott és ki kellene választani hozzá a megfelelő növényt. Ehhez adatokra van szükségünk. Adatokat kell gyűjtenünk a térség éghajlatáról, és egy ehhez passzoló növényt kell ültetnünk.

Ahhoz, hogy jó döntéseket hozzunk, hosszútávon jó stratégiát alakítsunk ki, a lehető legtöbb jó minőségű adatra van szükségünk. A továbbiakban két olyan szolgáltatást mutatunk be melyek segítenek könnyen megtalálni és elemezni a számunkra szükséges információt.

DataMarket

Először is nézzük a Datamarketet. Ha még nem regisztrált a látogató a "Sign up for free for full excess"-re kattintva pár másodperc alatt megteheti. Így három plusz szolgáltatás válik elérhetővé: a táblázatokat letölthetjük CSV (comma separated values, azaz vesszővel elválasztott értékek) formátumban, egyetlen kattintással megoszthatjuk pl. a kedvenc statisztikáinkat Facebookon, illetve beágyazhatjuk a számunkra érdekes grafikonokat a weboldalunkba. Azok akik ki szeretnék próbálni a többletszolgáltatásokat (pl. az Excel táblába exportálható adatokat), 30 napig ingyenesen megtehetik.

Nekünk különösen a CSV formátumba exportálás tetszett a Peat End-Use Statistics adathalmazon próbáltuk ki.

Baloldalt kipipálgatjuk azokat az adatokat, amikre kiváncsiak vagyunk.
Rákattintunk a "Visualize" gombra.
A grafikon alatt az Export gomb megnyomása után kiválasztjuk a kívánt szeparátort "pontos-" vagy "sima" vessző
Ezek után saját gépünkön dolgozhatunk az adatokkkal a nekünk kedves alkalmazással (pl. R, SPSS vagy Excel).

A további ingyenes szolgáltatások igénybevétele is hasonlóan egyszerű, az ábrák alatt lévő menüpontok segítségével egy két kattintással elérhetők. A fizetős szolgáltatásokért havi 59 dollárt kell fizetnünk.Ezért cserébe pl. PDF és PNG exportálási lehetőséget kapunk, és személyreszabhatjuk a Datamarket szolgáltatásunkat.

A Datamarket alapvetően egy hatalmas adatbánya, de az adatok kitermeléséhez csak egy csákányt meg egy sisakot ad. Azoknak tökéletes, akik vagy nem kívánnak nagytömegű adattal dolgozni és megelégednek belépőszintű szolgáltatásokkal vagy járatosak az adatok menedzselésében. Mindemelett, egyetemista hallgatók számára tökéletes játszótér: hasznos lehet az oldal, azok számára, akik érdekes statisztikákra kíváncsiak, vagy munkáikba/dolgozataikba kulturált megjelenésű grafikonokat szeretnének beszúrni. Továbbá az Excel és CSV formátumok exportálása révén lehetőség nyílik gyakorolni a fentebb említett R-t és más statisztikai programokat.

Infochimps

Az InfoChimps a DataMarket mögött álló cég. 2009 szeptemberi indulása óta 200 támogatót (többek között Twittert, Foursquare-t) és több, mint 10.000 ügyfelet szerzett magának a cég.

Amikor anno feltűntek az online office alkalmazások furcsamód nem lehetett találkozni online adatbázis kezelővel. Még a Google Apps szolgáltatásban se szerepel "GoogleAccess" vagy "GoogleDat". A Factual és az Infochimps tulajdonképpen ebbe a piaci résbe nyomult be gőzerővel. Az Infochimps esetében egy olyan platformról van szó, ami mindenki számára elérhetővé teszi azokat az eszközöket, amiket a cég a Datamarketen lévő adatok feldolgozásához használ. Fentebb a Datamarket szolgáltatásait a csákányhoz és sisakhoz hasonlítottam. Ha maradunk a hasonlatnál, akkor az Infochimps platformja kb. egy részecskegyorsító. A springsense Map/reduce rendszerével, a Runa Hadoop szolgáltatásval és elég komoly technológiai fegyvertárral felvértezve, az adatbázis menedzsment szolgáltatáson kívül az Infochimps segít az adatok hatékony elemzésében és szállításában. Az utóbbihoz az Apache Flume-ot és a sajátfejlesztésű Data Delivery Service-t használja.

Linked Tv

kadar.akos — Tue, 21 Feb 2012 12:00:00 +0100

Ahhoz, hogy megértsük a Linked Tv törekvéseit, előbb meg kell ismerkednünk a szemantikus webbel illetve a Smart TV-vel. Dióhéjban a szemantikus webről című posztunkban összefoglaltuk a technológia alapjait, javasoljuk hogy a jobb megértés érdekében az olvasó ismerkedjen meg az említett cikkel, most csak a meghatározást idézzük onnét:

A szemantikus web alapötlete egyszerű; a weboldalak ne csak az emberileg olvasható érthető információt tartalmazzák, hanem hogy ezt elérhetővé tegyék szabványos, gépileg érthető formában is. A honlapok felépítése egyszerű, egyrészt nem árt ha van mit olvasni egy oldalon, ezt pedig a böngésző számára értelmezhető formába kell "becsomagolni" ami a html szabvány dolga, amit kiegészít a külcsínyért felelős CSS és az interakcióért felelős JavaScript. Ehhez jön még hozzá az átlag felhasználó számára gyakran láthatatlan háttérben futó adatbázis és egyéb szerveroldali eszközök. Berners-Lee a tartalom és a forma (html) mellé kívánatosnak tartaná a jelentés (szemantika) beágyazását is az oldalakban - innét ered az elnevezés.

Smart TV-től a Linked TV-ig

Már ma is egyre több internet csatlakozási képességgel rendelkező Smart Tv van forgalomban. A probléma az, hogy a TV-s alkalmazások nagy része az OTT video streaming-re (különféle játékkonzolokon elterjedt video csatlakoztatási szabvány) illetve a televíziós élményen kívüli webes tartalmakra koncentrál. A Samsung jelentése szerint a saját platformjaira letöltött 5 millió app, 23%-a oktatási és 20%-a informatív jellegű. Ez kicsit furcsa, mivel a hagyományos műsorok is betöltenek hasonló funkciókat. Egy másik, a Yahoo által támogatott felmérés szerint a megkérdezettek 86%-a kapcsolódik mobil internethez TV nézés közben. Olyan alkalmazásokat használnak, mint pl. a TV műsorokhoz kapcsolódó IntoNow és Shazam, melyek a tévé műsor hangsávját használják arra, hogy felismerjék a műsort és releváns tartalmakat szolgáltassanak a felhasználónak.

A mai Connected TV/Smart TV eszközök képesek egyaránt internetes és TV-s tartalmak kezelésére, a TV-s alkalmazások viszont nem integrálják hatékonyan a webes megoldásokat. A Linked TV-nek épp az a célja. Egy jó példa, arra hogy milyen potenciál is rejlik ebben a területben, a Social TV: Televíziózás közben Facebook vagy Twitter alapú beszélgetést lehet folytatni. Itt megszűnik a határ a TV és a Web között és egy új média élmény jön létre.

A Kacsa

kadar.akos — Tue, 14 Feb 2012 12:00:00 +0100

A DuckDuckGo egy több szempontból is különleges keresőmotor: egyrészt már a neve is elég jó, másrészt egyetlen ember fejlesztette és indította útjára 2008-ban, aki nem más mint Gabriel Weinberg. A Search Engine Land cikke alapján bemutatjuk röviden a DuckDuckGo-t, majd a http://donttrack.us/ és http://dontbubble.us/ oldalak , illetve Eli Pariser Ted előadásán keresztül ismertjük a Filter Bubble effektust.

Weinberg alapötlete egy olyan keresőmotor volt, ami a Wikipedián és a Delicious adatbázisán keres, keresési eredményként felhasználva mindkét szolgáltató jó minőségű linkjeit. A DuckDuckGo saját kereső algoritmust használ, ami DuckDuckBot névre hallgat. Több, mint száz crowd-sourced oldal adataival dolgozik pl.: Yahoo! BOSS, WolframAlfa, EntireWeb, Bing stb. Így gyakorlatilag egy hibridmetakeresővel (hybrid metasearch engine) állunk szemben –hibrid, mert miközben számos adatforrást alkalmaz, egy utó feldolgozást is futtat. Így kiszűri a „haszontalan” oldalakat például, amiken nincs semmi csak reklámok stb. A többi metakeresővel szemben, nem csak a felhasznált oldalak eredményeit adja ki, hanem megpróbálja a források legjobb találatait kidobni. Mind emelett, Weinberg állítása szerint, jelenleg több, mint 70 millió oldal szerepel a DuckDuckGo spam list-jében.

Weinberg megszállottja a felhasználói adatok védelmének. Így nem meglepő, hogy több hatásos eszközt is beépített a motorba, melyek segítségével személyes keresésünk (illetve személyazonosságunk) anonim marad.

A kacsa 2008-ban indult útjára, de csak ez év elején kezdett igazán agresszív marketingbe Weinberg és indította útjára Google ellenes kampányát "Google tracks you. We don't."(A Google követ. Mi nem.) szlogennel. Szükséges ismertetnünk a továbbiakban a guglit, mint nagy testvért, illetve a Filter Bubble effektust, hogy rávilágítsunk mi ellen is harcol valójában a DuckDuckGo.

Nagy testvér

Ma már köztudott, hogy a Google és más keresőmotorok számtalan adatot tárolnak rólunk. Például ezen az oldalon http://donttrack.us/ véleményünk szerint nagyon egyszerűen és érthetően képet kaphatunk miről is van szó. Röviden:

Beírjuk a gugliba, hogy herpesz.
A gugli kiad egy csomó oldalt.
Rákattintunk egy oldalra.
Ekkor a keresőbe beírt szót, illetve a böngészőnkkel és számítógépünkkel kapcsolatos információkat elküldi a gugli az oldalnak, amire rákattintottunk.
Így akár egyedileg is azonosíthat minket az oldal.
Ezeken az oldalakon általában reklámoznak más oldalak is, és ezek profilt gyártanak rólunk.
Ezért van az, hogy ha sokszor érdeklődünk herpesz kenőcsök után nem hagynak minket békén a herpesszel kapcsolatos gugli reklámok.

Úgy gondoljuk már ez is elegendő ahhoz, hogy jogosan le nagytestvérezze valaki a Google-t, de van egy másik jelenség, ami nem ilyen vicces és sokkal messzebbre vezet. Ez a jelenség a fentebb említett Filter Bubble.

Filter Bubble

A "szűrőbuborék"-ról bővebb információkat kaphatunk a http://dontbubble.us/ oldalon, illetve Eli Pariser "Beaware online filter bubbles" c. előadásából. Az utóbbin végig megyünk vázlatosan, de mindenkinek ajánljuk, hogy nézze meg a videót:

Pariser első példája a Facebookról szól. Ő liberális politikai beállítottságú és egy idő után nem látta a konzervatív barátainak a posztjait. Ez azért történt mert többet kattintott a liberális barátai linkjeire, mint a konzervatívokéra.
A második példája a Google-ról szól. Azt állítja, hogy ha adott időpillanatban többen rákeresnek egy adott szóra, nem feltétlenül ugyanazokat a találatokat adja mindenkinek a keresőmotor. Ennek hasonló az oka, mint a Facebooknál. A Google számtalan adatot dolgoz fel amikor keresünk pl. a számítógéppel kapcsolatban, a böngészővel kapcsolatban stb. Pariser a következő következtetést vonja le: "Nincs többé standard google". Ezt két barátján Scotton és Danielen keresztül mutatja be. Mindketten beírták a Google-be, hogy Egypt (Egyiptom). Danielnek az első oldalon egyetlen találata se jelent meg az egyiptomi tüntetésekkel kapcsolatban, ezzel szemben Scott szinte csak ilyen eredményeket kapott.
Megemlíti, hogy a világ legnagyobb hírportáljai is dolgoznak a "personalisation", személyre szabás eszközével.

Mindennek a következménye a Filter Bubble. Maga a buborék az, amiben van a felhasználó. Nem lát ki, nem látja mit szűr meg az "internet". Csak azokat az információkat látjuk, amikre az algoritmusok szerint szükségünk van, amit az internet úgy gondol, hogy számunkra érdekes lehet. A probléma az, hogy nem tud a felhasználó dönteni arról, hogy mi kerüljön a buborékjába, az "internetes viselkedése/magatartása" fogja meghatározni. Ezzel az a probléma, hogy az ember gyakrabban olvas baromságokról, mint analitikus filozófiáról.

Pariser a zöldség és édesség szembenállását hozza analógiaként. Kicsit átírom a metaforáját: Ha úgy működne a Tesco, mint a Google, akkor, ha én lépnék be a a szupermarket ajtaján gyakorlatilag csak sushi lenne a polcokon, és nem igazán jutnék gyümölcshöz. Az édesapámra szabott Tescoban pedig különböző fajta csokoládék lennének még a tejes pultokban is. Az én Tescom kicsit egészségesebb alternatíva, de nem kellene, hogy apám kisgyerekes ízlésére még a Tesco is rátegyen egy lapáttal. Nem jó, ha a Google dönti el mire van szükségünk, mert az ízlésünk nem biztos, hogy tükrözi valódi igényeinket. így értelmeztük Pariser álláspontját.

Vissza a Kacsához

A DuckDuckGo a fentebb említett „personalisation” eszközével nem él, tehát nem fogja édesség irányba eltolni a keresésünket, kapunk majd zöldséget is. Ezen felül több eszközt is használ a keresők személyiségi jogának megvédésére. Még a cikk elején említettük a „Google tracks you. We don’t.” szlogent. Ezalatt a herpeszes példában leírtakat kell érteni (a gugli használata során adatok kerülnek a keresőről a megkeresett oldalakhoz). A két legfontosabb törekvése a DuckDuckGo-nak tehát:
Nem ad ki adatokat a keresőkről.
Nem tárolja a keresési előzményeinket.

Ha valakit bővebben érdekel, hogy milyen problémái vannak Weinbergnek a Google-el kapcsolatban, annak ajánljuk, hogy olvassa végig a duckduck go privacy-val kapcsolatos honlapját.

Mi személy szerint nem akarunk kifejezetten vészmadárkodni a Google-el kapcsolatban, de abszolút értékeljük a DuckDuckGo hozzáállását. Csak, hogy egy szimpatikus dolgot emlitsünk: ezen az oldalon mindenki megtekintheti a keresőmotor forgalmának alakulását

Tetszett nekünk a kacsás logo, jó poénnak tartjuk az „I’m feeling ducky” módot (próbáljátok ki). Sok cikket olvastunk a DuckDuckGo- ról és a legtöbb vélemény szerint jó alternatívája lehet a Google-nek és ez nem kis teljesítmény.

Dióhéjban a szemantikus webről

zoltanvarju — Tue, 07 Feb 2012 12:00:00 +0100

Már a csapból is a webkettes trendek és a közösségi média folyik, ellenben igen keveset hallunk a web 3.0-ról, azaz a szemantikus webről. Berners-Lee "az internet atyja" 2001-ben Hendler-rel és Lasilla-val közösen írt tanulmánya egy futurisztikus jövőképet vázol fel, melyben intelligens ágensek egyeztetnek időpontot ahelyett, hogy mi hívnánk orvosunk rendelőjét. Sci-fi? Koránt sem, a felvázolt elképzelés mögött egy egyszerű ötlet áll, ha a gépek számára érthető formában is felkerülnek különböző adatok (pl. az orvosi rendelő nyilvántartása és saját határidőnaplónk) akkor intelligens eszközök (ágensek) automatikusan elvégezhetnek bizonyos feladatokat.

A szemantikus web alapötlete egyszerű; a weboldalak ne csak az emberileg olvasható és érthető információt tartalmazzák, hanem hogy ezt elérhetővé tegyék szabványos, gépileg érthető formában is. A honlapok felépítése egyszerű, egyrészt nem árt ha van mit olvasni egy oldalon, ezt pedig a böngésző számára értelmezhető formába kell "becsomagolni" ami a html szabvány dolga, amit kiegészít a külcsínyért felelős CSS és az interakcióért felelős JavaScript. Ehhez jön még hozzá az átlag felhasználó számára gyakran láthatatlan háttérben futó adatbázis és egyéb szerveroldali eszközök. Berners-Lee a tartalom és a forma (html) mellé kívánatosnak tartaná a jelentés (szemantika) beágyazását is az oldalakban - innét ered az elnevezés.

A jelentés beágyazása nehezen megfogható fogalom. A schema.org olyan sémákat (régebbi nevükön mikroformátumokat) ajánl, melyek segítségével a weboldalakba egyszerűen beépíthetünk szemantikus információkat olyan népszerű témákkal kapcsolatban mint pl. személyek adatai, kreatív alkotások (a könyvektől a tv sorozatokig), kritikák, események. A sémák használatával nem csak lehetővé tesszük hogy az intelligens ágensek "megértsék" és felhasználják ezeket az adatokat, hanem a schema konzorcium tagjainak (Bing, Google, Yandex, Yahoo) keresőiben is jobban pozicionáljuk oldalainkat.

A blogunkon már korábban bemutatott GoodRelations igyekszik lefedni az e-kereskedelmben előforduló portékák, szolgáltatások és cégekkel kapcsolatos fogalmak teljes körét. Egy termék gépi formában is érthető leírása új távlatokat nyit hisz lehetővé teszi, hogy bizonyos technikai paraméterek mentén keressünk kapcsolódó termékeket, a szabványosítás miatt akár több oldal ajánlatait is összevetheti számunkra egy ágens.

A sémák tkp. viszonyokat adnak meg. Egy terméknek van neve (sőt több elnevezése is lehet akár), lehet tervezője, gyártója, előállítási és eladási helye többek között. A tervezőt is le írhatjuk több jellemzővel, pl. lakhelye, munkahelye, beosztása, alkotásai, munkatársai jellemezhetik. A viszonyok a különböző entitások (leírt dolgok, emberek, fogalmak) között jönnek létre akár csak az internetes oldalak között a linkek, ezért a sok sok szemantikus adatot tartalmazó adatbázisokat linked data (linkelt/kapcsolt/összekötött adatok) néven szokták emlegetni.

Jelenleg nagyon sok linkelt adathalmaz létezik, szabad hozzáférésű mint pl. a Freebase, teljesen szabadon felhasználható (ezért akár letölthető és módosítható) mint pl. a Wikipediát feldolgozó DBpedia, fizetős adatbázisok vagy éppen egyedi megrendelésre készült zárt adatbázisok. Sokak vonják le elhamarkodottan azt a következtetést, hogy a szemantikus web nem váltotta be a hozzá fűzött reményeket hiszen az adatbányászat (vagy az ún. data science/adattudomány) és a gépi tanulás területéről sokkal többet hallani manapság. Ez azonban nem meglepő, hiszen lehetetlen vállalkozás lenne linkelt adatok formájában kézileg feldolgozni minden netes tartalmat. Ám ezen adatfeldolgozási módszerek nem alternatívái a szemantikus webnek, hanem kiegészítői, hiszen lehetővé teszik hogy a (gépi feldolgozás szempontjából) strukturálatlan tartalmakat feldolgozzuk és linkelt formára hozzuk.

Nehéz lenne felsorolni mi mindenre lehet felhasználni a szemantikai információt. Önmagában a tény hogy vállalkozásokat (mint pl. a Factual vagy a Wordnik) lehet alapozni az adatok gyűjtésére és elérhetővé tételére már mutatja, hogy nem csak egy ígérettel vagy kísérleti projekttel állunk szemben. A szemantikus keresés utat nyit arra, hogy egy adott kifejezés szinonimáira vagy alternatív formáira is keressünk egy időben vagy hogy pontosítsunk egy kétértelmű keresést.