Jean Véronis - Technologies du langage

Wikio: Plus de 100 000 blogs UK

Fri, 26 Jun 2009 08:35:00 +0100

J'ai été discret ces derniers temps. J'étais à fond sur un projet qui a requis toute mon attention : l'augmentation du nombre de blogs UK pour Wikio (www.wikio.co.uk). Le site UK est le dernier né de la série des sites Wikio (après wikio.fr, wikio.it, wikio.es, wikio.de et wikio.com), et il a toujours été un peu le parent pauvre en ce qui concerne l'étendue de ses sources. J'ai donc mis en place depuis quelques semaines des algos adaptés, et je suis heureux de vous annoncer que le site UK a dépassé 100 000 blogs cette nuit. Exactement 113 000 à l'heure où j'écris, et ce chiffre va encore augmenter dans les heures qui viennent : il y a encore pas loin de 30 000 blogs dans les tuyaux.

Si vous allez sur le site vous verrez "Live breaking news from 156920 blogs", mais c'est le nombre des blogs anglophones, et pas seulement celui des blogs UK. Le même nombre est d'ailleurs affiché sur wikio.com. Les deux sites puisent dans la même base, mais n'affichent pas les mêmes infos : c'est une question de pondérations. Le site UK affiche en priorité les news UK, et le site US affiche en priorité les news US (d'où la nécessité de localiser la source). Vous pourrez par exemple voir les différences de réactions sur des événements internationaux, que ce soit la situation en Iran, ou la mort de Michael Jackson : ce n'est pas inintéressant !

C'est hélas très compliqué à faire dans la pratique ! Il est extrêmement difficile pour des machines de déterminer si une source est britannique ou américaine (ou canadienne, australienne, etc.). Evidemment, dans le cas où l'url se termine par .co.uk, il n'y a guère de doute. Mais c'est rarement le cas. La plupart des blogs britanniques sont des blogspot.com, wordpress.com, etc.

Les algorithmes sont donc très délicats, et à ma connaissance, aucun service ne propose une discrimination correcte US/UK. Si vous essayez Google Blogs Search ou Technorati, vous verrez par exemple que c'est un gros méli-mélo sans tri véritable autre que (peut-être) sur le domaine .co.uk.

La difficulté provient du fait qu'aucun critère n'est fiable à lui tout seul. On peut par exemple s'appuyer sur l'orthographe. On sait que les Britanniques écrivent colour ou neighbour et non color, neighbor comme les Américains. Utilisable, mais il n'y a que très peu de mots concernés, et on n'est pas certain de les trouver sur un blog lambda. Pour tout compliquer, Canadiens, Australiens et autres pays du Commonwealth utilisent eux aussi l'orthographe britannique. On peut également s'appuyer sur le profil du bloggueur : s'il mentionne "London, UK", c'est gagné. Mais il n'y a pas toujours un profil (loin de là), et encore faut-il le trouver et savoir l'analyser. Le Web 2.0 manque un peu de standards ! Dans la pratique c'est plutôt un gros bricolage...

On peut également s'appuyer sur la topologie de la blogosphère (j'espère qu'on pourra beintôt vous montrer de belles cartes US/UK sur le modèle de la Wikiopole FR). Les blogs UK citent principalement les blogs UK, et les blogs US les blogs US. Le Web n'est qu'une somme de communautés... Dans la pratique c'est un peu plus piégeux : les blogs UK citent aussi des blogs US (mais, l'inverse est rare, ce qui facilite un peu les choses).

Bref, pour arriver à un "sourcing" fiable, il faut mixer tous ces critères entre eux, et je vous garantis que ça n'a pas été simple. Mais je suis plus que content du résultat, à la fois en terme de couverture et de fiabilité. Le site UK est maintenant le deuxième site Wikio en nombre de blogs. J'espère qu'il vous sera utile si vous vous intéressez à la culture britannique, et si vous voulez découvrir les blogs d'Outre-Manche. J'aurais adoré ça quand j'apprenais l'anglais au lycée (il n'y avait que la BBC en ondes courtes, c'est vous dire...). Les classements par catégories sont encore bien légers, mais je suis en train d'y travailler d'arrache-pied avec une équipe d'étudiants de master que Wikio a eu la gentillesse de prendre en stage, et nous voyons déjà émerger de très belles catégories. Je ne sais pas si certaines (peut-être Wine & Beer) verront le jour dès le prochain classement, mais sinon, en tout cas, fin juillet.

Ca aussi c'est un sacré challenge : catégoriser de la façon la plus fiable possible les thématiques de centaines de milliers de blogs... Pas simple : bel exemple de sémantique et de topologie entremêlées. Mais ce sera l'objet d'un autre post, je ne veux pas vous lasser !

Sarko: La crise ? Tous coupables

Wed, 06 May 2009 12:58:00 +0100

Ca fait longtemps que je ne vous ai pas parlé de l'Omniprésent, du Pater patriæ... Il faut dire qu'après la publication du livre (Les Mots de Nicolas Sarkozy) que j'ai co-écrit avec Louis-Jean, j'avais fini par ressentir une sorte de saturation. Et puis j'ai trouvé de nouveaux terrains de jeu comme vous avez pu le voir récemment.

Quand Le Monde m'a demandé de faire un papier avec mon compère sur les mots de Nicolas Sarkozy face à la crise, j'ai d'abord eu un haut le cœur... Mais le linguiste a repris le dessus. Voici donc la livraison du jour, que Le Monde.fr a eu la gentillesse de mettre en Une (bon pour l'ego... et pour les stats !). Comme la Une bouge vite, je pense que le papier n'y sera plus quand vous cliquerez. Voici donc le lien direct.

Bonne lecture !

Blogs: Les écrivains dont on parle le plus

Fri, 01 May 2009 07:58:00 +0100

Mes petits nuages sur le vocabulaire des blogs Wikio semblent avoir eu du succès... Notamment pour les blogs littéraires chez Romans et Lectures, qui regrette toutefois qu'on ne voie pas les auteurs... Évidemment, mélangés à des mots hyper fréquents comme livre ou roman, ils n'apparaissent pas dans le nuage (ou alors éclatés en deux morceaux séparés, prénom + nom).

Ca m'a titillé. Voici donc le nuage des 100 écrivains les plus cités par les blogs du top littérature Wikio (toujours grâce à Wordle) :

Cliquez pour voir en grand (pdf)
(Vous pouvez copier librement cette image)

Paul Auster et Jane Austen se détachent franchement. Peut-être à cause de la traduction de Man in the Dark pour le premier (Seul dans le noir, Actes Sud 2009), et pour le nouveau roman de la seconde, Pride and Prejudice. Non, je rigole. C'est à cause du Challenge Jane Austen lancé par Happy Few il y a quelque temps, et qui a eu pas mal de succès — un truc de filles encore, comme quoi elles ne font pas que tricoter (pendant que les garçons continuent à se tripoter l'iPhone...).

Comment ça marche ? J'ai fait tourner mon détecteur d'entités nommées (un mot savant pour les noms propres) sur les blogs Wikio, et j'ai croisé le résultat avec mes bases de données. Il se trouve que j'avais justement une base d'écrivains, donc ça s'est fait en quelques clics... Du tout automatique : mes outils ne marchent pas mal (dit-il modestement), mais on sait jamais. Si vous voyez qu'un OVNI (objet virtuel non identifié) s'est glissé dans la liste, faites-moi signe, je sortirai le Tippex !

Libellés : Blogs, nuages, Wikio labs

Web: De quoi parlent les blogs ?

Tue, 28 Apr 2009 07:29:00 +0100

De quoi parle ce nouveau "continent" des blogs de loisirs créatifs qui semble littéralement exploser la blogosphère ces derniers temps ? Pour le savoir, j'ai mouliné avec l'aide de Thomas (développeur chez Wikio, avec qui c'est un grand plaisir de travailler !) les 100 premiers blogs de la catégorie Loisirs, et j'ai injecté tous les mots dans la superbe application Wordle, que vous connaissez certainement. Voilà le résultat :

Je l'offre en hommage à nos fières tricoteuses ! Le mot le plus utilisé est printemps. Joli, non? Maman, bébé, enfants, créations, que du bonheur. Est-ce que vous vous y retrouvez, les filles ?

Et quel contraste avec la blogosphère high-tech. Là, les mecs (le plus souvent) parlent de Google, d'iPhone, de Twitter... Bon, la différenciation culturelle des sexes, ce n'est pas encore fini ! Papa bricole (sur Internet, désormais), maman tricote (sur Internet aussi : finalement, c'est ce qui les rapproche !).

Et pour vous faire patienter pendant que vous vous rongez les ongles en attendant le prochain classement (non ?), voici le monde lexical de chacune des 15 catégories de blogs sur Wikio (cliquez sur l'image).

N'hésitez pas à copier et utiliser les images à votre guise (un p'tit lien de reconnaissance serait sympa). Et si vous voulez vous même jouer avec Wordle, et créer vos propres nuages, vous pouvez télécharger les données ici (chaque fichier contient deux colonnes, mot:fréquence — attention il faut utiliser http://www.wordle.net/advanced).

Bonnes créations et bonne promenade dans les nuages !

Libellés : Blogs, Wikio labs

Services: Suggestions sur Pages Jaunes

Thu, 16 Apr 2009 11:57:00 +0100

La fonctionnalité d'autocomplétion est à la mode. Google l'avait lancée avec son module de suggestion (pour l'anglais) dès 2005 (j'en avais parlé ici et ici). Elle est apparue ensuite sur Yahoo, sur Orange, et Google l'a aussi adaptée au français avec pas mal de retard (voir ici).

Depuis quelques minutes, elle est aussi disponible chez Pages Jaunes :

Dans le cas de Pages Jaunes, ce n'est pas si simple. Il ne suffit pas de remonter n'importe quelle requête fréquente tapée par les utilisateurs. Pages Jaunes est fidèle à sa tradition de qualité, et vous pourrez constater que par exemple dans le cas de couples pluriel/singulier, un seul remonte (ex.: plombier mais pas plombiers). D'ailleurs on nous propose (à juste titre) un plombier, mais des pompiers, un hôtel mais des vêtements, etc.

Le traitement des erreurs orthographiques est également soigné. Si vous suivez ce blog depuis longtemps vous savez sans doute qu'un bonne partie de la population tape génycologue au lieu de gynécologue (voir ici). Eh bien, tapez gen- : Pages Jaunes vous propose les gendarmeries, mais aussi les gynécologues.

Bien joué !

Lexique: La révolution des tricoteuses

Mon, 13 Apr 2009 22:39:00 +0100

On croyait le tricot passé de mode. Funeste erreur. Le dernier classement Wikio a créé une petite tempête en propulsant Froufrou et Capucine en 2e place, devant Techcrunch ! Nombre de geeks frustrés ont dû admettre avec plus ou moins de fair-play que c’était un passe-temps en pleine expansion (excellent résumé chez Thierry Roget et bonnes analyses chez Hypos, Fredzone, Narvic, etc.).

De fait, les blogs sur les loisirs créatifs sont littéralement en train d'exploser. Martine Silber a émis une hypothèse intéressante : ils remplacent peut-être bien une presse spécialisée disparue. Il fut un temps où cette image de femme tricoteuse exaspérait les féministes, mais si je lis bien Olympe, il me semble que ça s’apaise.

Il est vrai qu’au départ, le triquot n’était guère un instrument pour les faibles femmes, puisqu’il désignait familièrement un gourdin… C’était donc un proche parent de la trique ! Tricoter n’avait pas du tout le sens pacifique que nous lui connaissons : c’était littéralement rosser quelqu’un à coups de bâton. Avoir maille à partir avec quelqu’un pouvait vous valoir une tricotée, comme on disait alors (la maille n’était pas celle du tricot, c’était une monnaie valant un demi-denier, et partir voulait dire partager). De fil en aiguille (si l’on peut dire), tricoter s’est mis à vouloir dire sauter, danser en remuant beaucoup les jambes. Le tricotage désignait d’ailleurs l’action de remuer les jambes dans une situation bien particulière et plutôt horizontale, vous me comprendrez à demi mots… C’est cette idée de mouvement rapide qui a fait appliquer le mot, vers le XVIè siècle, au va et vient des aiguilles de ces dames.

Quelques siècles plus tard, les geeks l’ont en travers, et Froufrou (ou est-ce Capucine ?) leur fait un clin d’oeil amical en dédiant l’un de ses billets à la « révolution des tricoteuses »... Malicieuse Froufrou ! Les Tricoteuses ont eu leur moment de célébrité dans l’Histoire de France. Sous la Terreur, le Tribunal Révolutionnaire a besoin de faire légitimer son activité par les citoyens, et incite les femmes du peuple à s’installer dans les tribunes, où elles ont le droit de tricoter. Elles ne se privent cependant pas de perturber les débats, d’arroser les accusés d’insultes et de propos orduriers, y compris sur le trajet des charrettes jusqu’à l’échafaud. Elles se livraient même à de tels excès qu’on les a surnommées les « Furies de la guillotine ».

Les féministes peuvent se rassurer : les tricoteuses ne sont pas nécessairement des femmes soumises... Ca risque de chauffer dans la machosphère !

Bravo les filles. Je jubile (comme l’a deviné Narvic).

Outil: TreeCloud

Fri, 03 Apr 2009 08:32:00 +0100

Vous vous souvenez peut-être de mes nuages en forme d'arbre (je crois que le premier que j'ai publié était celui de la rumeur autour de Laurence Ferrari en décembre 2007, suivie de près par le buzz Laure Manaudou nue un peu plus tard). Philippe Gambette, étudiant au LIRMM, a développé un outil Open Source qui permet à tout un chacun de générer de tels nuages. C'est ici :

TreeCloud : http://www.treecloud.fr

Voici par exemple le nuage de l'ensemble des discours de campagne de Barack Obama. On peut faire différentes choses avec la coloration des mots. Ici elle reflète la position dans le temps. Le rouge correspond au début de la campagne (children, Irak, war, world), le bleu à la fin (McCain, Wall Street, crisis, taxes). Cela me semble refléter assez bien l'évolution des thèmes telle que je l'ai perçue.

Si vous voulez en savoir plus sur les techniques sous-jacentes, vous pouvez écouter la présentation que nous avons faite à Dresde (Allemagne) pour l'IFCS'2009 (c'est Philippe qui parle) :

Visualising a text with a tree cloud

A vous de jouer maintenant... des journées entières dans les arbres et les nuages !

Orange: Recherche pro dans le Moteur

Tue, 31 Mar 2009 08:20:00 +0100

Depuis quelques jours Orange a glissé une innovation intéressante en version beta sur son moteur de recherche (Le Moteur). Si vous tapez "restaurant Rognes" (par exemple), le moteur détecte que votre requête est probablement une recherche de professionnels, et fait apparaître un module de réponse annuaire (basé sur le 118712) en premier résultat (sous la pub).

Bien sûr, vous allez me dire que Google fait la même chose depuis longtemps. C'est vrai. Si vous tapez "hôtel à Paris", vous allez obtenir des réponses locales, avec en plus une carte fort pratique :

Il y a toutefois une différence... et même plusieurs. Ce type de résultats est malheureusement extrêmement bruité, car il est basé sur l'analyse du Web, et non de l'annuaire (même si mon petit doigt me dit que Google y songe depuis quelque temps !). Si vous utilisez le service régulièrement, vous verrez que vous avez une proportion importante de réponses à côté de la plaque (ou pas dans la bonne localité), de numéros de téléphone erronés, etc. De plus, dans bien des cas, Google ne répond simplement pas en recherche de professionnels. C'est le cas par exemple sur "restaurant Rognes", qui retourne une de ces pages de résultats désespérante, complètement phagocytée par les sites SEO :

Si vous avez de la patience, après avoir passé un quart d'heure à vous perdre dans des sites bourrés de pub et à lire des avis bidons, vous trouverez peut-être un restaurant dans cette charmante commune des Bouches-du-Rhône. Mais vous n'aurez aucune certitude qu'on vous les a tous proposés. Pire, partez sur une recherche de plombier, toujours à Rognes, et vous verrez que Google ne vous retourne que de pseudos-annuaires destinés comme toujours à vous faire avaler quelques pubs. C'est la plaie du Web.

Le Moteur d'Orange, quant à lui, vous propose sagement les données de l'annuaire officiel, qui par définition ne sont pas bruitées, et c'est, je pense, du temps gagné !

Alors, bien sûr, vous allez me dire qu'il y a aussi PagesJaunes.fr. Et vous avez raison. Pages Jaunes est de loin le numéro 1 de la recherche de professionnels en France, et pour l'instant la qualité du service est inégalée. Il faut dire qu'il y a quelques années de recherches supplémentaires (décennies, devrais-je dire, depuis le temps du Minitel !) par rapport aux concurrents, donc c'est normal. Cherchez par exemple "chauffe eau Rognes". PagesJaunes.fr "comprend" votre requête et vous propose toutes les activités en rapport :

Sur ce cas précis, après une bonne tartine de pubs, Orange nous renvoie... les randonnées pédestres en Savoie. Aiuto !

Mais ça c'est une autre histoire, c'est le moteur Web, qui demande encore quelques réglages, les gens d'Orange le savent et y travaillent.

Quoi qu'il en soit, mon but n'est pas de dresser un palmarès. Chaque service a ses avantages et inconvénients. L'intérêt de la recherche locale d'Orange est d'être imbriquée dans le moteur généraliste (sans être aussi bruitée que celle de Google). Cela peut plaire à ceux qui ont le réflexe Web : un seul moteur, on tape, et hop on part selon les cas sur du pro, du Wikipedia ou autres. Il est vrai que c'est pratique : combien de fois suis-je revenu sur Google (j'avoue !) après avoir fait une recherche Pages Jaunes, en copiant-collant le nom d'un professionnel pour trouver ce qu'on en disait sur le Web ?

A mon avis tout cela va bouger très vite et très fort dans les mois et les années qui viennent. Les enjeux de la recherche locale sont énormes, et les progrès à faire sont immenses. Nous sommes visiblement en pleine phase d'expérimentation et de compétition acharnée, et les jours sont comptés pour les pages de résultats SEO pourries de Google. L'internaute est devenu exigeant, et la recherche sur téléphone mobile va changer la donne (qui veut des pages SEO sur son iPhone ?).

Je ne me hasarde que rarement à faire des prédictions, mais là je m'y risque. Je suis convaincu que les trois acteurs que j'ai cités vont s'investir de plus en plus fortement dans le domaine de la recherche locale :

Google va essayer d'intégrer des annuaires, pour limiter le bruit et accroître la couverture (cf. "plombier rognes").
Pages Jaunes va essayer de s'ouvrir sur le Web. C'est déjà partiellement le cas : les sites des professionnels commencent à apparaître dans les descriptions, et c'est fort utile.
118 712 (Orange) va essayer de s'ouvrir sur une sémantique plus profonde, et associer chauffe-eau et plombier par exemple.

Gageons que dans deux ou trois ans, la recherche locale/professionnelle n'aura probablement plus grand chose à voir avec ce que nous connaissons aujourd'hui.

Wikio: 100 000 blogs

Fri, 27 Mar 2009 09:00:00 +0100

Sarko: M’enfin, qu’est-ce qui z’ont tous contre moi ?

Tue, 24 Mar 2009 16:58:00 +0100

Ce serait intéressant, un jour d’étudier comment les thèmes se propagent dans le monde journalistique... De temps à autre, émergent des sujets qui se mettent à faire boule de neige, sans qu'on voie bien le rapport avec l'actualité. Pourquoi, comment ? Mystère. Peut-être que les journalistes se lisent les uns les autres, et savent flairer les sujets qui ont l’air vendeur.

Cette semaine mon téléphone n’arrête pas de sonner... Sarkozy massacre le français, avez vous noté ? Pouvez-vous nous dire ce que vous en pensez pour la Gazette de Petaouchnok ? Enfin, Gazette de Petaouchnok ou pas, d’ailleurs, car c’est le très sérieux Times qui me demandait hier de prendre la température linguistique de notre président, et à l’instant c'est la BBC (qui lit sans doute le Times) qui me demande si Molière est mort une deuxième fois. L’affaire sort manifestement de l’hexagone. Rien de nouveau pourtant : où est l’actu ? Personne n’a jamais entendu les « M’enfin M’ame Chabot » pendant la campagne ? Sarkozy massacre la syntaxe depuis des années, et ça n’a jamais semblé émouvoir personne…

On pourrait tracer la propagation du « bon sujet » sur Google Maps. A ma connaissance la charge a commencé avec le coup de trompette d’Hélène Risser sur Public Sénat il y a quelques jours, qui me demandait ce que je pensais de la dégradation de subjonctif chez le président et autres avanies qu’il inflige à la langue française. Cela a-t-il inspiré des collègues ? Nous ne le saurons jamais, mais ça a suivi, Le Parisien titrait le 22 « Sarkozy malmène le français », et épinglait quelques jolis spécimens : « Si y en a que ça les démange d’augmenter les impôts… », « On se demande c’est à quoi ça leur a servi ? », « J’écoute, mais je tiens pas compte ! », etc. Il faut dire qu’en pleine semaine de la langue française, le sujet est bon. Et puis, on ne sait plus trop quoi dire sur Sarko : on a déjà tout dit dix fois (et lui aussi). Saturation médiatique. Alors pour une fois qu’on tient un truc vendeur… Le 23 c’est Actu.be qui reprend l’info et titre « Sarkozy, terroriste de la langue française ». Rien que ça. Puis, comme je le disais, le Times s’y met hier, ce soir ou demain la BBC…

Ou cela va-t-il s’arrêter ? J’aimerais bien voir la carte en temps réel. Les journalistes américains lisent le Times de Londres, donc il y a gros à parier qu’on va voir quelque chose dans le NYT, ou dans l’Iowa Sentinel.

En tout cas, à 50 ans, si t’es président et tu sais pas parler, alors y’a de l’espoir dans les banlieues ! Arrêtez de voler des Rolex, les mecs. Continuez à massacrer la langue, z’y va, et vous avez de l'avenir.