Qu’est ce que le Text To Speech

Si vous êtes en train de lire cet article, c’est que vous devez très certainement savoir ce que c’est. Pour faire très simple, le Speech To Text (STT) permet de transcrire la voix (capture d’une entrée ou lecture d’un fichier audio) en texte. Ce procédé est très familier à beaucoup d’entre vous, car nous le rencontrons fréquemment dans notre société : les assistants comme Siri, Alexa, Google Assistant, … utilisent en partie cette technologie. Il permet aussi dans nos métiers de rédiger plus rapidement des rapports (de mise en production, d’incident, de bugs, …), de la documentation ou encore des cahiers des charges techniques. Et c’est pour ces raisons que j’ai décidé de remettre le nez dans la mise en place du STT sur Linux.

Ibus Speech To Text

C’est donc lors de ces recherches que je suis tombé sur ce package de PhilippeRo : IBus Speech To Text. Pour le contexte, je suis sur Fedora 41 (on ne juge pas, mais pour le dev, je trouve cette distrib cool) avec Gnome3 en WM. Je vais donc détailler l’installation pour cet environnement, à vous de l’adapter à votre distribution.

Installation

Sur Fedora, la commande suivante est suffisante
sudo dnf install ibus-speech-to-text gst-vosk

Pour gst-vosk, c’est un plugin GStreamer pour la reconnaissance vocale pour vosk. Si le package n’est pas disponible pour votre distribution, il vous suffira de suivre les instructions de build sur le GitHub d’IBus Speech To Text.

Configuration

Pour la configuration sur Gnome, voici la marche à suivre.

• Ajouter la source d’entrée. Pour cela on se rend dans les paramètres de Gnome et on clic sur Clavier => Ajouter une source de saisie.

• Ensuite on télécharge et on sélectionne le modèle VOSK

• On relance ibus dans un terminal avec la commande ibus restart

Utilisation

Pour utiliser le STT via l’API VOSK, il vous suffira simplement de sélectionner la source d’entrée « Autre (Speech To Text) » et de commencer à dicter.

La suite de cet article est destinée aux lecteurs qui souhaitent plus d’information sur les différentes solutions proposées dans cet article.

Une Brève Présentation d’IBus Speech To Text Input

IBus (Intelligent Input Bus) est le framework d’entrée par défaut sur de nombreuses distributions Linux, offrant une gestion centralisée des méthodes de saisie. La version dédiée au Speech To Text Input permet désormais de convertir la parole en texte en temps réel, une fonctionnalité particulièrement utile pour les environnements Linux. Contrairement à d’autres solutions, IBus Speech To Text Input intègre VOSK, un moteur de reconnaissance vocale open source, réputé pour sa légèreté, sa rapidité, et sa capacité à fonctionner en mode hors ligne.

Les Points Forts d’IBus Speech To Text Input

• Open Source et Libre : Pas de dépendance à une infrastructure propriétaire ou à un cloud, garantissant ainsi la confidentialité des données.
• Compatibilité et Intégration : S’intègre directement dans l’écosystème IBus déjà utilisé sur la majorité des distributions Linux.
• Fonctionnement Hors Ligne : Grâce à VOSK, la reconnaissance vocale peut se faire sans connexion internet, un atout majeur pour la sécurité et l’autonomie.
• Modularité et Flexibilité : Possibilité de configurer finement la reconnaissance en fonction des besoins de l’utilisateur.

Comparatif avec les Solutions de Microsoft et Apple

Les solutions de reconnaissance vocale de Microsoft et Apple dominent souvent le marché en raison de leur intégration poussée dans leurs écosystèmes respectifs (Windows et macOS/iOS). Cependant, plusieurs points de comparaison révèlent des différences notables :

Microsoft Speech To Text

• Points Forts :
  • Intégration native dans Windows.
  • Performance et précision élevées, soutenues par des algorithmes d’IA avancés.
  • Accès aux services cloud pour une amélioration continue via l’apprentissage machine.
• Limites :
  • Dépendance au cloud et aux services Microsoft, ce qui peut poser des problèmes de confidentialité.
  • Moins de contrôle sur les paramètres et les configurations pour les utilisateurs avancés.

Apple Dictation

• Points Forts :
  • Excellente intégration dans l’écosystème Apple, avec une interface utilisateur intuitive.
  • Optimisation pour la reconnaissance vocale dans plusieurs langues et contextes.
• Limites :
  • Fonctionnalité souvent liée aux services en ligne d’Apple, avec des préoccupations similaires en matière de confidentialité.
  • Moins personnalisable pour les utilisateurs souhaitant une approche sur mesure.

IBus Speech To Text Input (avec VOSK)

• Avantages :
  • Confidentialité et Indépendance : La solution est 100% open source, ne nécessitant aucune connexion à un service cloud. Vos données vocales restent sur votre machine.
  • Fonctionnement Hors Ligne : VOSK permet une reconnaissance vocale efficace même sans connexion internet, ce qui est un avantage décisif pour les environnements sensibles ou isolés.
  • Personnalisation : Les utilisateurs peuvent adapter et configurer la reconnaissance selon leurs besoins spécifiques, en modifiant les paramètres ou en intégrant d’autres modules open source.
  • Écosystème Linux : Pour les passionnés et professionnels du logiciel libre, cette solution s’intègre parfaitement à l’environnement Linux, offrant une alternative robuste aux solutions propriétaires.

L’Avantage de VOSK : Un Moteur Puissant et Légère

VOSK est au cœur de IBus Speech To Text Input. Ce moteur de reconnaissance vocale open source se distingue par plusieurs caractéristiques :

• Légèreté et Rapidité : VOSK est conçu pour être léger, permettant des performances optimales même sur des machines avec des ressources limitées.
• Support Multilingue : Il prend en charge une multitude de langues, ce qui en fait une solution polyvalente pour des utilisateurs internationaux.
• Compatibilité Hors Ligne : Contrairement à certains services propriétaires qui s’appuient sur le cloud, VOSK permet une reconnaissance efficace sans connexion internet, garantissant ainsi une meilleure confidentialité et un fonctionnement continu.
• Facilité d’Intégration : L’intégration dans IBus permet de bénéficier d’une interface utilisateur standardisée tout en profitant des performances de VOSK pour la conversion de la parole en texte.

Conclusion

IBus Speech To Text Input, enrichi par VOSK, se présente comme une alternative puissante et flexible aux solutions de reconnaissance vocale propriétaires proposées par Microsoft et Apple. Pour les utilisateurs Linux soucieux de confidentialité, de personnalisation et d’autonomie, cette solution open source offre un équilibre parfait entre performance et respect de la vie privée.
Merci à PhilippeRo pour cette contribution trop peu connue à mon goût et bon STT à tous !

Plutôt que de vous lancer dans la mise à jour des images docker and co, je vais vous donner une astuce super simple qui vous permettra de résoudre ce problème facilement et rapidement.

On va commencer par lancer un terminal en root sur notre docker qui expose tout ce beau monde :

sail root-shell

Et ensuite on va simplement mettre à jour composer :

composer self-update

Et voilà, le tour est joué !

P.S. : Pour celles et ceux que ça intéresse, on peut aussi se connecter en simple user via

sail shell

Les liens symboliques

Avant de continuer, veuillez noter que cette méthode fonctionne pour une nouvelle installation uniquement !! Si vous avez une installation existante sur laquelle vous n’avez encore rien fait, il vous faudra la désinstaller au préalable.

C’est alors que m’est venue cette idée de tester une installation en utilisant les liens symboliques. Petite recherche sur le net, et il est possible de faire ça sur Windows : bingo !!
Première étape, on identifie les dossiers sur C: dans lesquels Docker place ses différents fichiers. Voici les principaux dossiers identifiés :

• C:\Program Files\Docker\Docker
• C:\ProgramData\Docker
• C:\ProgramData\DockerDesktop
• C:\Users\Username\AppData\Local\Docker (Username étant votre nom d’utilisateur local)

On va donc commencer par créer les répertoires sur la partition sur laquelle nous souhaitons installer Docker. Pour l’exemple, nous choisirons D:\Docker

Nous allons donc créer les répertoires suivants :

• D:\Docker\Program Files\Docker
• D:\Docker\ProgramData\Docker
• D:\Docker\ProgramData\DockerDesktop
• D:\Docker\AppData\Local\Docker

Maintenant, nous allons créer les liens symboliques qui vont bien. Il vous faudra lancer une invite de commande en mode administrateur.

mklink /D "C:\Program Files\Docker" "D:\Docker\Program Files\Docker"

mklink /D "C:\ProgramData\Docker" "D:\Docker\ProgramData\Docker"

mklink /D "C:\ProgramData\DockerDesktop" "D:\Docker\ProgramData\DockerDesktop"

mklink /D "C:\Users\Username\AppData\Local\Docker" "D:\Docker\AppData\Local\Docker"

N.B. : Si vous avez des erreurs lors de l’exécution de ces commandes, assurez vous que les dossiers n’existent pas sur la partition source (C: dans notre cas).

Et une fois tout cela fait, il ne vous restera plus qu’à installer Docker

Avantages de cette méthode :

• Assez simple à mettre en place
• Ne dépend pas de commandes docker spécifiques
• Peut être facilement déplacé sur une autre partition (il suffira de changer la destination des liens symboliques)
• Évolutive si l’arborescence venait à changer (création des liens symboliques qui vont bien)

Inconvénients :

• Si jamais l’arbo change, les fichiers seront à nouveaux sur la partition d’origine (C:\)
• Si vous souhaitez déplacer une installation existante, il vous faudra ruser pour déplacer le volume qui se trouve dans le dossier C:\Users\Username\AppData\Local\Docker\wsl\data
• Je vais sûrement me faire pourrir par les puristes de docker, mais je l’avoue, je ne suis ni un expert Docker, ni un expert Windows. Cette méthode à le mérite de fonctionner.

Ayant – enfin – décidé de basculer sur la version 8.0 de Laravel, je me suis donc intéressé à sail (utilitaire permettant de construire et monté des containers docker « ready to use » pour Laravel). Comme j’utilisais auparavant Laradock pour avoir mon environnement de dev, je me suis donc dit que j’allais faire d’une pierre deux coups : passer à Laravel 8 et tester sail. Mais ça, c’était avant le drame …

En effet, en suivant la doc dédiée à sail, tout se déroule à merveille jusqu’à la commande « sail up » (qui permet de lancer les containers docker et d’avoir un environnement « ready to use »). Le container mailhog ne peut pas se lancer car le port 1025 est déjà utilisé :/ Un petit netstat et je m’aperçois que le client synology cloud-backup tourne déjà sur ce port.

Bon, retour sur la doc de Laravel, et après une courte recherche, je vois que le dernier paragraphe s’intitule « Customization » : très intéressant. Et là miracle, une commande sail permet de générer la conf docker !!
Du coup, voici les commandes à lancer dans l’ordre :

• Arrêter le client synology cloud-backup
• Lancer l’environnement docker à l’aide de la commande « sail up »
• Publier la conf docker (afin de pouvoir la modifier et re-build les images) à l’aide de la commande « sail artisan sail:publish »
• Arrêter les containers : « sail down »
• Modifier le port de mailhog dans le docker-compose.yml. On remplace

ports:
            - '${FORWARD_MAILHOG_PORT:-1025}:1025'

par

ports:
            - '${FORWARD_MAILHOG_PORT:-1125}:1025'

• On re-build les images : « sail build –no-cache »
• Relancer les containers : « sail up » (Miracle, ça fonctionne )
• Ne pas oublier de modifier le port de mailhog dans votre .env (on remplace 1025 par 1125)

Et voilà, tout est fonctionnel !! Vous pourrez de cette manière modifier comme vous le souhaitez les ports des différents containers docker si certains des ports par défaut vous posent des soucis.

Pour aller plus loin, un tout petit aparté sur sail, qui est vraiment bien foutu pour exécuter toutes les commandes utiles que vous exécutiez auparavant via « docker-compose exec … »

Pour faire court, voici les commandes sail indispensables pour laravel (à utiliser avec les paramètres qui vont bien , comme par exemple « sail artisan migrate » ou « sail npm run dev ») :

• sail artisan
• sail npm
• sail composer

Pour terminer, un dernier petit tip pour ceux qui débutent avec docker, vous pouvez bien entendu lancer les containers en daemon en ajoutant « -d » à la commande up.

sail up -d

Il ne faudra pas oublier de faire un sail down pour arrêter tout ce beau monde.

This post will tackle an issue for all users of pimp OS who are unable to boot when they enable the 4G feature into the BIOS (especially for MSI motherboard). My motherboard is a MSI B150 PC-MATE flashed with the latest BIOS (7971vCC). I’m using the current stable pimp-os release (pimp-2.1-rc3-amdgpu.zip ) on this post, so if you’re using a different version, please take a look at the refind.conf file (last section of this post).

What’s the problem and solution ?

The problem i’ve encountered is when i enabled the « Above 4G decoding » into the bios, Pimp doesn’t boot anymore.

After some researches, i found a post who retain my attention. When you enable this feature,  all devices must have 64 bits addresses, including HD so your drive should be GPT (*not necessary in our case) and boot should be UEFI.
So I decide to verify some stuff. I checked the pimpos img partitions and it appears that there’s no efi partition …

So it’s a good thing !! I’ve a track to exploit Let’s go !!

Mount and modify the second partition

For all screenshots and examples, i’ll use « /dev/sdd » disk. So adapt with your device (use fdisk -l).

The first step is to modify the second partition like this :

1.  Write the image to your SSD/HDD (pimp os user guide section 2.2)
2. Check the partitions with « sudo fdisk -l /dev/sdd »
3. Change the second partition type and make it bootable
   1. sudo fdisk /dev/sdd
   2. t (change partition type)
   3. 2 (partition number)
   4. ef (partition type => ef correspond to efi)
   5. a (toggle a bootable flag)
   6. 2 (partition number)
   7. w (write changes)
4. Mount and remove content on the second partition
   1. sudo mkdir /mnt/efi
   2. sudo mount /dev/sdd2 /mnt/efi
   3. sudo rm -rf /mn/efi/System\ Volume\ Information/

Use rEFInd to enable EFI boot

In order to not modify all the disc, i decide to use rEFInd for adding EFI. If you want you can download the full version on the website, or just use my ready to use version for pimp

If you use my version, just follow these few steps :

1. sudo tar -xpzf /path/to/my/efi-pimp.tgz -C /mnt/efi
2. cd
3. sudo umount /mnt/efi
4. sudo rm -rf /mnt/efi
5. sync

And you’ve finished !!

Important things to check !!

First of all, check your device !! I’m using /dev/sdd and /dev/sdd2 (for second partition) on my post, but it could be /dev/sdb and /dev/sdb2 or another one.

And if the version of pimp-os is not the same as the one used in this article, take a look at the refind.conf file into the /mnt/efi/EFI/BOOT/ directory (after extracting my rEFInd configuration in section 2 on paragraph below) in order to use correct kernel image and initrd (you have to mount the first partition and check the filename in the /boot directory)

I hope that this article will help you. I know that’s a « technical » article, especially for non-linux user, but i think that melt will have a look at it and add EFI for future releases of Pimp OS

Voici donc le tweet en question :

Et le bookmarklet qui va bien (il vous suffit de glisser le lien dans votre toolbar) :
Word remover

Pour l’utiliser rien de plus simple, il vous suffit d’entrer un mot clé :
book

Ou une expression régulière :
(book|bien|glisser)

Ce qui vous permettra de supprimer les mots « book », « bien », « glisser » du texte.

Voilà, ça reste un POC, donc si vous souhaitez l’améliorer, à vous de jouer

Aujourd’hui je vais sortir un article des brouillons suite à 2 articles que j’ai pu lire ces 2 dernières semaines. Le premier qui est en fait l’écoute du podcast de Julien chez Laurent Bourrelly et le second un article de Julien expliquant ce qu’il lui est arrivé en balançant son réseau sur twitter. Donc avant toutes choses et pour que cela soit bien clair pour la suite de l’article, je tiens à préciser que je n’ai absolument rien contre Julien. C’est juste le déclencheur de la reprise d’activité sur ce blog

L’anonymat, l’allié des réseaux de sites

Monter un réseau de sites et lui donner un minimum de power, cela peut parfois prendre du temps (tout dépend du niveau d’automatisation que vous avez mis en place en amont ET en aval). Le rendre intraçable est une des conditions qui doit être réfléchie avant la création de ce réseau et cela pour différentes raisons :

• Ne pas montrer à Google : « Hey man, t’as vu tous ces sites. Ce sont les miens !! »
• Ne pas montrer à vos concurrents : « Hey men, vous avez vu ces sites. Ce sont les miens !! »
• Eviter que quand votre famille tape votre nom de famille dans un moteur de recherche, elle tombe sur des résultats de whois avec des NDD qui sont parfois assez explicites (vous savez les fameux EMD).

Ainsi pour éviter de se faire tracer, le gestionnaire de réseau doit prendre plusieurs précautions :

• Ne pas mettre ses sites dans GWT (où alors avec des identités différentes, mais bon à éviter quand même)
• Faire attention avec les codes de tracking analytics (que ce soit avec Piwik, GA, …).
• Faire attention avec les codes d’affil et de ads
• Bloquer les bots indésirables via .htaccess
• Prendre des whois anonymes
• Ne pas mettre tous ses sites sur le même serveur. Varier au max les IP
• Varier au max les templates et CMS des sites de son réseau
• Faire attention à certains plugins de CMS (je pense notamment à mainWP, mais il y en a d’autres)
• Faire attention aux fichiers que vous incluez sur vos sites (js, css). C’est parfois un aspect qui est négligé et qui permet de remonter un réseau, comme nous pourrons le voir par la suite.

Comment réussir à identifier et obtenir un réseau

Il existe plusieurs façons pour identifier un réseau de sites. En fonction des précautions que le gestionnaire du réseau aura prises, certaines de ces solutions seront inefficaces.

Le Whois

Le whois d’un nom de domaine recense les informations sur les coordonnées de l’hébergeur, du propriétaire, du contact technique … . Sur linux la commande « whois » permet d’obtenir ces informations. Mais il existe une multitude de sites qui permettent d’obtenir ces informations, comme par exemple : http://whois.domaintools.com/

Pour obtenir la liste des sites appartenant à une personne donnée, un footprint comme celui-ci fera l’affaire :
"Nom" + "Adresse" + site:whois.domaintools.com

Les sites hébergés sur la même adresse IP

Comme nous l’évoquions précédemment, certains sites sont hébergés sur un serveur dédié avec la même adresse IP. Pour cela, je vous renvoi sur un POC que j’avais publié en 2011 : https://www.renardudezert.com/2011/02/14/lopportunite-souvent-negligee.html

Les fichiers « inclus »

C’est ce dernier point qui sera le plus souvent négligé lors de l’élaboration d’un réseau. Jusqu’il y a peu de temps, il n’existait pas de moteurs qui permettaient d’effectuer des recherches dans le code source des pages qu’ils avaient crawlées. Mais avec l’explosion et la « mode » du Big Data de ces dernières années, certains moteurs se révèlent très efficaces dans ce domaine. Je vais vous parler de nerdyData, qui lorsqu’il était sorti s’annonçait déjà prometteur (cf ce RT).

Pour en revenir au cas de Julien, il y a bien sur l’effet twitter qui est indéniable. Mais si la personne qui a balancé le réseau était un peu plus maline, elle aurait pu identifier le réseau d’une autre manière.

Voici comment je suis arrivé à retrouver des sites en quelques clics. La première « erreur » vient d’un script inclus (bha oui, c’est quand même le titre de cette section).

Il me permet de récupérer déjà pas mal de sites (230 pour être exact).

Pour aller encore plus loin, il suffit ensuite de scraper chaque site, de récupérer les status code pour vérifier ceux qui sont en ligne, de récupérer les id adsenses, de dédoublonner et de retourner sur nerdyData pour obtenir les résultats. Voici ce que j’obtiens par exemple pour un id (59 résultats via nerdyData, contre 50 via SpyOnWeb) :

Conclusion

Tout d’abord, je tiens à souligner que je ne veux pas faire la morale sur la bonne ou mauvaise gestion d’un réseau de sites. Ce n’est clairement pas le sujet de cet article. Je souhaitais juste donner plusieurs pistes aux personnes qui gèrent un où plusieurs réseaux de sites et qui souhaitent cloisonner au maximum. Il suffit parfois juste d’un petit oubli pour obtenir plusieurs sites d’un réseau. Keep it in mind

P.S. : Pour ceux qui souhaitent savoir comment bloquer le bot de nerdyData, voici la marche a suivre : http://nerdybot.com/ (et préférez le .htaccess au robot.txt :))

Première information : je ne suis pas mort. Deuxième information : j’ai participé en tant qu’intervenant avec Dz à la deuxième session du TeknSeo organisée d’une main de maître par Benoît Chevillot. Ce billet sera donc le point de vue d’un intervenant sur cet évènement et en toute objectivité bien sûr puisque je n’ai pas de lien d’affil à caser (spéciale dédicace à tous ceux qui savent de quoi je parle)

Le TeknSeo 2014 en chiffres

Le TeknSeo se déroule à Dijon et en chiffres (en vrac) c’est :

• 2 lieux magnifiques : merci aux Docks Numériques (http://www.lesdocks.net/) et au Cellier de Clairvaux
• 4 242 participants dont 2 121 filles (parité oblige)
• des dizaines de stars chez les participants (pas de noms, ils se reconnaîtront)
• 743 slides (dont 531 uniquement pour la présentation de Sylvain)
• 100 litres d’eau minérale la journée
• 891 litres de vin le soir
• 389 kms depuis chez moi
• 2 drônes (dont 1 qui avait la fonction élagage)
• 1 participant qui à son brevet de secouriste de drône en haute cîme
• 1 participant avec un blouson bleu et un pull sans rayures
• 1 SEO Rockstar possède 2 foies montés en RAID 1
• 1 Manga qui habite dans le 59 possède aussi 2 foies. Mais montés en RAID 0
• 1 DJ de folie
• 1 Bob cochonou
• 1 cochonou qui s’appelle Bob
• 1 live tweet de folie
• 2 photographes officiels
• 3 charmantes et adorables hôtesses
• 1 intervenant qui ne connaissait pas twitter
• 1 intervenant qui sautait comme un lapin pendant son atelier
• 1 intervenant qui avait une présentation de plus de 100 slides
• 1 intervenant dont les initiales du prénom représentent une marque connue de Whisky (coïncidence ? Je ne crois pas)
• 1 intervenant qui est un homonyme parfait de la personne qui a organisé l’évènement
• 1 intervenant qui est venu avec son frère et celui qui conduit c’est celui qui ne boit pas (l’autre n’aime pas les Opel Corsa)
• 1 intervenant #trololo
• 1 intervenant qui aime bien l’application mobile adopteunmec et qui fait des trucs bizarre avec
• 1 spinneur fou qui aime bien les dilemmes

Pour obtenir toutes les informations sur le lieu et les intervenants, je vous conseille de faire un tour sur le site officiel : http://teknseo.com/

Comment sont logés les intervenants

Pour ne pas vous mentir, c’est juste over la classe. Comme l’année dernière, je suis le mec qui n’a pas de bol avec les hôtels, mais après avoir violenté un peu le réceptionniste, me voici avec la carte de la chambre en main.
Je ne vais pas vous poser 3 tonnes de texte, les photos de l’hôtel seront bien plus parlantes.

La soirée

Une bonne tablée, un super repas, de bonnes barres de rires et une GoPro qui à du avoir mal à la focale et au micro !!

Bon normalement, tout ce qui se passe à la soirée reste à Dijon, mais au risque de me faire incendier, voici 2 photos prises lors de la soirée.

Encore un grand merci à Benoit d’avoir pensé à nous pour cette 2ème édition.
Merci également au staff, aux participants et aux intervenants. Ce fût un super évènement, j’ai été ravi de revoir les gens et rencontrer de nouvelles têtes. Keep the good vibe dude !!

Et pour terminer, voici d’autres articles plus sérieux sur le TeknSeo 2014 :

• http://www.yeca.pro/mon-teknseo-en-10-points-essentiels.html
• http://referencement.web-alliance.fr/blog/daniel-et-web-alliance-a-la-2eme-edition-de-teknseo/
• http://www.digimood.com/resume-teknseo-2014/
• http://communitymanagers.fr/retour-teknseo-2014/
• http://www.volumium.fr/blog/le-seo-technique-a-lhonneur-au-teknseo-2014-feed-back/
• http://www.techniques-referencement-seo.com/dijon-teknseo/
• http://www.xavfun.info/2014/04/06/teknseo-cetait/
]]> https://www.renardudezert.com/2014/04/14/le-teknseo-vu-par-renardudezert.html/feed 2 https://www.renardudezert.com/2013/11/21/le-nombre-de-resultats-google-du-flan.html https://www.renardudezert.com/2013/11/21/le-nombre-de-resultats-google-du-flan.html#comments Thu, 21 Nov 2013 09:50:05 +0000 https://www.renardudezert.com/?p=2135 Après plusieurs questions récurrentes d’utilisateurs de notre scraper, j’ai décidé de faire revivre ce blog et de publier cet article pour vous montrer l’inexactitude du nombre de résultats affiché par Google lors de vos recherches. Nous allons donc voir comment Google vous manipule en vous donnant des informations erronées.

La variation du nombre de résultats

Il existe différents cas pour lesquels le nombre de résultats d’une recherche peut varier :

1. Plus vous allez « resserrer » votre recherche, plus le nombre de résultats variera (nous y reviendrons plus tard)
2. La géolocalisation (utilisation de proxies, recherche depuis votre mobile, …)
3. La personnalisation des résultats (que l’on peut aujourd’hui lier au point précédent)
4. Le fait d’inclure les résultats ignorés
5. Votre vue (oui c’est écrit assez petit)
6. Le datacenter Google que vous interrogez n’est pas à jour par rapport aux autres (ou inversement)
7. Google qui veut vous faire croire jusqu’au bout qu’il fallait lui faire confiance

C’est bien le dernier point qui va nous intéresser dans cet article, car bien que les autres puissent influer sur le nombre total de résultat, le dernier point va vous montrer l’écart qu’il y a entre le nombre de résultats affichés sur la première page et la réalité.

Petit rappel

Cette information est donnée par Google à titre indicatif. C’est pour cette raison qu’elle est précédée du mot « Environ ». Cette information à été – et est toujours – très utilisée par les SEO pour déterminer la concurrence d’un mot clé ou d’une expression selon le footprint entré et le nombre de résultats retourné. Elle est également très utile pour savoir si le footprint de la mort que vous venez de dégoter pour placer vos spams spuns commentaires vaut le coup d’être exploité. Si vous obtenez 34 résultats dont 28 sur le même domaine, il ne sera peut-être pas utile de coder un template pour votre soft de spam préféré

Donc bien qu’indicative, cette donnée peut s’avérer très intéressante.

Il y a sur la toile de nombreux articles traitant de l’inexactitude du nombre de résultats affiché par Google (le premier point évoqué dans le chapitre précédent). Même si les articles que je vais vous citer ne sont pas récents, je vous recommande vivement de les lire :
– http://www.seroundtable.com/archives/023208.html
– http://searchengineland.com/why-google-cant-count-results-properly-53559
– http://www.seochat.com/c/a/search-engine-spiders-help/the-number-of-google-results-found-what-it-really-means/

Le mensonge

Passons maintenant au point qui nous intéresse : la différence entre le nombre affiché sur la première page et celui de la dernière.

Pour cela, je vais réaliser un test concret avec les conditions suivantes :

• L’adresse IP utilisée pendant toute la durée du test est la même
• Le datacenter utilisé pendant toute la durée du test est le même (173.194.40.216)
• Utilisation de la navigation privée
• Désactivation des résultats ignorés (&filter=0)
• Désactivation de la personnalisation des résultats (&pws=0)
• Un footprint qui retournera moins de 1000 résultats

C’est parti.
Afin d’illustrer les résultats et de vous laisser tester par vous même, je mettrai un lien vers la requête avant chaque screenshot.
J’ai décidé de prendre 2 exemples pour vous montrer que cela fonctionne dans presque tous les cas.

[one_half]
[box]
La première page de résultats pour la requête :
site:http://blog.axe-net.fr « seo »




[/box]
[/one_half]

[one_half_last]
[box]
La première page de résultats pour la requête :
site:https://www.renardudezert.com « seo »




[/box]
[/one_half_last]

[one_half]
[box]
L’avant dernière page de résultats pour la requête :
site:http://blog.axe-net.fr « seo »





[/box]
[/one_half]

[one_half_last]
[box]
L’avant dernière page de résultats pour la requête :
site:https://www.renardudezert.com « seo »





[/box]
[/one_half_last]

[one_half]
[box]
La dernière page de résultats pour la requête :
site:http://blog.axe-net.fr « seo »





[/box]
[/one_half]

[one_half_last]
[box]
La dernière page de résultats pour la requête :
site:https://www.renardudezert.com « seo »





[/box]
[/one_half_last]

Prenons maintenant un dernier exemple, beaucoup plus parlant.
Effectuons une recherche sur une expression exacte.

[box]Première page pour la requête : « Tarte nutella banane »





[/box]

[box]Avant dernière page pour la requête : « Tarte nutella banane »





[/box]

[box]Dernière page pour la requête : « Tarte nutella banane »





[/box]

Ce qu’il faut retenir

Sur les 2 premiers exemples, l’écart entre le nombre de résultats annoncé entre la première et la dernière page est assez faible. Cependant, comme nous avons pu le voir dans le dernier exemple, l’écart est vraiment énorme (306 résultats pour environ 12 400 annoncés sur la première page).
Donc si vous utilisez cette information pour vos propres besoin, je ne peux que vous conseiller de passer le paramètre start à 990 (Google ne peut pas afficher plus de 1000 résultats pour une requête donnée). Cela vous placera directement à la dernière page, et cela, même si la requête renvoi moins de 1000 résultats.
Vous pouvez vérifier par vous même avec les exemples que je vous ai donné dans cet article :
– site:http://blog.axe-net.fr « seo »
– site:https://www.renardudezert.com « seo »
– « Tarte nutella banane »

]]> https://www.renardudezert.com/2013/11/21/le-nombre-de-resultats-google-du-flan.html/feed 14 https://www.renardudezert.com/2013/04/11/formation-scrap-et-rddz-scraper.html https://www.renardudezert.com/2013/04/11/formation-scrap-et-rddz-scraper.html#comments Thu, 11 Apr 2013 12:39:02 +0000 https://www.renardudezert.com/?p=2052 Suite aux demandes de certains utilisateurs de RDDZ Scraper, nous avions effectué un sondage sur le forum afin de savoir si vous seriez intéréssés par une formation sur le web scraping avec RDDZ Scraper. Les réponses étant plutôt positives, nous avons décidé de réaliser ce projet.

A qui s’adresse cette formation

A tous ceux s’intéressant au scrap.
Cette formation a pour but de démocratiser le scrap afin d’en montrer les différentes utilisations et de le rendre accessible à travers notre outil.
Vous n’avez pas besoin de posséder RDDZ Scraper pour assister à cette formation.

Pour savoir si cette formation vous intéresse, voici le programme :

• 10H – 11H : Qu’est ce que le web scraping (concept, fonctionnement, utilisations, légalité …) ?
• 11H – 12H30 : A quoi sert-il (cas concret de recherche de footprints pour le SEO) ?
• 13H – 15H : Présentation et utilisation de RDDZ Scraper.
• 15H – 17H30 : Initiation à XPath. Comment modifier, ajouter vos propres cibles dans RDDZ Scraper.

Ou et quand ?

Lieu : SUPINFO Paris – 23 rue du Château Landon, 75010 Paris
Quand : le 25 mai 2013 de 10H à 12H30 et de 13H à 17H30.

Les tarifs

Tarif normal : 75€ TTC
Tarif étudiant (sur justificatif uniquement ) : 50€ TTC
Le repas du midi sera à votre charge.

Inscription

Les incriptions se déroulent ici.
La semaine du 6 Mai, vous recevrez un e-mail avec le lien pour effectuer le paiement.
Pour les étudiants, nous vous demanderons une copie de votre carte d’étudiant valide avant de vous fournir le lien de paiement à tarif réduit.

Y aura-t il une suite ?

En fonction des retours et du nombre de participants à la première édition nous envisagerons (ou pas) une deuxième session qui s’adressera à un public plus avancé.

Je tiens à remercier chaleureusement Franck Parienti de la société boite2.com sans qui nous n’aurions jamais pu vous proposer des tarifs aussi avantageux.

N.B. : Pour tous nos utilisateurs qui ont loupé l’information sur twitter, le programme d’affiliation est disponible. Rendez-vous sur le forum pour en savoir plus.

]]> https://www.renardudezert.com/2013/04/11/formation-scrap-et-rddz-scraper.html/feed 41