Les moteurs de recherche, technologie et liste

Ils ne sont plus seulement un moyen de trouver un site traitant d'un sujet, ils veulent aller au-delà, répondre aux questions par exemple et sont devenus pour les webmaster l'élément essentiel de l'environnement. Voir notamment le futur des moteurs de recherche.

Technologie des moteurs de recherche

Pendant longtemps, la technique a consisté à associer un ensemble de mots-clés à une page, et afficher dans les résultats les pages correspondants aux mots-clés de la requête de l'utilisateur.

L'algorithme

Pour améliorer la pertinence, Google a inventé le PageRank: les pages sont classées en fonction du nombre et la qualité des liens pointant sur elles, pour un groupe de mots-clés.

A coté du PageRank, on voit le BrowseRank qui classe les pages selon l'activité des utilisateur, le TrustRank qui concerne l'indice de confiance sur la source. Le FreshRank vise lui a évalué la nouveauté des contenu et leur pertinance dans l'actualité.

Les référenceurs s'évertuent à comprendre le fonctionnement de l'algorithme, mais il est vain d'essayer de lui attribuer une logique. Tout au moins selon l'optique du webmaster, car le moteur à sa propre logique. Un site web est du point de vue du moteur comme une étoile perdue dans une infinité de galaxies lointaines. Rien qu'un petit point lumineux. Le webmaster ne comprend pas toujours comment le moteur positionne son site, mais pour ce dernier il s'agit de diriger les internautes dans cet amas d'étoile et de façon optimale. On sous-estime souvent la contraite de moyens que qu'implique le mot optimal.

Base de connaissance d'objets

Bing essaie de passer du texte à l'objet, tout comme Google. En 2012, 300 millions d'objets disposent d'une fiche descriptive dans la base de donnée de Microsoft. Lorsque l'on fait une requête, le moteur tente d'identifier l'objet concerné et retourne les résultats en rapport avec cet objet. Toutes les informations récoltées sur la Web, dans les pages, sur les sites sociaux, sont associées à un objet. Cela permet de fournir l'information sur celui-ci quand il est identifié dans la requête.

Google dispose d'un outil similaire qui commence à prendre forme dans les SERPs en 2012, et qu'il appelle Graphe de Connaissance. Cela consiste à afficher dans la page des résultats à coté de la liste de liens, des informations concernant l'objet de la recherche: des gens, des lieux, des oeuvres etc... Cela en texte et image.

Les données proviennent de Freebase, Wikipedia, CIA World Factbook, et autre sources. Elle contiennent en 2012 500 millions d'objets et 3.5 milliards de faits à propos de ces objets. Pour donner un exemple, si l'objet recherché est identifié comme étant Marie Curie, la page affiche sa photo, une biographie, des photos de personnes en rapport avec elle. S'il s'agit d'un peintre, on aura des images de ses toiles les plus connues.

Vidéo du Knowledge Graph.
Ce type de résultat fait l'objet d'une expérimentation par Google sur www.wydl.com depuis 2011 et on s'attendait à ce qu'il passe au moteur de recherche principal, ce qui à maintenant commencé en 2012.

Liste des moteurs de recherche

Vous pouvez inscrire gratuitement et simplement votre site sur les moteurs de recherche suivants (sauf moteurs spéciaux), les plus importants sont dans la liste. Noter que l’inscription sur l’annuaire Dmoz.org, vous inscrit d’emblée dans de nombreux moteurs… Cependant il peut être utile pour gagner du temps de référencer sur les moteurs (et non sur les annuaires) la description d’un site en construction…

About.com (8)
Permet de poser une question a laquelle des experts répondent.
Alexa.com (7)
Fournit aussi les statistiques de trafic de sites Web.
Voir comment Connaître le trafic d’un site avec Alexa.
Altavista.com (9)
L’ancêtre des moteurs qui à possédé 80% des parts de marchés - avant 1998.
Ask.com (4)
Bing. (9)
Remplace Live Search de Microsoft et se veut un moteur de décision. Les recherches se font par catégories.
Blekko.com (5)
Fournit des informations partielles de SEO sur les sites.
Citesearch.com (4)
Cnn.com (10)
Recherche dans l’actualité. Comme tous les sites en fait, mais très développé.
DuckDuckGo (5)
Une vue différente sur le Web.
Entireweb.com (6)
Europeana.eu (10)
Concurrent de Google sur la recherche de livres, constitue une bibliothèque virtuelle.
Excite.com (8)
Exalead.fr (7)
Offre des services particuliers tel que l’analyse du trafic pour un site basé sur les statistiques d’autres moteurs.
Gigablast.com (7)
Google (8)
Noter que Google n'utilise le répertoire Dmoz pour l’indexation des sites, comme d’autres moteurs et les descriptions Dmoz peuvent être reprises dans ses pages de résultats.
Lycos.com (8)
Mamma.com (7)
Virgilio.it (8) Italien.
Voila.fr (7)
Answers.wikia.com (6)
Devant l’échec du moteur de recherche classique, qui devait être pondéré par les utilisateurs mais ne l’était que par les spammeurs, est devenu un site question/réponses.
Wolfram Alpha. (8).
Moteur de connaissances qui réponds aux questions scientifiques.
Fr.yahoo.com (8)
Destiné à être remplacé par Bing.

Le chiffre entre parenthèses correspond au PageRank.

Searchmash.com, moteur expérimental de Google est fermé.

Recherche de code source

Après la fermeture de la recherche Google dans le code, il reste néanmoins des alternatives...

Ressources

CommonCrawl. Cette fondation a but non lucratif fournit un index de 5 milliards de liens sur les pages du Web. De quoi créer son propre moteur de recherche!
IndexTank. Le moteur de recherche de LinkedIn est open source. Cela inclut un framework pour maintenir l'index.
DuckDuckGo. Le moteur de recherche qui monte en ce moment est aussi open source sur GitHub.