L'expression de la semaine: Web Spider
Le Web Spider, Web crawler ou Robot d'exploration est un programme conçu pour parcourir systématiquement des contenus sur Internet afin d'aider les internautes à trouver ce qu'ils recherchent.
En effet, ils sont généralement conçus pour collecter les ressources (pages Web, images, vidéos, documents Word, PDF ou PostScript, etc.), afin de permettre à un moteur de recherche de les indexer.
Cependant, il existe des Web Spider analysant finement les contenus afin de ne ramener qu'une partie de leurs informations. Dès les années 1990, il a ainsi existé des comparateurs de prix automatiques, puis des comparateurs performance/prix pour les microprocesseurs.
Nous avons nous mêmes créé un Web crawler que nous utilisons pour l'indexation et l'affichage des résultats de recherche sur Annu'pro, que vous pouvez découvrir en cliquant ici.
Quelques exemples de Web crawlers ou Web Spider:
- Heritrix est le robot d'archivage de l'Internet Archive.
- Xsearch, le robot d'indexation de Annu'Pro: il possède sa propre base de données qui est régulièrement mise à jour.
- OrangeBot est le robot d'indexation du moteur d'Orange LeMoteur.
- HTTrack , un logiciel aspirateur de site internet qui crée des miroirs des sites Web pour une utilisation hors ligne.
- GM Crawl est utilisé par le moteur de recherche vertical GM Recruitment et le moteur de recherche en langue arabe et arabish Asaasi.
- Googlebot de Google.
- Qwantify est le robot du moteur de recherche Qwant.
- OpenSearchServer le robot d'indexation de site Internet. Publié sous licence GPL, il s'appuie sur Lucene pour l'indexation.
- Methabot, un robot avec un système de configuration.
- Scooter de AltaVista
- MSNBot de MSN et Bing
- Slurp de Yahoo!
- MooveOnBot de mooveon.net
- gloObotBot de gloObot.com
- VerticrawlBot de Verticrawl
- YacyBot est le robot du moteur de recherche YaCy.
- BingBot, Adidxbot, BingPreview de Bing
- DuckDuckBot de DuckDuckGo
- AynidBot du moteur de recherche Aynid.
A découvrir aussi
- un tour dans le lexique: franchise commerciale
- l'expression du jour : Elevator pitch
- le mot de la semaine : immobilisation
Retour aux articles de la catégorie le glossaire -