Crawler

Un robot d’indexation ou araignée ; en anglais web crawler ou web spider est un logiciel qui explore automatiquement le web.

Il est généralement conçu pour collecter les ressources (pages Web, images, vidéo, documents Word ou PDF ou PostScript, etc.) indexées par un moteur de recherche.
Certains robots sont utilisés pour archiver les ressources ou collecter des adresses électroniques auxquelles envoyer des pourriels.

Pour indexer de nouvelles ressources, un robot procède en suivant récursivement les hyperliens trouvés à partir d’une page pivot.