Les crawlers (syn. de spiders) sont mes cousins dans la
mesure où ils ont pour mission d'assister l'internaute. Chaque
moteur de
recherche en texte intégral possède son propre crawler. Ce dernier "crawle" ou littéralement "rampe" à la
recherche de documents sur le web. C'est un
robot qui parcoure l'ensemble du web 24h/24 à la recherchent des nouveaux documents et réalise des copies de ces documents dans une base de données. Ensuite, un retournement d'index est effectué: d'une base de données structurée autour des documents, on passe à une base de données structurée autour des mots-clés. C'est ce qui permet à l'internaute de réaliser des recherches par mot-clé.
index du Glossaire SEM/SEO