Le crawling d'un moteur de recherche consiste à explorer via des robots automatiser des contenus sur internet (sites web).
L'issue du crawling est d'indexer les pages crawlées pour qu'elles soient disponibles dans les résultats de recherche des utilisateurs.
