"Tutoriel vidéo sur l'apprentissage de PHP Crawler en trois jours" Un robot d'exploration Web est un programme qui obtient automatiquement du contenu Web et constitue un élément important des moteurs de recherche. Les robots d'exploration Web téléchargent des pages Web du World Wide Web pour les moteurs de recherche. Généralement divisé en robots d'exploration traditionnels et robots d'exploration ciblés, l'optimisation des moteurs de recherche est donc en grande partie une optimisation pour les robots d'exploration.