Comment fonctionnent les robots d'exploration

1. Comment fonctionne le robot d'exploration

Le robot d'exploration Web, c'est-à-dire Web Spider, est un nom très vivant. Si Internet est comparé à une toile d’araignée, alors une araignée est une araignée qui rampe sur la toile. Les robots Web recherchent des pages Web via leurs adresses de liens. À partir d'une certaine page du site Web (généralement la page d'accueil), lisez le contenu de la page Web, recherchez d'autres adresses de lien dans la page Web,

puis utilisez ces adresses de lien pour trouver la page Web suivante , et ce cycle se poursuit jusqu'à ce que toutes les pages de ce site Web aient été explorées. Si l’ensemble d’Internet est considéré comme un site Web, les robots d’exploration du Web peuvent alors utiliser ce principe pour explorer toutes les pages Web d’Internet. De cette façon, un robot d'exploration Web est un robot d'exploration, un programme qui explore les pages Web. L’opération de base d’un robot d’exploration Web consiste à explorer les pages Web. Alors, comment pouvez-vous obtenir la page que vous souhaitez exactement comme vous le souhaitez ? Commençons par l'URL.

　

Le processus d'exploration des pages Web est en fait le même que la façon dont les lecteurs utilisent habituellement le navigateur IE pour parcourir les pages Web. Par exemple, vous saisissez l'adresse www.baidu.com dans la barre d'adresse de votre navigateur. Le processus d'ouverture d'une page Web consiste en fait que le navigateur, en tant que « client » de navigation, envoie une requête au serveur, « récupère » les fichiers côté serveur localement, puis les interprète et les affiche. HTML est un langage de balisage qui utilise des balises pour marquer le contenu, l'analyser et le différencier. La fonction du navigateur est d'analyser le code HTML obtenu, puis de convertir le code original en page du site Web que nous voyons directement.

En termes simples, l'URL est la chaîne d'URL saisie dans le navigateur. Avant de comprendre les URL, vous devez d’abord comprendre le concept des URI.

Qu'est-ce qu'un URI ?

Chaque ressource disponible sur le Web, telle que les documents HTML, les images, les clips vidéo, les programmes, etc., est localisée par un identifiant de ressource universel (URI).

L'URI se compose généralement de trois parties :

Mécanisme de nommage pour accéder aux ressources
Nom d'hôte pour stocker les ressources ;
Le nom de la ressource elle-même, représenté par le chemin.
Il s'agit d'une ressource accessible via le protocole HTTP,
est située sur l'hébergeur,
Accès via le chemin "/html/html40".

2. Compréhension et exemples d'URL

L'URL est un sous-ensemble de l'URI. C'est l'abréviation de Uniform Resource Locator, traduit par « Uniform Resource Locator ». En termes simples, l'URL est une chaîne décrivant les ressources d'informations sur Internet et est principalement utilisée dans divers programmes clients et serveurs WWW. Les URL peuvent être utilisées pour décrire diverses ressources d'informations dans un format unifié, notamment des fichiers, des adresses de serveur et des répertoires, etc. Le format général de l'URL est (ceux entre crochets [] sont facultatifs) :

　　protocol :// hostname[:port] / path / [;parameters][?query]#fragment

Le format de l'URL se compose de trois parties :

La première partie est l'accord (ou méthode de service).
La deuxième partie est l'adresse IP de l'hôte où la ressource est stockée (incluant parfois le numéro de port).
La troisième partie est l'adresse spécifique des ressources hôtes, telles que les répertoires et les noms de fichiers.
La première partie et la deuxième partie sont séparées par le symbole "://", et la deuxième partie et la troisième partie sont séparées par le symbole "/". Les première et deuxième parties sont indispensables, et la troisième partie peut parfois être omise.

　

3. Comparaison simple de l'URL et de l'URI

L'URI est une abstraction de niveau inférieur de l'URL, une norme de texte de chaîne. En d’autres termes, les URI appartiennent à la classe parent et les URL appartiennent aux sous-classes d’URI. L'URL est un sous-ensemble de l'URI. La définition de l'URI est : Uniform Resource Identifier ; la définition de l'URL est : Uniform Resource Locator. La différence entre les deux est que l'URI représente le chemin vers le serveur de requêtes, définissant une telle ressource

. L'URL décrit également comment accéder à la ressource (http://).

　

Jetons un coup d'œil à deux petits exemples d'URL.

1. Exemple d'URL du protocole HTTP :

Utilisez le protocole de transfert hypertexte HTTP pour fournir des ressources pour les services d'informations hypertextes.

Le fichier hypertexte (le type de fichier est .html) est bienvenue.htm dans le répertoire /channel.

Ceci est un ordinateur du Quotidien du Peuple de Chine.

Le nom de domaine de l'ordinateur est www.rol.cn.Net.

Le fichier hypertexte (le type de fichier est .html) est talk1.htm dans le répertoire/talk.

Voici l'adresse du Red Chat Room. Vous pouvez accéder à la première salle du Red Chat Room à partir d'ici.

2. URL du fichier

Lorsque vous utilisez une URL pour représenter un fichier, le mode serveur est représenté par un fichier, suivi de l'adresse IP de l'hôte, du chemin d'accès au fichier (c'est-à-dire un répertoire), du nom du fichier et d'autres informations.

Parfois, les noms de répertoires et de fichiers peuvent être omis, mais le symbole "/" ne peut pas être omis.

L'objet de traitement principal du robot d'exploration est l'URL. Il obtient le contenu du fichier requis en fonction de l'adresse URL, puis le traite ultérieurement.

Par conséquent, comprendre avec précision les URL est crucial pour comprendre les robots d'exploration Web.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!