Comment créer un robot d'exploration Web en temps réel avec Elasticsearch et PHP-tutoriel php-php.cn

Comment créer un robot d'exploration Web en temps réel avec Elasticsearch et PHP

王林

Libérer： 2023-07-07 12:50:02

original

1575 Les gens l'ont consulté

Comment créer un robot d'exploration Web en temps réel à l'aide d'Elasticsearch et PHP

Introduction :
Un robot d'exploration Web est un programme automatisé qui collecte des informations sur Internet, les organise et les analyse. Elasticsearch est un moteur de recherche open source qui offre des fonctionnalités de recherche et d'analyse rapides et en temps réel. PHP est un langage de script côté serveur populaire. En combinant Elasticsearch et PHP, nous pouvons créer un robot d'exploration Web en temps réel qui récupère les données des sites Web et les stocke dans Elasticsearch à des fins de recherche et d'analyse.

Étape 1 : Installer et configurer Elasticsearch
Tout d'abord, nous devons installer et configurer Elasticsearch sur le serveur. Vous pouvez télécharger la version adaptée à votre système d'exploitation sur le site officiel d'Elasticsearch, puis l'installer et la configurer conformément à la documentation officielle.

Étape 2 : Configurer l'index Elasticsearch
Dans Elasticsearch, les données sont stockées dans l'index. Nous devons définir la structure et les champs de l'index. Voici un exemple de définition d'index pour stocker les données que nous récupérons du site Web :

PUT my_index
{
  "mappings": {
    "properties": {
      "title": {
        "type": "text"
      },
      "content": {
        "type": "text"
      },
      "url": {
        "type": "keyword"
      }
    }
  }
}

Copier après la connexion

Ici, nous définissons un index nommé "my_index" qui contient "title", "content" et "url" Trois champs. Les champs « titre » et « contenu » sont de type « texte », et le champ « url » est de type « mot-clé ». Vous pouvez définir plus de champs selon vos besoins.

Étape 3 : Écrire le code du robot d'exploration PHP
Ensuite, nous utiliserons PHP pour écrire un robot d'exploration Web simple afin d'explorer les données du site Web spécifié et de stocker les données dans Elasticsearch. Voici un exemple de code :

<?php

// 定义需要抓取的目标网站URL
$targetUrl = "https://www.example.com";

// 创建一个Elasticsearch客户端实例
$esClient = new ElasticsearchClient();

// 从目标网站上获取HTML内容
$htmlContent = file_get_contents($targetUrl);

// 使用正则表达式提取标题和内容
preg_match('/<title>(.*?)</title>/', $htmlContent, $titleMatches);
preg_match('/<body>(.*?)</body>/', $htmlContent, $contentMatches);

// 抓取到的数据
$title = $titleMatches[1];
$content = strip_tags($contentMatches[1]); // 去除HTML标签

// 构建文档
$document = [
    'index' => 'my_index',
    'body' => [
        'title' => $title,
        'content' => $content,
        'url' => $targetUrl
    ]
];

// 将文档存储到Elasticsearch中
$esClient->index($document);

echo "数据已成功存储到Elasticsearch中！";

?>

Copier après la connexion

Dans ce code, nous définissons d'abord l'URL du site Web cible à explorer. Ensuite, une instance client Elasticsearch a été créée pour interagir avec Elasticsearch. Ensuite, utilisez la fonction file_get_contents pour obtenir le contenu HTML du site Web cible, puis utilisez des expressions régulières pour extraire le titre et le contenu. Enfin, le document est construit et stocké dans Elasticsearch. L'opération de stockage utilise la fonction d'index fournie par Elasticsearch.

Étape 4 : Exécutez le code du robot
Enregistrez le code ci-dessus dans un fichier PHP et téléchargez-le sur votre serveur. Exécutez ensuite le fichier dans le terminal ou la ligne de commande pour démarrer l'exécution du robot.

$ php crawler.php

Copier après la connexion

Le robot explorera les données du site Web spécifié et les stockera dans Elasticsearch.

Conclusion :
En combinant Elasticsearch et PHP, nous pouvons créer un robot d'exploration Web en temps réel simple mais puissant. Grâce aux capacités de recherche et d'analyse d'Elasticsearch, nous pouvons facilement rechercher et analyser les données analysées. J'espère que cet article vous sera utile, allez essayer de créer votre propre robot d'exploration Web en temps réel !

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!