Elasticsearch와 PHP를 사용하여 실시간 웹 크롤러를 구축하는 방법
Elasticsearch와 PHP를 사용하여 실시간 웹 크롤러를 구축하는 방법
소개:
웹 크롤러는 인터넷에서 정보를 수집하여 정리하고 분석하는 자동화된 프로그램입니다. Elasticsearch는 빠른 실시간 검색 및 분석 기능을 제공하는 오픈 소스 검색 엔진입니다. PHP는 널리 사용되는 서버 측 스크립팅 언어입니다. Elasticsearch와 PHP를 결합하면 웹사이트에서 데이터를 스크랩하고 검색 및 분석을 위해 Elasticsearch에 저장하는 실시간 웹 크롤러를 구축할 수 있습니다.
1단계: Elasticsearch 설치 및 구성
먼저 서버에 Elasticsearch를 설치하고 구성해야 합니다. Elasticsearch 공식 홈페이지에서 사용하시는 운영체제에 맞는 버전을 다운로드 하신 후, 공식 문서에 따라 설치 및 구성하시면 됩니다.
2단계: Elasticsearch 인덱스 설정
Elasticsearch에서는 데이터가 인덱스에 저장됩니다. 인덱스의 구조와 필드를 정의해야 합니다. 다음은 웹사이트에서 스크랩한 데이터를 저장하기 위한 인덱스 정의의 예입니다.
PUT my_index
{
"mappings": {
"properties": {
"title": {
"type": "text"
},
"content": {
"type": "text"
},
"url": {
"type": "keyword"
}
}
}
}여기에서는 "title", "content" 및 "url" 세 개의 필드를 포함하는 "my_index"라는 인덱스를 정의합니다. "title" 및 "content" 필드는 "text" 유형이고 "url" 필드는 "keyword" 유형입니다. 필요에 따라 더 많은 필드를 정의할 수 있습니다.
3단계: PHP 크롤러 코드 작성
다음으로, PHP를 사용하여 지정된 웹사이트에서 데이터를 크롤링하고 Elasticsearch에 데이터를 저장하는 간단한 웹 크롤러를 작성하겠습니다. 다음은 예제 코드입니다.
<?php
// 定义需要抓取的目标网站URL
$targetUrl = "https://www.example.com";
// 创建一个Elasticsearch客户端实例
$esClient = new ElasticsearchClient();
// 从目标网站上获取HTML内容
$htmlContent = file_get_contents($targetUrl);
// 使用正则表达式提取标题和内容
preg_match('/<title>(.*?)</title>/', $htmlContent, $titleMatches);
preg_match('/<body>(.*?)</body>/', $htmlContent, $contentMatches);
// 抓取到的数据
$title = $titleMatches[1];
$content = strip_tags($contentMatches[1]); // 去除HTML标签
// 构建文档
$document = [
'index' => 'my_index',
'body' => [
'title' => $title,
'content' => $content,
'url' => $targetUrl
]
];
// 将文档存储到Elasticsearch中
$esClient->index($document);
echo "数据已成功存储到Elasticsearch中！";
?>이 코드에서는 먼저 크롤링할 대상 웹사이트 URL을 정의합니다. 그런 다음 Elasticsearch와 상호 작용하기 위해 Elasticsearch 클라이언트 인스턴스가 생성되었습니다. 다음으로 file_get_contents 함수를 사용하여 대상 웹사이트의 HTML 콘텐츠를 가져온 후 정규식을 사용하여 제목과 콘텐츠를 추출합니다. 마지막으로 문서가 Elasticsearch에 작성되어 저장됩니다. 저장 작업은 Elasticsearch에서 제공하는 인덱스 기능을 사용합니다.
4단계: 크롤러 코드 실행
위 코드를 PHP 파일에 저장하고 서버에 업로드하세요. 그런 다음 터미널이나 명령줄에서 파일을 실행하여 크롤러 실행을 시작합니다.
$ php crawler.php
크롤러는 지정된 웹사이트에서 데이터를 크롤링하여 Elasticsearch에 저장합니다.
결론:
Elasticsearch와 PHP를 결합하면 간단하면서도 강력한 실시간 웹 크롤러를 구축할 수 있습니다. Elasticsearch의 검색 및 분석 기능을 사용하면 크롤링된 데이터를 쉽게 검색하고 분석할 수 있습니다. 이 기사가 여러분에게 도움이 되기를 바랍니다. 가서 여러분만의 실시간 웹 크롤러를 만들어 보세요!
위 내용은 Elasticsearch와 PHP를 사용하여 실시간 웹 크롤러를 구축하는 방법의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
핫 AI 도구
Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱
AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.
Undress AI Tool
무료로 이미지를 벗다
Clothoff.io
AI 옷 제거제
AI Hentai Generator
AI Hentai를 무료로 생성하십시오.
인기 기사
뜨거운 도구
메모장++7.3.1
사용하기 쉬운 무료 코드 편집기
SublimeText3 중국어 버전
중국어 버전, 사용하기 매우 쉽습니다.
스튜디오 13.0.1 보내기
강력한 PHP 통합 개발 환경
드림위버 CS6
시각적 웹 개발 도구
SublimeText3 Mac 버전
신 수준의 코드 편집 소프트웨어(SublimeText3)
뜨거운 주제
7526
15
1378
52
81
11
54
19
21
74
Ubuntu 및 Debian용 PHP 8.4 설치 및 업그레이드 가이드
Dec 24, 2024 pm 04:42 PM
PHP 8.4는 상당한 양의 기능 중단 및 제거를 통해 몇 가지 새로운 기능, 보안 개선 및 성능 개선을 제공합니다. 이 가이드에서는 Ubuntu, Debian 또는 해당 파생 제품에서 PHP 8.4를 설치하거나 PHP 8.4로 업그레이드하는 방법을 설명합니다.
PHP 개발을 위해 Visual Studio Code(VS Code)를 설정하는 방법
Dec 20, 2024 am 11:31 AM
VS Code라고도 알려진 Visual Studio Code는 모든 주요 운영 체제에서 사용할 수 있는 무료 소스 코드 편집기 또는 통합 개발 환경(IDE)입니다. 다양한 프로그래밍 언어에 대한 대규모 확장 모음을 통해 VS Code는
이전에 몰랐던 후회되는 PHP 함수 7가지
Nov 13, 2024 am 09:42 AM
숙련된 PHP 개발자라면 이미 그런 일을 해왔다는 느낌을 받을 것입니다. 귀하는 상당한 수의 애플리케이션을 개발하고, 수백만 줄의 코드를 디버깅하고, 여러 스크립트를 수정하여 작업을 수행했습니다.
PHP에서 HTML/XML을 어떻게 구문 분석하고 처리합니까?
Feb 07, 2025 am 11:57 AM
이 튜토리얼은 PHP를 사용하여 XML 문서를 효율적으로 처리하는 방법을 보여줍니다. XML (Extensible Markup Language)은 인간의 가독성과 기계 구문 분석을 위해 설계된 다목적 텍스트 기반 마크 업 언어입니다. 일반적으로 데이터 저장 AN에 사용됩니다
JWT (JSON Web Tokens) 및 PHP API의 사용 사례를 설명하십시오.
Apr 05, 2025 am 12:04 AM
JWT는 주로 신분증 인증 및 정보 교환을 위해 당사자간에 정보를 안전하게 전송하는 데 사용되는 JSON을 기반으로 한 개방형 표준입니다. 1. JWT는 헤더, 페이로드 및 서명의 세 부분으로 구성됩니다. 2. JWT의 작업 원칙에는 세 가지 단계가 포함됩니다. JWT 생성, JWT 확인 및 Parsing Payload. 3. PHP에서 인증에 JWT를 사용하면 JWT를 생성하고 확인할 수 있으며 사용자 역할 및 권한 정보가 고급 사용에 포함될 수 있습니다. 4. 일반적인 오류에는 서명 검증 실패, 토큰 만료 및 대형 페이로드가 포함됩니다. 디버깅 기술에는 디버깅 도구 및 로깅 사용이 포함됩니다. 5. 성능 최적화 및 모범 사례에는 적절한 시그니처 알고리즘 사용, 타당성 기간 설정 합리적,
문자열로 모음을 계산하는 PHP 프로그램
Feb 07, 2025 pm 12:12 PM
문자열은 문자, 숫자 및 기호를 포함하여 일련의 문자입니다. 이 튜토리얼은 다른 방법을 사용하여 PHP의 주어진 문자열의 모음 수를 계산하는 방법을 배웁니다. 영어의 모음은 A, E, I, O, U이며 대문자 또는 소문자 일 수 있습니다. 모음이란 무엇입니까? 모음은 특정 발음을 나타내는 알파벳 문자입니다. 대문자와 소문자를 포함하여 영어에는 5 개의 모음이 있습니다. a, e, i, o, u 예 1 입력 : String = "Tutorialspoint" 출력 : 6 설명하다 문자열의 "Tutorialspoint"의 모음은 u, o, i, a, o, i입니다. 총 6 개의 위안이 있습니다
PHP에서 늦은 정적 결합을 설명하십시오 (정적 : :).
Apr 03, 2025 am 12:04 AM
정적 바인딩 (정적 : :)는 PHP에서 늦은 정적 바인딩 (LSB)을 구현하여 클래스를 정의하는 대신 정적 컨텍스트에서 호출 클래스를 참조 할 수 있습니다. 1) 구문 분석 프로세스는 런타임에 수행됩니다. 2) 상속 관계에서 통화 클래스를 찾아보십시오. 3) 성능 오버 헤드를 가져올 수 있습니다.
php magic 방법 (__construct, __destruct, __call, __get, __set 등)이란 무엇이며 사용 사례를 제공합니까?
Apr 03, 2025 am 12:03 AM
PHP의 마법 방법은 무엇입니까? PHP의 마법 방법은 다음과 같습니다. 1. \ _ \ _ Construct, 객체를 초기화하는 데 사용됩니다. 2. \ _ \ _ 파괴, 자원을 정리하는 데 사용됩니다. 3. \ _ \ _ 호출, 존재하지 않는 메소드 호출을 처리하십시오. 4. \ _ \ _ get, 동적 속성 액세스를 구현하십시오. 5. \ _ \ _ Set, 동적 속성 설정을 구현하십시오. 이러한 방법은 특정 상황에서 자동으로 호출되어 코드 유연성과 효율성을 향상시킵니다.
