PHP와 Selenium을 사용하여 빠르고 효율적인 웹 크롤러를 만드는 방법

광활한 인터넷 세계에는 채굴해야 할 정보가 엄청나게 많습니다. 이때 웹 크롤러가 등장했습니다. 그러나 크롤러를 작성하는 방식은 매우 다양합니다. 언어와 도구의 다양한 조합은 효율성도 다르고 학습 비용도 다를 수 있습니다. 이 기사에서는 PHP와 Selenium을 사용하여 빠르고 효율적인 웹 크롤러를 만드는 방법을 소개합니다.

Selenium이란 무엇입니까

Selenium은 웹 페이지에서 사람의 작업을 시뮬레이션할 수 있는 자동화된 테스트 도구입니다. Java, Python, C#, PHP 등 다양한 프로그래밍 언어를 지원합니다. 현재 버전은 Selenium WebDriver로, 이전 버전에 비해 Selenium RC를 중간 계층으로 사용할 필요가 없고 브라우저와 직접 통신하여 속도와 안정성이 크게 향상되었습니다.

PHP와 Selenium을 선택하는 이유

우선, PHP는 가독성과 확장성이 뛰어나 널리 사용되는 서버 측 프로그래밍 언어입니다. 둘째, 자동화된 테스트 도구인 Selenium은 다양한 브라우저를 구동하고 웹 페이지에서 인간의 작업을 쉽게 시뮬레이션하며 원하는 최종 데이터를 캡처할 수 있습니다. 마지막으로, PHP 언어에서 사용되는 컬(curl) 기능은 웹사이트에 의해 차단될 수 있으므로 Selenium은 실제 브라우저 동작을 시뮬레이션할 수 있으며 쉽게 차단되지 않습니다.

Selenium 설치

Selenium을 설치하기 전에 Composer를 먼저 설치해야 합니다. Composer를 설치하지 않은 경우 공식 설명서를 참조하여 설치하세요.

Composer를 설치한 후 Composer를 통해 Selenium의 PHP 인터페이스를 설치합니다.

composer require facebook/webdriver

크롤러 코드 작성

먼저 Selenium WebDriver의 클라이언트를 도입해야 합니다.

require_once 'vendor/autoload.php';
use FacebookWebDriverRemoteRemoteWebDriver;
use FacebookWebDriverWebDriverBy;

그런 다음 WebDriver를 인스턴스화하고 시작할 항목을 선택해야 합니다. 브라우저 및 해당 드라이버 경로:

$driver = RemoteWebDriver::create(
    'http://localhost:9515',
    DesiredCapabilities::chrome()
);

여기서는 Chrome 브라우저를 시작하도록 선택합니다. ChromeDriver를 미리 다운로드하고 드라이버 경로를 설정해야 합니다.

putenv('webdriver.chrome.driver=/usr/local/bin/chromedriver');

그런 다음 웹 페이지를 열고 데이터를 얻을 수 있습니다.

$driver->get("https://www.example.com");
$elements = $driver->findElements(WebDriverBy::cssSelector(".example-class"));
foreach ($elements as $element) {
    echo $element->getText() . "
";
}

여기의 코드는 example.com 페이지를 연 다음 클래스가 example-class인 요소를 찾아서 인쇄합니다.

크롤러 속도를 높이는 방법

다른 크롤러 도구에 비해 Selenium 크롤러는 주로 각 작업에 브라우저를 시작하고 닫아야 하기 때문에 속도가 느립니다. 크롤러 속도를 높이기 위해 WebDriver 인스턴스를 캐시할 수 있습니다.

$host = 'http://localhost:9515';
$options = new ChromeOptions();
$options->addArguments(['--headless']);
$caps = DesiredCapabilities::chrome();
$caps->setCapability(ChromeOptions::CAPABILITY, $options);
$driver = RemoteWebDriver::create($host, $caps);

function get_web_driver() {
    global $driver;
    $status = true;
    try {
        $driver->getTitle();
    } catch (Exception $e) {
        $status = false;
    }
    if (!$status) {
        $releaseWebDriver = function() use($driver){ $driver->close(); $driver->quit(); };
        register_shutdown_function($releaseWebDriver);
        $options = new ChromeOptions();
        $options->addArguments(['--headless']);
        $caps = DesiredCapabilities::chrome();
        $caps->setCapability(ChromeOptions::CAPABILITY, $options);
        $new_driver = RemoteWebDriver::create(
            'http://localhost:9515',
            $caps
        );
        $driver = $new_driver;
    }
    return $driver;
}

위 코드는 Chrome 브라우저용으로 Headless 모드를 설정하고 WebDriver 개체의 캐시를 구현합니다. Register_shutdown_function() 함수를 사용하여 WebDriver 개체 작업을 로그아웃하므로 브라우저가 자주 시작되는 것을 방지하고 크롤러의 효율성을 향상시킵니다.

결론

일반적으로 Selenium과 결합된 PHP를 사용하여 웹 크롤러를 작성하면 필요한 데이터를 빠르고 효율적으로 캡처할 수 있습니다. 그러나 웹 크롤러를 사용하려면 여전히 관련 법률 및 규정을 준수해야 하며, 웹사이트 규정을 위반하거나 개인 정보 및 기타 데이터를 수집해서는 안 됩니다. 그렇지 않으면 불필요한 법적 위험에 직면할 수 있습니다.

위 내용은 PHP와 Selenium을 사용하여 빠르고 효율적인 웹 크롤러를 만드는 방법의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!