PHP 웹사이트 크롤링 라이브러리

<?php
header("Content-Type: text/html; charset=UTF-8");
require("phpQuery.php");
$hj = QueryList::Query('http://mobile.csdn.net/',array("title"=>array('.unit h1','text')));
//dump($hj->data);
$data = QueryList::Query('http://cms.querylist.cc/bizhi/453.html',array(
    'image' => array('img','src')
    ))->data;
//
$data = QueryList::Query('http://cms.querylist.cc/google/list_1.html',array(
    'link' => array('a','href')
    ))->data;
$page = 'http://cms.querylist.cc/news/566.html';
$reg = array(
    'title' => array('h1','text'),
    'date' => array('.pt_info','text','-span -a',function($content){
        $arr = explode(' ',$content);
        return $arr[0];
    }),
    'content' => array('.post_content','html','a -.content_copyright -script',function($content){
     
            $doc = phpQuery::newDocumentHTML($content);
            $imgs = pq($doc)->find('img');
            foreach ($imgs as $img) {
                $src = 'http://cms.querylist.cc'.pq($img)->attr('src');
                $localSrc = 'w/'.md5($src).'.jpg';
                $stream = file_get_contents($src);
                file_put_contents($localSrc,$stream);
                pq($img)->attr('src',$localSrc);
            }
            return $doc->htmlOuter();
    })
    );
$rang = '.content';
$ql = QueryList::Query($page,$reg,$rang);
$data = $ql->getData();
dump($data);

는 웹사이트 크롤링과 크롤링을 지원합니다. PHP를 기반으로 하는 서버측 오픈 소스 프로젝트로, PHP 개발자가 뉴스 웹사이트의 헤드라인 정보를 얻는 등 DOM 문서 콘텐츠를 쉽게 처리할 수 있습니다. 더 흥미로운 점은 ​​​​jQuery의 아이디어를 사용한다는 것입니다. jQuery를 사용하는 것처럼 페이지 내용을 처리하여 원하는 페이지 정보를 얻을 수 있습니다.

관련 기사

[번역] Apple 웹사이트 애니메이션 분석(크롤링 동기화)

24 Dec 2024

원본 기사 링크 공식 Apple 웹사이트는 콘텐츠를 강조하기 위해 부드러운 스크롤 기반 애니메이션을 사용합니다. 이 게시물에서는 유사한 애니메이션을 분석하고 복제하여 구현을 이해합니다. ? 원래 Apple 웹사이트(

PHP 크롤링 웹페이지 코드 예

25 Jul 2016

PHP 크롤링 웹페이지 코드 예

도서관 관리 시스템 활용 사례 다이어그램 도서관 관리 프로그램 (1)

29 Jul 2016

도서관 관리 시스템 활용 사례 다이어그램: 도서관 관리 시스템 활용 사례 다이어그램 도서관 관리 프로그램(1): 이 수준의 프로그램에서 사용하는 데이터 테이블 구조: # ------ --- --------------------- # # 데이터 테이블 구조 'author' # CREATE TABLE 작성자 ( author_id int (6) DEFAULT '0' NOT NULL auto_increment, first_name varchar(20)

PHP 하이퍼링크 크롤링 구현 코드란 무엇입니까?

29 Jul 2016

하이퍼링크란 무엇입니까? PHP 하이퍼링크 크롤링 구현 코드: 일반적인 HTML 표준 하이퍼링크 매개변수 획득 정규식 테스트 최근에는 전문 검색 엔진과 유사한 것을 구축하고 싶기 때문에 웹의 모든 하이퍼링크를 크롤링해야 합니다. 페이지. 다음 코드가 모든 표준 하이퍼링크를 대상으로 할 수 있는지 테스트하도록 도와주세요. 테스트 코드는 다음과 같습니다. 다음과 같이 코드를 복사하세요. <?php // -------------------------------- -- -------------------------------- // 파일

웹사이트 프로그램 개발 PHP 프로그램 개발 예제 학습 양식을 통해 텍스트 상자의 값을 구합니다.

29 Jul 2016

웹사이트 프로그램 개발: 웹사이트 프로그램 개발 PHP 프로그램 개발 예제 연구 양식을 사용하여 텍스트 상자의 값을 얻습니다: <form name="form" method="post" action="login.php"></form> 텍스트 사용 box: < input type="text" name="username" /> 입력 유형에는 텍스트, 비밀번호 및 기타 유형이 포함됩니다. HTML5에는 이러한 종류의 지식을 배우고 싶다면 좋은 정보가 있습니다. 나누어져 있기 때문에 이해하기

PHP 웹사이트 구축 PHP 웹사이트 소스코드(검색엔진용)

29 Jul 2016

PHP 웹사이트 구축: PHP 웹사이트 구축 PHP 웹사이트 소스 코드(검색 엔진용): 다음과 같이 코드를 복사합니다. function get_referer(){ $se = 0; $url = $_SERVER["HTTP_REFERER"] //전체 소스 가져오기 URL $str = str_replace("http://","",$url); //http:// 제거 $strdomain =explore("/",$str) // "/" 배열 $domain으로 구분 = $strd

See all articles