백엔드 개발 PHP 튜토리얼 PHP 抽取网页题目并剔除不相关的seo关键字

PHP 抽取网页题目并剔除不相关的seo关键字

Jun 13, 2016 am 11:01 AM
title

PHP 抽取网页标题并剔除不相关的seo关键字
场景描述:

  过往我们在抽取网页标题的时候,都会直接抽取 之间的内容. 但实际情况是这样,例如javaeye 的一篇文章 http://www.iteye.com/news/21643 ,  的内容为 "10年软件开发教会我最重要的10件事 - 非技术 - ITeye资讯", 但实际引用中我们期望的标题应该为 "10年软件开发教会我最重要的10件事". 所以标题后面堆砌了很多不相关的关键字(应该是为了  seo 吧). 所以我们希望过滤掉这些关键字. 有下面的方法可以参考:


1. 查找 h1 等标签.(分析sina news 一些网站之后, 觉得不可行,会有很多干扰)

2. 从全文去标题后,将 之间的内容切割(按 _ | -)为 a1,a2,a3,a4,然后从最长的词组a3开始从全文查找. 如果查找成功,那么开始向左边迭代查询 a2,a1,直到查询失败为止 。左侧失败后,再继续向右迭代,同理. (这里我采用的是这种方法)


<?php /** * @author pqcc <[email&#160;protected]> * @date: 2011-06-18 * Description: 给定一个网页内容,提取网页的标题. 提取的标题不包括 seo 关键字. * e.g: 一篇新闻标题的从<title>直接抽取结果为 "大学英语四六级本周六开考 909万人参考_新浪教育_新浪网", *       但我们希望的结果是:"大学英语四六级本周六开考 909万人参考". * 适用范围:  文章最终页标题的提取, 不包括专题页等. */class TitlePurify{    private $matches_preg = '[-_\s|—]';    function getTitle($contents){/*{{{*/        $preg = "/<title>]*>([\w|\t|\r|\W]*?)/i";        preg_match($preg, $contents, $matches);        if(count($matches)trimTitle($title, $contents);    }/*}}}*/    function trimMeta($contents){/*{{{*/        // 首先去除 <title> 内容, <meta> 内容.        $preg       = "/<title>]*>([\w|\t|\r|\W]*?)/i";        $contents   = preg_replace($preg, '', $contents);        $preg       = "/<meta>]*>/i";        $contents   = preg_replace($preg, '', $contents);        return $contents;    }/*}}}*/    // 获取长度最长的 item?所处的index.    function getMaxIndex($titles){/*{{{*/        $maxItemIndex   = 0;        $maxLength      = 0;        $loop           = 0;        foreach($titles as $item){            if(strlen($item)>$maxLength){                $maxLength      = strlen($item);                $maxItemIndex   = $loop;            }                    $loop++;        }        return $maxItemIndex;    }/*}}}*/    function trim($title, $titles, $contents, $maxItemIndex){/*{{{*/        [email protected] : 此处可优化contents        // 如果查找成功. result = tempTitle.         $tempTitle  = $titles[$maxItemIndex];        $result     = $tempTitle;        $count      = count($titles);        // while 从当前index 向左进行迭代(直到到达第一个或者匹配失败才中止).        $leftIndex  = $maxItemIndex-1;        while(true && $leftIndex>=0){            // tempTitle+左一个.            preg_match("/({$this->matches_preg}+{$tempTitle})/i", $title, $matches);            if(count($matches)>1){                // temp 用于匹配失败后,进行回滚.                $temp       = $titles[$leftIndex] . $matches[1];                $tempTitle  = $titles[$leftIndex] . $matches[1];                // 继续拿着 tempTitle 去匹配.                preg_match("/$tempTitle/i", $contents, $matches);                // 如果查找失败....                if(count($matches)matches_preg}+)/i", $title, $matches);            if(count($matches)>1){                // temp 用于匹配失败后,进行回滚.                $temp       =  $matches[1] . $titles[$rightIndex];                $tempTitle  =  $matches[1] . $titles[$rightIndex];                // 继续拿着 tempTitle 去匹配.                preg_match("/$tempTitle/i", $contents, $matches);                // 如果查找失败....                if(count($matches)trimMeta($contents);            // 配置切割标题的规则.        $titles = preg_split("/$this->matches_preg/i", $title);        $count          = count($titles);        //var_dump($titles);exit;        // 将当前最长的 item 从全文查找.        $maxItemIndex = $this->getMaxIndex($titles);        $tempTitle   = $titles[$maxItemIndex];        preg_match("/$tempTitle/i", $contents, $matches);        // 如果查找失败....        if(count($matches)trim($title, $titles, $contents, $maxItemIndex);    }/*}}}*/}// -------------   test code ------------------------------function convertEncoding($contents){    preg_match("/charset=([\w|\-]+);?/i", $contents, $match);    $charset = isset($match[1])? $match[1] : 'UTF-8';    $contents = mb_convert_encoding($contents, 'UTF-8', $charset);    return $contents;}$url = 'http://china.nba.com/news/4/2011/0617/61383331/10451.html';$contents = file_get_contents($url);$contents = convertEncoding($contents);$startTime  = microtime();$purify     = new TitlePurify();$title      = $purify->getTitle($contents);$endTime    = microtime();echo "标题:        $title ";echo "cost: " . ($endTime-$startTime);?></title>
</title>
</title>
</title>
로그인 후 복사



본 웹사이트의 성명
본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

AI Hentai Generator

AI Hentai Generator

AI Hentai를 무료로 생성하십시오.

뜨거운 도구

메모장++7.3.1

메모장++7.3.1

사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전

SublimeText3 중국어 버전

중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기

스튜디오 13.0.1 보내기

강력한 PHP 통합 개발 환경

드림위버 CS6

드림위버 CS6

시각적 웹 개발 도구

SublimeText3 Mac 버전

SublimeText3 Mac 버전

신 수준의 코드 편집 소프트웨어(SublimeText3)

11 최고의 PHP URL 쇼트너 스크립트 (무료 및 프리미엄) 11 최고의 PHP URL 쇼트너 스크립트 (무료 및 프리미엄) Mar 03, 2025 am 10:49 AM

종종 키워드와 추적 매개 변수로 혼란스러워하는 긴 URL은 방문자를 방해 할 수 있습니다. URL 단축 스크립트는 솔루션을 제공하여 소셜 미디어 및 기타 플랫폼에 이상적인 간결한 링크를 만듭니다. 이 스크립트는 개별 웹 사이트 a에 유용합니다

Instagram API 소개 Instagram API 소개 Mar 02, 2025 am 09:32 AM

Instagram은 2012 년 Facebook에서 유명한 인수에 이어 타사 사용을 위해 두 개의 API 세트를 채택했습니다. Instagram Graph API 및 Instagram Basic Display API입니다. 개발자는

Laravel의 플래시 세션 데이터로 작업합니다 Laravel의 플래시 세션 데이터로 작업합니다 Mar 12, 2025 pm 05:08 PM

Laravel은 직관적 인 플래시 방법을 사용하여 임시 세션 데이터 처리를 단순화합니다. 응용 프로그램에 간단한 메시지, 경고 또는 알림을 표시하는 데 적합합니다. 데이터는 기본적으로 후속 요청에만 지속됩니다. $ 요청-

Laravel Back End : Part 2, React가있는 React 앱 구축 Laravel Back End : Part 2, React가있는 React 앱 구축 Mar 04, 2025 am 09:33 AM

이것은 Laravel 백엔드가있는 React Application을 구축하는 데있어 시리즈의 두 번째이자 마지막 부분입니다. 이 시리즈의 첫 번째 부분에서는 기본 제품 목록 응용 프로그램을 위해 Laravel을 사용하여 편안한 API를 만들었습니다. 이 튜토리얼에서는 Dev가 될 것입니다

Laravel 테스트에서 단순화 된 HTTP 응답 조롱 Laravel 테스트에서 단순화 된 HTTP 응답 조롱 Mar 12, 2025 pm 05:09 PM

Laravel은 간결한 HTTP 응답 시뮬레이션 구문을 제공하여 HTTP 상호 작용 테스트를 단순화합니다. 이 접근법은 테스트 시뮬레이션을보다 직관적으로 만들면서 코드 중복성을 크게 줄입니다. 기본 구현은 다양한 응답 유형 단축키를 제공합니다. Illuminate \ support \ Facades \ http를 사용하십시오. http :: 가짜 ([ 'google.com'=> ​​'Hello World', 'github.com'=> ​​[ 'foo'=> 'bar'], 'forge.laravel.com'=>

PHP의 컬 : REST API에서 PHP Curl Extension 사용 방법 PHP의 컬 : REST API에서 PHP Curl Extension 사용 방법 Mar 14, 2025 am 11:42 AM

PHP 클라이언트 URL (CURL) 확장자는 개발자를위한 강력한 도구이며 원격 서버 및 REST API와의 원활한 상호 작용을 가능하게합니다. PHP CURL은 존경받는 다중 프로모토콜 파일 전송 라이브러리 인 Libcurl을 활용하여 효율적인 execu를 용이하게합니다.

Codecanyon에서 12 개의 최고의 PHP 채팅 스크립트 Codecanyon에서 12 개의 최고의 PHP 채팅 스크립트 Mar 13, 2025 pm 12:08 PM

고객의 가장 긴급한 문제에 실시간 인스턴트 솔루션을 제공하고 싶습니까? 라이브 채팅을 통해 고객과 실시간 대화를 나누고 문제를 즉시 해결할 수 있습니다. 그것은 당신이 당신의 관습에 더 빠른 서비스를 제공 할 수 있도록합니다.

2025 PHP 상황 조사 발표 2025 PHP 상황 조사 발표 Mar 03, 2025 pm 04:20 PM

2025 PHP Landscape Survey는 현재 PHP 개발 동향을 조사합니다. 개발자와 비즈니스에 대한 통찰력을 제공하는 프레임 워크 사용, 배포 방법 및 과제를 탐색합니다. 이 조사는 현대 PHP Versio의 성장을 예상합니다

See all articles