Python 크롤러 PHP는 방문자와 크롤러에게 다른 콘텐츠를 표시합니다.

이 방법은 검색 엔진의 일부 운영 원칙을 위반할 수 있으며, 다양한 검색 엔진에 의해 처벌을 받거나 심지어 웹사이트가 삭제될 수도 있다는 이야기를 들었습니다. 그래서 저는 그것이 부정 행위가 아니라는 것을 확신할 때까지 이 처리를 제거했습니다. 계속 사용할 수는 있지만 이에 따른 책임은 사용자에게 있습니다.
이 블로그의 홈페이지 및 아카이브 페이지에는 기사가 목록 형식으로 표시되며 방문자가 클릭하여 확장할 때만 기사 내용이 로드됩니다. 기사의 콘텐츠 부분에는 많은 양의 텍스트와 그림이 포함되어 있기 때문에 로딩 시간과 트래픽이 많이 소요됩니다. 가능한 한 빨리 방문자에게 웹 페이지를 표시하면 모바일 사용자의 경우 많은 방문자를 유지할 수 있습니다. 시간과 트래픽이 더 중요합니다.
일반적으로 웹사이트의 홈페이지는 검색 엔진 페이지에서 가장 많이 방문하는 페이지이므로 의미 있는 콘텐츠를 표시하도록 최선을 다해야 하지만, 기사 형식으로 표시하려면 목록, 방문자 및 검색 엔진은 기사 제목 정보만 얻을 수 있습니다. 기사 내용이나 요약(특히 기사의 첫 문장)은 SEO에 매우 중요하므로 이 내용을 크롤러에 보내려고 노력해야 합니다.
글쎄, 우리는 방문자가 크롤러인지 확인하기 위해 사용자 에이전트를 사용할 수 있습니다. 그렇다면 기사를 일반 형식으로 표시하고, 그렇지 않으면 목록 형식으로 기사 목록을 표시합니다. 다음 PHP 메소드를 사용하여 크롤러인지 확인할 수 있습니다. 크롤러:

코드 복사 코드는 다음과 같습니다.

function is_crawler( ) {
$userAgent = strtolower( $_SERVER['HTTP_USER_AGENT']);
$spiders = array(
'Googlebot', // Google 크롤러
'Baiduspider', // Baidu 크롤러
'Yahoo! Slurp', // Yahoo 크롤러
'YodaoBot', // Youdao 크롤러
'msnbot' // Bing 크롤러
// 크롤러 키워드 추가
) foreach ($spiders as $spider) {
$spider = strtolower($spider);
if (strpos($userAgent, $spider) !== false) {
return true;
}
return false; 🎜>}


이것이 제가 사용하는 방법입니다. 각 크롤러는 액세스한 댓글을 높은 순으로 정렬한 다음 다음 방법을 사용합니다. 크롤러와 사람에게 서로 다른 콘텐츠를 표시합니다.
위 내용은 Python 크롤러 콘텐츠를 포함하여 Python 크롤러 PHP가 방문자와 크롤러에게 다양한 콘텐츠를 표시하는 방법을 소개합니다. PHP 튜토리얼에 관심이 있는 친구들에게 도움이 되기를 바랍니다.