PHP를 사용하여 Sina Weibo 사용자 정보를 캡처하는 크롤러 구현

최근 모바일 인터넷의 급속한 발전으로 소셜 네트워크는 사람들의 일상생활에서 없어서는 안 될 부분이 되었습니다. 그 중 웨이보는 중국의 대표적인 소셜미디어 중 하나로 사용자 그룹 사이에서 막대한 영향력을 갖고 있다. 하지만 시나 웨이보는 사용자가 독립적으로 개발자 권한을 신청하는 것을 제한하기 때문에 정보 수집의 어려움이 어느 정도 증가했습니다. 따라서 이 문제를 해결하기 위해 이 기사에서는 PHP를 사용하여 Sina Weibo 사용자 정보를 크롤링하는 크롤러 방법을 소개합니다.

1. 크롤러 프로세스 개요

이 글에서 소개하는 크롤러 프로세스는 다음과 같습니다.

1. 사용자 ID 획득

Sina Weibo의 접근 제한으로 인해 사용자 데이터에 직접 접근할 수 없습니다. 따라서 Sina Weibo 사용자 정보를 캡처하기 위해 크롤러를 구현할 때 먼저 사용자 ID를 얻어야 합니다. 웨이보 홈페이지의 HTML 코드를 분석하면 개인 홈페이지의 URL에 각 사용자의 ID가 존재하며 그 형식은 http://weibo.com/userID임을 알 수 있습니다. 이 링크에 액세스하여 사용자 ID를 추출하고 이를 후속 데이터 스크래핑에 사용할 수 있습니다.

2. 시뮬레이션 로그인

Sina Weibo의 접근 제한으로 인해 데이터를 크롤링하기 전에 로그인이 필요합니다. PHP CURL 라이브러리를 통해 로그인 작업을 시뮬레이션할 수 있습니다. PHP CURL 라이브러리에서는 다음 함수를 사용하여 시뮬레이션된 로그인을 구현할 수 있습니다.

curl_init(): CURL 세션 초기화
curl_setopt(): CURL 세션 옵션 설정
curl_exec(): CURL 세션 실행
curl_close(): 닫기 CURL 세션

3. 사용자 정보 캡처

PHP CURL 라이브러리를 사용하여 로그인을 시뮬레이션한 후 사용자의 개인 홈페이지에 직접 액세스한 후 HTML 코드를 구문 분석하여 사용자 정보를 추출할 수 있습니다. Sina Weibo의 웹 버전은 Ajax를 통해 데이터의 부분 업데이트를 구현하므로 PHP를 사용하여 서버에 데이터를 요청한 다음 서버에서 반환된 JSON 데이터를 분석하여 필요한 정보를 추출해야 합니다.

4. 데이터 저장

캡처된 사용자 정보를 MySQL 데이터베이스에 저장하여 후속 데이터 처리 및 분석을 용이하게 할 수 있습니다. Sina Weibo는 데이터 캡처에 엄격한 제한을 두기 때문에 크롤러 방지 메커니즘의 실행을 피하기 위해 데이터 캡처 시 특정 시간 간격을 추가해야 하며 시뮬레이션된 로그인을 위해 계정 비밀번호를 정기적으로 변경해야 합니다. .

2. 구체적인 구현 방법

1. 사용자 ID 획득

사용자의 홈페이지 URL에 접속하여 해당 사용자 ID를 획득하는 함수를 작성할 수 있습니다. 구체적인 코드는 다음과 같습니다:

function getWeiboID($url){
$pattern = '/(d+)/s';
preg_match($pattern, $url, $matches);
$res = $matches[1 ];
return $res;
}

2. 로그인 시뮬레이션

사용자 로그인 프로세스를 시뮬레이션하는 함수를 작성할 수 있습니다. 구체적인 코드는 다음과 같습니다.

function login($username,$password){
$url = "http://login.weibo.cn/login/";
$curl =curl_init();
curl_setopt($ 컬, CURLOPT_URL , $url);
컬_setopt($curl, CURLOPT_POST, true);
컬_setopt($curl, CURLOPT_POSTFIELDS, "username=$username&password=$password");
컬_setopt($curl, CURLOPT_RETURNTRANSFER, true);
컬_setopt($ 컬, CURLOPT_COOKIESESSION, true);
컬_setopt($curl, CURLOPT_COOKIEJAR, 'cookie.txt'); $curl) ;
}

3. 사용자 정보 캡처

닉네임, 성별, 지역, 생일 등 사용자의 기본 정보를 캡처하는 함수를 작성할 수 있습니다. 구체적인 코드는 다음과 같습니다:

function getUserInfo($weiboID,$cookiefile){

$url = "http://m.weibo.cn/users/$weiboID";

$curl =curl_init();

curl_setopt ($curl , CURLOPT_URL, $url);
curl_setopt($curl, CURLOPT_RETURNTRANSFER, true);
curl_setopt($curl, CURLOPT_COOKIEFILE, $cookiefile);
$json =curl_exec($curl);
curl_close($curl);

$ info = json_decode($json,true)["userInfo"];
$nickname = $info["screen_name"]

$gender = $info["gender"]; 지방"] ;

$city = $info["city"];
$birthday = $info["birthday"];
return array(

"nickname" => $nickname,
"gender" => $gender,
"province" => $province,
"city" => $city,
"birthday" => $birthday

);
}

4. 데이터 저장

마지막으로 우리는 캡처할 수 있습니다. 검색된 사용자 정보는 MySQL 데이터베이스에 저장됩니다. 구체적인 코드는 다음과 같습니다:

function saveUserInfo($userInfo){

$db = mysqli_connect("localhost","root","password","database");

$nickname = mysqli_real_escape_string($db,$userInfo ["별명 "]);

$gender = mysqli_real_escape_string($db,$userInfo["gender"]);

$province = mysqli_real_escape_string($db,$userInfo["province"]);
$city = mysqli_real_escape_string($ db,$ userInfo["city"]);
$birthday = mysqli_real_escape_string($db,$userInfo["birthday"]);
$sql = "INSERT INTO 사용자(별명, 성별, 주, 도시, 생일) VALUES ( '$nickname','$gender','$province','$city','$birthday')";
mysqli_query($db,$sql);
mysqli_close($db);
}

3. 요약

이 글의 소개를 통해 PHP를 통해 Sina Weibo 사용자 정보를 캡처하는 크롤러 메소드를 구현하는 방법을 배울 수 있습니다. 크롤러를 구현하는 과정에서 우리는 네트워크 규정을 준수하고 법률 및 규정을 위반하지 않으며 개인 정보 보호에 주의를 기울여야 한다는 점에 유의해야 합니다. 또한 크롤링 효과를 보장하려면 크롤링 방지 메커니즘이 실행되지 않도록 알고리즘을 지속적으로 최적화해야 합니다.

위 내용은 PHP를 사용하여 Sina Weibo 사용자 정보를 캡처하는 크롤러 구현의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!