58.com 작업 페이지를 크롤링 할 때 올바른 수의 지원자 및 시청자를 얻는 방법은 무엇입니까?

58.com 채용 정보 크롤링 : 지원자 및 시청자의 일관되지 않은 데이터 문제 해결

58.com 채용 페이지를 크롤링 할 때는 종종 어려운 문제가 발생합니다. 웹 페이지 소스 코드로 표시되는 신청자 수와 시청자 수는 페이지에 실제로 표시된 데이터와 일치하지 않으며 소스 코드는 종종 0으로 표시되는 반면 페이지의 실시간으로 업데이트 된 데이터는 브라우저 개발자 도구 (F12)의 요소 내용과 일치합니다. 이 기사는이 문제를 해결하고 정확한 지원자와 시청자를 얻는 방법을 살펴 봅니다.

문제 분석 :

58.com은 데이터가 악의적으로 크롤링되는 것을 방지하기 위해 데이터를 동적으로로드하는 방법을 채택했습니다. 페이지의 지원자 및 시청자 수는 HTML 소스 코드에서 직접 얻지 못하지만 JavaScript를 통해 비동기로로드됩니다. 따라서 직접 구문 분석 HTML 소스 코드는 올바른 데이터를 얻을 수 없습니다.

해결책:

올바른 수의 지원자 및 시청자를 얻으려면 58.com에서 제공하는 API 인터페이스를 찾아야합니다. 네트워크 요청을 분석하면 채용 정보 통계를 얻기위한 API 인터페이스를 찾을 수 있으며 다음 형식과 유사한 URL을 찾을 수 있습니다.

 <code>https://statisticszp.58.com/position/totalcount/?infoId=27988...</code>

infoId 매개 변수는 특정 위치 ID를 나타내며 대상 모집 페이지의 URL에 따라 추출해야합니다.

API는 데이터를 반환합니다. 예제 :

API 인터페이스에서 반환 한 JSON 데이터에는 필요한 정보가 포함되어 있습니다.

 {
  "DeliveryCount": 1141, // 지원자 수 "CommentCount": 0,
  "Infocount": 4, // 시청자 수 "ResumerEdpercent": 0,
  "추천": "",
  "NextUrl": "null"
}

deliveryCount 필드는 신청자 수를 나타내고 infoCount 필드는 시청자 수를 나타냅니다.

구현 단계 :

1. 작업 ID (Infoid) : 대상 모집 페이지의 URL을 분석하고 작업 ID에 해당하는 매개 변수 값을 찾으십시오. 이를 위해서는 일반 표현식 또는 기타 문자열 처리 방법을 사용해야 할 수 있습니다.

2. 구조 API 요청 URL : 추출 된 infoId API URL 템플릿으로 바꾸어 완전한 API 요청 URL을 형성하십시오.

3. API 요청 보내기 : Python의 requests 라이브러리 또는 기타 HTTP 클라이언트를 사용하여 API URL에 요청을 보냅니다.

4. JSON 데이터 분석 : API에 의해 반환 된 JSON 데이터를 Python 사전으로 구문 분석하고, deliveryCount 와 infoCount 의 값, 즉 올바른 수의 지원자 및 시청자 수를 추출합니다.

위의 단계를 통해 58.com 웹 페이지의 동적로드 메커니즘을 우회하고 채용 페이지에서 지원자 및 시청자 수를 정확하게 얻을 수 있습니다. API 인터페이스의 주소 및 매개 변수 이름은 변경 될 수 있으며 실제 조건에 따라 조정해야합니다. 동시에 서버에 과도한 압력을 피하기 위해 58.com의 robots.txt 규칙을 따르십시오.

위 내용은 58.com 작업 페이지를 크롤링 할 때 올바른 수의 지원자 및 시청자를 얻는 방법은 무엇입니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!