Scrapestack : 스크래핑 사이트를위한 API

모든 사이트에 데이터에 액세스 할 수있는 API가있는 것은 아닙니다. 실제로 대부분은 그렇지 않습니다. 해당 데이터를 가져와야하는 경우 한 가지 방법은 "스크랩"하는 것입니다. 즉, 웹 브라우저 (자동화)에 페이지를로드하고 DOM에서 찾고있는 것을 찾아서 가져갑니다.

비용, 유지 보수 및 기술 부채를 처리하려면 직접 할 수 있습니다. 예를 들어, 이것은 Puppeteer가 헤드리스 크롬을 회전시키고 제어하는 ​​방법과 같은 "헤드리스"브라우저의 큰 사용 사례 중 하나입니다.

또는 스크래핑을 수행 할뿐만 아니라 직접 수행하는 것보다 더 빠르고 더 많은 옵션을 사용하는 스크랩 스타크와 같은 도구를 사용할 수 있습니다.

내 목표는 Meetup.com 페이지에서 최신 Meetup을 가져 오는 것입니다. Meetup.com에는 API가 있지만 비싸고 Oauth와 물건이 필요합니다. 우리에게 필요한 것은 여기에서 과거 모임의 이름과 링크입니다. 따라서 페이지에서 짜서 봅시다.

우리는 DOM에서 필요한 것을 볼 수 있습니다.

플레이를하려면 jQuery와 함께 Scrapestack API 클라이언트 측면으로 긁어 봅시다.

 $ .get ( 'https://api.scrapestack.com/scrape',
  {
    access_key : 'my_api_key',
    URL : 'https://www.meetup.com/bendjs/'
  },
  함수 (WebSiteContent) {
     // 전체 사이트 HTML이 있습니다! 
  }
);

그 콜백 내에서, 나는 이제 jQuery를 사용하여 DOM을 가로 지르고, 내가 원하는 조각을 잡아 당기고, 사이트에서 필요한 것을 구성 할 수 있습니다.

 // 우리가 원하는 것을 얻습니다
이벤트 = $ (웹 사이트 컨텐츠)
  .find ( ". Grouphome-EventsList-pastevents .eventCard")
  .첫 번째();
EventTitle = 이벤트를하자
  .find ( ". eventCard-link") [0] .innerText;
EventLink =를하자 
  `https : // www.meetup.com/`   
  event.find ( ". eventCard-link"). attr ( "href");

// 페이지에서 사용합니다
$ ( "#event"). Append (`
  $ {EventTitle}
`);

실제 사용으로, 우리가 이와 같이 클라이언트면을 수행하고 있다면, 우리는 일부 초보적인 스토리지를 사용하여 모든 페이지로드에서 API를 누르지 않아도됩니다.

작동합니다!

실제로 우리는 스크래핑 서버 측을 할 가능성이 훨씬 높습니다. 우선 API를 직접 클라이언트면에서 사용하는 경우 공개 사이트에서는 실제로는 불가능한 API 키를 보호하는 방법입니다.

나 자신은 아마도 클라우드 기능을 만들었 기 때문에 JavaScript (node.js)에 머물 수 있으며 어딘가에 스토리지에 데이터를 집어 넣을 수있는 기회가 있습니다.

나는 문서를 확인하고 다음에 긁는 일을해야 할 때 이것이 올바른 답이 아닌지 확인하고 싶다. 어쨌든 무료 계획에 10,000 개의 요청을 받고 더 많은 기능을 갖춘 유료 계획에 대해 톤을 올릴 수 있습니다.

직접 링크 →

위 내용은 Scrapestack : 스크래핑 사이트를위한 API의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!