スクレープスタック：スクレイピングサイトのAPI

すべてのサイトにデータにアクセスするAPIがあるわけではありません。実際、ほとんどはそうではありません。そのデータをプルする必要がある場合、1つのアプローチはそれを「こすり」ることです。つまり、ページをWebブラウザにロードし（自動化）、DOMで探しているものを見つけて、それを取得します。

コスト、メンテナンス、技術的な負債に対処したい場合は、これを自分で行うことができます。たとえば、これは、操り人形師がヘッドレスクロムをスピンアップして制御する方法など、「ヘッドレス」ブラウザーの大きなユースケースの1つです。

または、スクレイピングを行うだけでなく、自分でやろうとするよりも、より良い、より速く、より多くのオプションを使用するだけでなく、すぐに使用できるAPIであるScrapestackなどのツールを使用できます。

私の目標は、Meetup.comページから最新の完了したMeetupを引き出すことです。 Meetup.comにはAPIがありますが、高価で、OAuthなどが必要です。必要なのは、ここの過去のミートアップの名前とリンクだけなので、ページから引っ張ってみましょう。

DOMで必要なものがわかります。

遊びをするために、jqueryでスクレイプスタックAPIクライアント側でそれを削りましょう：

 $ .get（ 'https://api.scrapestack.com/scrape'、
  {
    Access_key： 'my_api_key'、
    url： 'https：//www.meetup.com/bendjs/'
  }、
  function（websitecontent）{
     //ここにサイト全体のHTMLがあります！ 
  }
）;

そのコールバックの中で、JQueryを使用してDOMを横断し、私が望むピースを引っ掛け、私たちのサイトで必要なものを構築することもできます。

 //私たちが欲しいものを手に入れます
let event = $（websiteContent）
  .find（ "。GroupHome-EventsList-Pastevents .EventCard"）
  。初め（）;
eventTitle = eventとします
  .find（ "。eventcard  -  link"）[0] .innertext;
eventlink =とします 
  `https：// www.meetup.com/`   
  event.find（ "。eventcard  -  link"）。attr（ "href"）;

//ページで使用します
$（ "＃event"）。append（ `
  $ {eventTitle}
`）;

実際の使用法では、このようにクライアント側にそれを行っていた場合、私たちはいくつかの初歩的なストレージを利用して、すべてのページのロードでAPIをヒットする必要はありません。

それは動作します！

実際、私たちがスクレイピングサーバー側を行う可能性がはるかに高いです。 1つには、APIキーを保護する方法です。これはあなたの責任であり、APIを直接クライアント側を使用している場合、公開サイトでは実際には不可能です。

私自身、おそらくそれを行うためにクラウド機能を作るので、JavaScript（node.js）にとどまり、どこかで保管されているデータをタックする機会があります。

ドキュメントをチェックして、これが次回スクレイピングをする必要があるときに正しい答えではないかどうかを確認します。とにかく試してみるために無料プランで10,000件のリクエストを受け取り、より多くの機能を備えた有料プランのいずれかでトンを飛び上げます。

直接リンク→

以上がスクレープスタック：スクレイピングサイトのAPIの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。