ログイン後の Web サイトスクレイピングのために Jsoup で投稿リクエストと Cookie を処理するにはどうすればよいですか?

jsoup での投稿リクエストと Cookie の処理

ログイン後に Web サイトをスクレイピングしようとすると、次のものが不足しているために問題が発生するのが一般的です。クッキー。認証されたセッションを維持するために、Web サイトは通常、ログイン中に Cookie を設定します。

jsoup では、ログイン リクエストが成功した後、Connection.Response オブジェクトを使用して、後続のリクエストに使用されるセッション Cookie を取得できます。

<code class="java">Connection.Response res = Jsoup.connect("http://www.example.com/login.php")
    .data("username", "myUsername", "password", "myPassword")
    .method(Method.POST)
    .execute();</code>

応答を取得したら、セッション Cookie にアクセスできます。セッション Cookie には通常、「SESSIONID」のような名前が付いています。

<code class="java">String sessionId = res.cookie("SESSIONID");</code>

以降のページ リクエストは、セッション Cookie を使用して作成する必要があります。 session:

<code class="java">Document doc2 = Jsoup.connect("http://www.example.com/otherPage")
    .cookie("SESSIONID", sessionId)
    .get();</code>

Cookie 処理を jsoup コードに組み込むことで、ログイン後に Web サイトの後続のページに正常に移動してスクレイピングできます。

以上がログイン後の Web サイトスクレイピングのために Jsoup で投稿リクエストと Cookie を処理するにはどうすればよいですか?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。