登录后如何处理 Jsoup 中的 Post 请求和 Cookie 以进行网站抓取？

在 jsoup 中处理 Post 请求和 Cookie

登录后尝试抓取网站时，通常会遇到由于缺少曲奇饼。为了维护经过身份验证的会话，网站通常会在登录期间设置 cookie。

在 jsoup 中，您可以在成功登录请求后使用 Connection.Response 对象检索用于后续请求的会话 cookie：

<code class="java">Connection.Response res = Jsoup.connect("http://www.example.com/login.php")
    .data("username", "myUsername", "password", "myPassword")
    .method(Method.POST)
    .execute();</code>

收到响应后，您可以访问会话 cookie，其名称通常类似于“SESSIONID”：

<code class="java">String sessionId = res.cookie("SESSIONID");</code>

后续页面请求必须使用会话 cookie 来维护session:

<code class="java">Document doc2 = Jsoup.connect("http://www.example.com/otherPage")
    .cookie("SESSIONID", sessionId)
    .get();</code>

通过将 cookie 处理合并到您的 jsoup 代码中，您可以在登录后成功导航并抓取网站的后续页面。

以上是登录后如何处理 Jsoup 中的 Post 请求和 Cookie 以进行网站抓取？的详细内容。更多信息请关注PHP中文网其他相关文章！