Wie gehe ich mit Post-Anfragen und Cookies in Jsoup für das Website-Scraping nach der Anmeldung um?

Umgang mit Post-Anfragen und Cookies in jsoup

Beim Versuch, eine Website nach der Anmeldung zu scannen, kommt es häufig zu Problemen aufgrund fehlender Cookies Kekse. Um eine authentifizierte Sitzung aufrechtzuerhalten, setzen Websites normalerweise während der Anmeldung Cookies.

In jsoup können Sie das Sitzungscookie für nachfolgende Anfragen mithilfe des Connection.Response-Objekts abrufen, nachdem Sie eine erfolgreiche Anmeldeanfrage gestellt haben:

<code class="java">Connection.Response res = Jsoup.connect("http://www.example.com/login.php")
    .data("username", "myUsername", "password", "myPassword")
    .method(Method.POST)
    .execute();</code>

Sobald Sie die Antwort erhalten haben, können Sie auf das Sitzungscookie zugreifen, das normalerweise einen Namen wie „SESSIONID“ hat:

<code class="java">String sessionId = res.cookie("SESSIONID");</code>

Nachfolgende Seitenanfragen müssen mit dem Sitzungscookie durchgeführt werden, um das aufrechtzuerhalten Sitzung:

<code class="java">Document doc2 = Jsoup.connect("http://www.example.com/otherPage")
    .cookie("SESSIONID", sessionId)
    .get();</code>

Durch die Integration der Cookie-Verwaltung in Ihren JSOUP-Code können Sie nach dem Anmelden erfolgreich durch die folgenden Seiten der Website navigieren und diese durchsuchen.

Das obige ist der detaillierte Inhalt vonWie gehe ich mit Post-Anfragen und Cookies in Jsoup für das Website-Scraping nach der Anmeldung um?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!