로그인 후 웹사이트 스크래핑을 위해 Jsoup에서 게시물 요청 및 쿠키를 처리하는 방법은 무엇입니까?

jsoup에서 게시물 요청 및 쿠키 처리

로그인 후 웹사이트를 스크래핑하려고 할 때, 쿠키. 인증된 세션을 유지하기 위해 웹사이트는 일반적으로 로그인 중에 쿠키를 설정합니다.

jsoup에서는 성공적인 로그인 요청 후 Connection.Response 개체를 사용하여 후속 요청에 사용되는 세션 쿠키를 검색할 수 있습니다.

<code class="java">Connection.Response res = Jsoup.connect("http://www.example.com/login.php")
    .data("username", "myUsername", "password", "myPassword")
    .method(Method.POST)
    .execute();</code>

응답을 받으면 일반적으로 "SESSIONID"와 같은 이름을 갖는 세션 쿠키에 액세스할 수 있습니다.

<code class="java">String sessionId = res.cookie("SESSIONID");</code>

다음 페이지 요청은 세션 쿠키를 사용하여 이루어져야 합니다. 세션:

<code class="java">Document doc2 = Jsoup.connect("http://www.example.com/otherPage")
    .cookie("SESSIONID", sessionId)
    .get();</code>

쿠키 처리를 jsoup 코드에 통합하면 로그인 후 웹사이트의 다음 페이지를 성공적으로 탐색하고 스크랩할 수 있습니다.

위 내용은 로그인 후 웹사이트 스크래핑을 위해 Jsoup에서 게시물 요청 및 쿠키를 처리하는 방법은 무엇입니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!