Java에서 JS 처리 코드를 크롤링하는 방법

Question

페이지 주소:
http://acm.hdu.edu.cn/showpro...

크롤링 대상:

이 수식의 코드를 크롤링하려면 Chrome按F12본 코드:

그러나 크롤링된 코드는 다음과 같습니다.

이 코드는 올바른 수식을 표시하지 않습니다. 이 코드는 모두 js 크롤링 방법에 의해 생성된 것 같습니다.

Answer 1

이는 MathJax 도구로 구문 분석됩니다.
HTML 코드에서 수식 p의 다음 ID가 MathJax-Element-X인 스크립트를 찾아 내용을 복사하고 수식 앞뒤에 두 개의 $$를 추가합니다(앞과 뒤에 두 개의 달러 기호가 있으므로 총 4개입니다.) 마지막으로 MathJax를 사용하여 구문 분석합니다.
위 사진보다 더 말할 수는 없습니다:

Answer 2

먼저 패킷을 캡처하고 Ajax 요청을 캡처합니다. 핵심은 요청을 구성하는 방법, 주로 일부 매개변수의 결정을 확인하는 것입니다. 루틴은 다음과 같습니다. 1. 관련 매개변수가 존재하는지 확인하기 위해 컨텍스트를 검색합니다. 서버에서 반환된 경우 서버에 직접 매개변수를 가져오도록 요청합니다. 2. 매개변수가 명백히 변경되지 않거나 정기적으로 변경되는 경우 다음을 수행할 수 있습니다. 3. 매개변수가 매우 복잡하고 불규칙한 경우 매개변수의 키를 검색한 후 암호화된 js를 찾은 다음 매개변수의 값을 구성하여 ajax url을 가져와야 합니다. 너무 어렵습니다. 셀레늄과 같은 자동화된 도구를 사용하여 브라우저를 구동하여 액세스하면 바로 Render all js를 제공합니다