웹페이지를 크롤링했을 때 페이지 전환이 다음과 같은 기능으로 구현된 것을 확인했습니다. 페이지 URL은 변경되지 않았습니다.
페이지 넘김을 달성하기 위해 다음과 같은 함수를 작성했습니다.
그러나turn_page()를 호출한 후 페이지 넘김에 실패했습니다. 이 문제를 어떻게 해결해야 할까요? 그리고 이런 문제를 해결하려면 어떤 지식을 스스로 배워야 할까요?
Following the voice in heart.
셀레늄 사용을 권장합니다
예를 들어 인터페이스에서 다음 페이지 버튼을 클릭해야 하거나 위, 아래, 왼쪽, 오른쪽 키를 입력해야 하는 경우 페이지를 넘길 수 있으며 Selenium Webdriver가 이를 수행하고 참조를 제공합니다. (저는 치덴 중국 웹사이트의 소설을 크롤링하곤 했습니다 )
Selenium은 페이지와 상호 작용하고, 클릭하고, 두 번 클릭하고, 입력하고, 페이지가 로드될 때까지 기다릴 수 있습니다(암시적 대기 및 명시적 대기). . . .
여러 상황이 있습니다. 1. js 효과를 통해 페이지를 넘기거나 2. 하이퍼링크를 클릭하여 페이지를 넘길 수 있습니다.
json은 처리하기가 더 쉽고 결과를 직접 얻을 수 있습니다. 일반 HTML 페이지는 페이지 나누기에 대한 일반 일치를 사용해야 합니다. 그런 다음 링크를 크롤링할 풀에 넣습니다.
![[웹 프런트엔드] Node.js 빠른 시작](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
으아악셀레늄 사용을 권장합니다
예를 들어 인터페이스에서 다음 페이지 버튼을 클릭해야 하거나 위, 아래, 왼쪽, 오른쪽 키를 입력해야 하는 경우 페이지를 넘길 수 있으며 Selenium Webdriver가 이를 수행하고 참조를 제공합니다. (저는 치덴 중국 웹사이트의 소설을 크롤링하곤 했습니다 )
Selenium은 페이지와 상호 작용하고, 클릭하고, 두 번 클릭하고, 입력하고, 페이지가 로드될 때까지 기다릴 수 있습니다(암시적 대기 및 명시적 대기). . . .
여러 상황이 있습니다.
Chrome 개발자 도구의 네트워크 분석을 사용하면 HTML 페이지이든 피드백 json 렌더링이든 결과를 얻을 수 있습니다.1. js 효과를 통해 페이지를 넘기거나
2. 하이퍼링크를 클릭하여 페이지를 넘길 수 있습니다.
json은 처리하기가 더 쉽고 결과를 직접 얻을 수 있습니다. 일반 HTML 페이지는 페이지 나누기에 대한 일반 일치를 사용해야 합니다. 그런 다음 링크를 크롤링할 풀에 넣습니다.
/a/11...