selenium - Python 크롤러 도구에 대해 문의하세요.

Question

1) 제가 포착하고 싶은 건 인스타그램의 특정 연예인의 팬입니다
2) 인스타그램 PC 사이트는 js 렌더링을 많이 사용합니다
3) 크롤러를 작성한 적도 없고 내일 사장님께서 데이터가 필요하실 것 같아요

현재 BeautifulSoup, selenium 和phantomjs

를 사용하고 있습니다.

코드 데모는 아마도

으아악

문제는
1) 클릭이 성공적으로 실행되었는지, 클릭 요소가 올바른지, 드라이버에서 참고할 만한 반환 값이 없는 것 같습니다.
2) 클릭이 성공하더라도 클릭( js ) 방식만 조정한 것인데, 타겟이 트리거되지 않으면 어떻게 해야 하나요?
3) 먼저 렌더링되는지는 모르겠습니다page_source, 还是 应该先 click. 클릭이 성공적으로 실행되면 반환되지 않나요? 출처

아, 파충류 마스터 여러분 감사합니다

Answer 1

무슨 말이야? 나는 의아해한다. . .

Selenium 자동화, 클릭은 사용자 클릭을 모방할 수 있습니다. 마치 페이지를 직접 클릭하는 것처럼 모든 것이 가상 브라우저 드라이버에서 수행됩니다.

비즈니스 로직을 살펴보세요. . . 예를 들어 일부 데이터는 클릭해야 얻을 수 있으므로 먼저 클릭한 다음 소스 코드를 가져옵니다.