HTML 요소 없이 웹사이트에서 데이터를 긁어내는 방법은 무엇입니까?

Question

특정 사례 세부정보를 찾기 위해 다음 웹사이트에서 데이터를 스크랩하는 방법은 무엇입니까?

사례 세부정보를 찾는 수동 단계는 다음과 같습니다.

1. https://www.claytoncountyga.gov/government/courts/court-case-inquiry/
로 이동하세요.
2. 추가 케이스 세부정보를 드릴다운할 수 있는 버튼/입력이 있는 JavaScript 로드 양식이 있는 것 같습니다. 성으로 케이스를 검색하려면 "이름 검색"을 선택해야 합니다. 클릭하세요.
3. 그러면 (2)와 동일한 요소 내에 새 화면이 나타나 사용자가 드롭다운 법원(예: 치안판사 법원)에서 선택하고 자유 형식 텍스트 입력을 통해 성과 이름(Smith John)을 입력할 수 있습니다.
4. 모든 사례를 보려면 "제출"을 클릭하세요
5. 이전의 모든 단계와 동일한 요소로 채워진 테이블의 행 중 하나에서 사례 번호를 클릭하여 사례 세부 정보를 봅니다. 이 페이지에서 데이터를 스크랩하고 싶습니다.

내부 양식이 캡슐화된 것처럼 보이기 때문에(Javascript로 구현된 것 같습니다) 각 입력이 제공된 후 렌더링되는 HTML 요소를 볼 수 없습니다. Python을 사용하여 어떻게 자동화하나요?

Answer 1

양식은 ID가 "Clayton County"인 iframe 内。为了使 selenium 能够与其中的元素交互，我们首先必须使用 EC.frame_to_be_available_and_switch_to_it 메소드에 포함되어 있어 전환할 수 있습니다.

그런 다음 Select()를 사용하여 드롭다운 메뉴에서 옵션을 선택할 수 있습니다.

마지막 페이지에서 모든 사건 번호 URL을 가져와서 case_numbers_urls에 저장합니다. 이를 통해 이를 반복하고, 각 사건을 로드하고, 정보를 얻고, 다음 사건으로 전달할 수 있습니다.

으아악