python - 리디렉션된 웹사이트에서 데이터를 크롤링하는 방법

저는 현재 크롤러에 대한 지식을 배우고 있으며 셀레늄을 사용하여 일부 복잡한 웹사이트를 크롤링하고 있습니다. 문제가 발생했습니다. 크롤링해야 하는 작업 주문 웹사이트(비밀번호를 모릅니다)는 먼저 인증 시스템에 로그인한 다음 인증 시스템 페이지에서 작업 주문 시스템 연결을 클릭해야 합니다. 자동으로 로그인할 필요가 없어집니다.

怪我咯 2017-05-19 10:07:30 0  2  1058

python - Douyu 팔로어 수가 로딩 그림으로 표시됩니다. 팔로어 수를 크롤링하는 방법은 무엇입니까?

Douyu 팔로어 수를 크롤링하고 웹사이트가 로드된 후 {code...}를 표시합니다. 이런 종류의 데이터를 어떻게 크롤링해야 합니까?

巴扎黑 2017-07-05 10:34:08 0  1  1017

Java에서 JS 처리 코드를 크롤링하는 방법

페이지 주소: http://acm.hdu.edu.cn/showpro... 크롤링 목표: 이 수식의 코드를 크롤링하려는 경우 Chrome에서 F12를 누르면 표시되는 코드: 그러나 크롤링된 코드는 다음과 같습니다. 다음: 이 코드는 올바른 수식을 표시하지 않습니다. 이 코드는 모두 js에 의해 생성된 것 같습니다.

为情所困 2017-05-17 10:04:18 0  2  669

파일 목록을 얻을 때 Python의 os.listdir 순서 문제

이것은 Windows 탐색기에 표시되는 파일 순서이며 os.listdir을 사용하여 얻은 목록 순서는 다음과 같습니다: ['03.jpg', '1.jpg', '2.jpg', '3.jpg' , '5. jpg', '6.png', 'test.url'] 윈도우 탐색기와 같은 순서로 파일을 구하려면 어떻게 해야 하나요...

PHP中文网 2017-06-28 09:26:11 0  1  1826

php - 크롤러가 필요한 데이터를 캡처하는 일반적인 규칙을 볼 수 있도록 도와주실 수 있나요?

A. 크롤링할 페이지의 html : {code...} B. 제가 작성한 크롤링 규칙 : {code...} $reg_list = "/<div\s*topClassName\='top1'\s *topSwitch\='on'\s*productId\='(\d+)'\s*productName\='[\x7f-\xff]+'\s*class\='productP...

过去多啦不再A梦 2017-05-16 13:16:30 0  2  629

웹 크롤러 - Python을 사용하여 Blog Park 블로그의 사진을 크롤링하는 방법은 무엇입니까?

Blog Park 블로그의 사진을 크롤링하기 위해 작은 코드를 작성했습니다. 이 코드는 일부 링크에 유효하지만 일부 링크는 크롤링되자마자 오류를 보고합니다. 이유는 무엇입니까? {code...} 그림과 같이 이미지가 올바르게 크롤링될 수 있습니다. URL을 {code...}로 변경하면 즉시 오류가 발생합니다. 해결해 주세요.

某草草 2017-05-18 10:45:39 0  1  948

Git-Extension을 다운로드할 때 explorer.exe 프로세스와 충돌하는 이유는 무엇입니까?

그림과 같이 Windows 탐색기 프로세스가 git 확장자와 충돌하는 이유가 무엇인지 여쭤보고 싶습니다....

某草草 2017-05-02 09:23:05 0  0  647

python - 특정 기간에 게시하기 위해 Jianshu를 크롤링하는 방법을 알려주세요.

2013년 4월 13일 - 2013년 5월 13일 등 특정 기간에 Jianshu의 게시물을 크롤링하고 싶습니다. 제가 시도하고 싶은 아이디어는 다음과 같습니다. Baidu는 Baidu의 사이트 구문을 사용하여 날짜를 제한하는 것을 관찰합니다. 70개의 게시물. Google google 사이트 구문에 따른 날짜 관찰은 약 120개입니다.

黄舟 2017-05-18 10:55:49 0  1  730

javascript - 페이지에 많은 데이터가 있는 경우 phantomjs를 사용하여 크롤링하면 페이지를 크롤링할 수 없는 이유는 무엇입니까?

Taobao 검색 페이지를 크롤링하고 싶습니다. js 렌더링으로 생성된 페이지이므로 phantomjs를 사용하여 크롤링하기로 선택했습니다. 그런데 가져오는 과정에서 문제가 발생했습니다. 검색 결과가 2개 이상인 경우 데이터를 얻을 수 없습니다. 하지만 스크린샷을 보면 데이터가 정상적으로 로드되고 있는 것으로 보입니다. 타오바오에는 제한이 있는지 모르겠네요...

習慣沉默 2017-07-05 10:50:52 0  1  929

scrapy를 사용하여 전체 사이트를 크롤링하려면 콘텐츠 추출을 시작하기 전에 모든 페이지의 URL을 대기열에 넣어야 합니까?

scrapy가 전체 웹사이트의 콘텐츠를 크롤링하려는 경우 콘텐츠 추출을 시작하기 전에 모든 페이지의 URL을 대기열에 넣어야 합니까?

Laical 2020-04-30 16:05:00 0  0  1071

Windows를 배울 수 있나요?

Windows를 배울 수 있나요?

ананас 2020-04-03 18:59:02 0  1  2213

Windows에서 vim을 즐겁게 플레이할 수 있나요?

저는 주로 가상 머신에서 Windows와 Linux를 실행합니다. :) Windows의 많은 편집기는 vim보다 사용하기 쉬운데 Windows에서 vim을 사용할 동기를 찾을 수 없습니다. vim을 주 편집기로 사용하는 Windows 사이트가 있나요? 누워서 체험해보세요 :)

怪我咯 2017-05-16 16:35:17 0  4  749

Windows 환경에 PHP 설치

Windows 환경에 PHP 설치

lucia打工人 2023-03-03 18:06:29 0  0  883

Windows 버전에 emmet이 있나요? ?

Windows 버전에 emmet이 있나요? ?

缠中惮（三剑喻） 2020-10-21 20:16:47 0  1  1144

창 아래의 사육사 확장

Windows용 사육사 확장 프로그램을 사용하는 사람이 있나요?

李十八 2018-08-23 14:45:37 0  0  1255