python - 리디렉션된 웹사이트에서 데이터를 크롤링하는 방법

저는 현재 크롤러에 대한 지식을 배우고 있으며 셀레늄을 사용하여 일부 복잡한 웹사이트를 크롤링하고 있습니다. 문제가 발생했습니다. 크롤링해야 하는 작업 주문 웹사이트(비밀번호를 모릅니다)는 먼저 인증 시스템에 로그인한 다음 인증 시스템 페이지에서 작업 주문 시스템 연결을 클릭해야 합니다. 자동으로 로그인할 필요가 없어집니다.

怪我咯 2017-05-19 10:07:30 0  2  1025

python - Douyu 팔로어 수가 로딩 그림으로 표시됩니다. 팔로어 수를 크롤링하는 방법은 무엇입니까?

Douyu 팔로어 수를 크롤링하고 웹사이트가 로드된 후 {code...}를 표시합니다. 이런 종류의 데이터를 어떻게 크롤링해야 합니까?

巴扎黑 2017-07-05 10:34:08 0  1  976

Java에서 JS 처리 코드를 크롤링하는 방법

페이지 주소: http://acm.hdu.edu.cn/showpro... 크롤링 목표: 이 수식의 코드를 크롤링하려는 경우 Chrome에서 F12를 누르면 표시되는 코드: 그러나 크롤링된 코드는 다음과 같습니다. 다음: 이 코드는 올바른 수식을 표시하지 않습니다. 이 코드는 모두 js에 의해 생성된 것 같습니다.

为情所困 2017-05-17 10:04:18 0  2  624

php - 크롤러가 필요한 데이터를 캡처하는 일반적인 규칙을 볼 수 있도록 도와주실 수 있나요?

A. 크롤링할 페이지의 html : {code...} B. 제가 작성한 크롤링 규칙 : {code...} $reg_list = "/<div\s*topClassName\='top1'\s *topSwitch\='on'\s*productId\='(\d+)'\s*productName\='[\x7f-\xff]+'\s*class\='productP...

过去多啦不再A梦 2017-05-16 13:16:30 0  2  604

웹 크롤러 - Python을 사용하여 Blog Park 블로그의 사진을 크롤링하는 방법은 무엇입니까?

Blog Park 블로그의 사진을 크롤링하기 위해 작은 코드를 작성했습니다. 이 코드는 일부 링크에 유효하지만 일부 링크는 크롤링되자마자 오류를 보고합니다. 이유는 무엇입니까? {code...} 그림과 같이 이미지가 올바르게 크롤링될 수 있습니다. URL을 {code...}로 변경하면 즉시 오류가 발생합니다. 해결해 주세요.

某草草 2017-05-18 10:45:39 0  1  895

python - 특정 기간에 게시하기 위해 Jianshu를 크롤링하는 방법을 알려주세요.

2013년 4월 13일 - 2013년 5월 13일 등 특정 기간에 Jianshu의 게시물을 크롤링하고 싶습니다. 제가 시도하고 싶은 아이디어는 다음과 같습니다. Baidu는 Baidu의 사이트 구문을 사용하여 날짜를 제한하는 것을 관찰합니다. 70개의 게시물. Google google 사이트 구문에 따른 날짜 관찰은 약 120개입니다.

黄舟 2017-05-18 10:55:49 0  1  696

javascript - 페이지에 많은 데이터가 있는 경우 phantomjs를 사용하여 크롤링하면 페이지를 크롤링할 수 없는 이유는 무엇입니까?

Taobao 검색 페이지를 크롤링하고 싶습니다. js 렌더링으로 생성된 페이지이므로 phantomjs를 사용하여 크롤링하기로 선택했습니다. 그런데 가져오는 과정에서 문제가 발생했습니다. 검색 결과가 2개 이상인 경우 데이터를 얻을 수 없습니다. 하지만 스크린샷을 보면 데이터가 정상적으로 로드되고 있는 것으로 보입니다. 타오바오에는 제한이 있는지 모르겠네요...

習慣沉默 2017-07-05 10:50:52 0  1  877

scrapy를 사용하여 전체 사이트를 크롤링하려면 콘텐츠 추출을 시작하기 전에 모든 페이지의 URL을 대기열에 넣어야 합니까?

scrapy가 전체 웹사이트의 콘텐츠를 크롤링하려는 경우 콘텐츠 추출을 시작하기 전에 모든 페이지의 URL을 대기열에 넣어야 합니까?

Laical 2020-04-30 16:05:00 0  0  1028

python - 요청을 사용하여 [Dajie.com] 작업 정보를 크롤링했지만 여러 번 실패했습니다. 내 코드에 어떤 문제가 있는지 찾는 데 도움을 주실 수 있나요? 어떻게 바뀌어야 할까요?

예전에 여러 정적인 웹사이트 데이터를 크롤링해봤는데 비교적 순조로웠는데 이번에 ajax를 접했는데 몇 가지 문서를 읽어보니 어렵지 않다는 느낌이 들어서 바로 시작했는데 계속 막히더라구요. . . 목표: Dajie.com에서 작업 정보를 크롤링합니다. 프로세스: 1. 브라우저 검사 요소 기능을 사용하여 동적으로 로드된 데이터를 봅니다...

大家讲道理 2017-05-18 11:01:06 0  1  2138

PC 접속이 모바일 주소 문제가 되었습니다#python#scrapy

스크래피를 이용하여 히말라야 크롤링을 하고 PC 주소를 크롤링해봅니다. 항목 링크의 응답은 괜찮은데 후속 응답에서는 모바일 주소가 보입니다. . . . 스파이더 코드는 다음과 같습니다: {code...} 콘솔 출력: middlewares.RotateUserAgentMiddleware가 작성되었습니다...

淡淡烟草味 2017-06-30 09:55:13 0  2  1070

파일 목록을 얻을 때 Python의 os.listdir 순서 문제

이것은 Windows 탐색기에 표시되는 파일 순서이며 os.listdir을 사용하여 얻은 목록 순서는 다음과 같습니다: ['03.jpg', '1.jpg', '2.jpg', '3.jpg' , '5. jpg', '6.png', 'test.url'] 윈도우 탐색기와 같은 순서로 파일을 구하려면 어떻게 해야 하나요...

PHP中文网 2017-06-28 09:26:11 0  1  1786

Python + Selenium + Chromedriver를 사용하여 인터페이스 없는 크롤링을 구현하는 방법

Selenium을 사용하여 12306을 크롤링하는 과정에서 phantomjs를 사용하여 크롤링할 수 없으며 chromedriver를 사용할 수 있음을 발견했습니다. chromedriver를 사용하면 웹사이트에서 phantomjs를 감지하여 금지해야 하며, 크롤링이 다시 표시됩니다. 효율성이 낮습니다. 이제 두 가지 질문이 있습니다. 오랫동안 Google에서 검색했지만 여전히 찾을 수 없습니다.

迷茫 2017-05-18 10:53:13 0  2  881

인라인 블록: 공간적 속성 탐색

인라인 블록 사이에 이상한 간격이 있습니다. AJAX 호출로 더 많은 콘텐츠를 로드하고 이 작은 간격이 사라질 때까지 계속 사용할 수 있습니다. 나는 여기에 뭔가 빠졌다는 것을 알고 있습니다. div{width:100px;height:auto;border:1pxsolidred;outline:1pxsolidblue;margin:0;padding:0;display:inline-block;}http://jsfiddle.net/AWMMT/인라인 만드는 방법

P粉360266095 2023-08-22 19:42:53 0  2  566

为什么下载Git-Extension的时候会与exploer.exe进程有冲突

如图显示，我想问一下windows explorer的进程为什么会和git extension有冲突....

某草草 2017-05-02 09:23:05 0  0  622

기타 프로젝트

선생님께서 비슷한 정적 웹사이트 프로젝트가 있으신가요? 흉내내고 싶은데, 지금은 크롤링하는 방법을 몰라서 자료 수집이 어렵습니다.

叶大大* 2019-04-14 00:01:11 0  3  1385

Curl은 데이터를 찾기 위해 웹페이지를 크롤링합니다.

URL 링크가 https://mbd.baidu.com/newspage/data/landingsuper?context=%7B%22nid%22%3A%22news_4480296238548479181%22%7D&n_type=0&p_from=1인 경우 웹페이지 정보를 크롤링하는 방법은 무엇입니까?

phpcn_u68041 2017-12-07 10:08:47 0  5  1200

python - 크롤러를 작성할 때 소스 코드에 csrf 토큰이 없습니다. 어떻게 얻나요?

AliExpress를 크롤링하기 위해 크롤러를 작성할 때 NTEWROK의 POST에서 csrf 토큰을 보았지만 페이지 소스 코드를 볼 때 csrf 값을 어떻게 얻습니까? 감사해요.

漂亮男人 2017-05-24 11:35:05 0  2  791

Puppeteer 브라우저에서 쿠키 허용 버튼을 클릭한 후 예기치 않은 종료 동작이 발생합니다.

실시간 축구 정보를 위한 웹사이트를 크롤링하기 위해 node.js와 puppeteer를 사용하려고 하는데, console.log("tryingtoselectteamelement") 후에 브라우저가 즉시 닫힙니다. constpuppeteer=require("puppeteer");asyncfunctionopenPage(){constbrowser=awaitpuppet

P粉883278265 2023-08-16 21:40:51 0  1  453