웹 크롤러 - Python 크롤러 소개

이제 2학년이 되려고 하는데, 혼자서 파이썬을 공부해서 기본적인 문법도 알고 있어요. 크롤링을 배우고 싶은데 지식이 많이 필요한 것 같아요. 혹시 경험해 보시고 아시는 내용이나 파이썬 크롤링을 배우는 방법을 정리해 주실 수 있는 분 계신가요?

欧阳克 2017-07-05 10:34:11 0  3  1190

웹 크롤러 - Python이 크롤러 문제를 요청함

요청 크롤러를 사용할 때 문제가 발생했습니다. 계정과 비밀번호를 제출한 후 웹페이지가 먼저 제출되지 않고 대신 스와이프 방지 표시가 나타나며 새로고침 후에도 URL이 변경되지 않습니다. 웹페이지의 데이터는 다른 페이지에 제출됩니다. 직접 제출하는 방법을 알려주시거나...

仅有的幸福 2017-05-27 17:39:37 0  1  562

python - 이미지 크롤링에 대해 질문이 있으십니까?

오늘날의 크롤러는 일반적으로 HTML에서 이미지를 구문 분석하지만 문제는 일부 이미지 경로가 JS로 작성된다는 것입니다. 이거 어떻게 올라가나요? 브라우저에서 f12 포인트를 열면 소스 내부의 사진을 볼 수 있다는 것을 알고 있습니다. 그런데 소스의 리소스를 크롤링하기 위해 크롤러를 어떻게 사용합니까?

我想大声告诉你 2017-06-28 09:25:40 0  2  1035

웹 크롤러 - python3.4.1 요청 모듈에서 'list' 개체에 'get' 속성이 없다는 오류를 보고함

Python을 사용하여 IP 주소를 크롤링하는 크롤러를 작성했기 때문에 에이전트를 작성하고 스레드 풀을 사용하여 IP 주소를 크롤링하는 10개의 스레드를 열었습니다. 그러나 오류 '목록' 개체에는 '속성이 없습니다. get'이 직접 보고되었습니다. 해결 방법을 알고 계시다면 코드를 게시해 주세요. bs4 가져오기에서...

世界只因有你 2017-06-12 09:24:16 0  3  3494

웹 크롤러 - Python 요청.크롤러 설정 프록시 IP 주소가 변경되지 않았습니다.

해당 작업에는 Amazon의 정보 크롤링이 필요하지만 Amazon의 크롤링 방지 기능이 너무 강력하여 동일한 IP 주소가 차단됩니다. Python 버전: 3.6, IDE: Pycharm 2017.1. 인터넷에서 많은 정보를 확인하고 요청 라이브러리의 매뉴얼을 읽었지만 코드는 다음과 같습니다. .

typecho 2017-06-12 09:24:11 0  1  1200

웹 크롤러 - node.js 크롤러 외부 호출 기능으로 변수 값을 얻을 수 없습니다.

최근에 몇몇 소설을 읽기 위한 크롤러를 작성하고 싶었지만 몇 가지 어려움에 직면했습니다. console.log(catalogUrl)는 필요한 URL을 인쇄할 수 있지만, 제가 기대하는 것은 var xxx = getCatalogUrl 함수를 호출하여 CatalogUrl을 얻을 수 있다는 것입니다. (책) 외부적으로 이 변수의 값을 시험해 봅니다.

習慣沉默 2017-05-16 13:25:17 0  2  534

PHP 크롤러는 동적 크롤러 에이전트에 어떻게 액세스합니까?

PHP 크롤러는 크롤러 에이전트에 어떻게 액세스합니까? 이전에 Python을 사용했습니까? PHP와 동일한 액세스 방법입니까?

Laical 2020-03-13 17:10:19 0  0  1103

node.js - 노드 크롤러, 크롤링 방지를 위해 IP 풀을 사용하는 방법은 무엇입니까?

문제는 이것이죠. 저는 이제 막 노드를 배우기 시작한 초보자입니다. 물론 이는 분명히 크롤러를 위한 것입니다. 그러다가 최근에 소설을 읽고 있는데 무료 소설 사이트에 광고가 너무 많아서 소설 전체를 크롤링하는 크롤러를 작성하려고 했습니다. 그런데 URL 요청이 너무 자주 발생해서 역전되었습니다. -크롤링되어 차단되었습니다..

为情所困 2017-06-05 11:13:33 0  1  1228

html - 크롤링 시 "DNS 조회 실패"가 표시되지만 웹 페이지를 열면 문제가 없습니다. 무슨 일이 일어나고 있나요?

RT, Python을 사용하여 처음에는 모든 것이 정상이었습니다. 갑자기 웹 페이지가 잠시 기다린 후 정상으로 돌아왔습니다. 그러나 이때 다시 크롤링하면 "DNS 조회 실패"가 보고됩니다. . 여러 웹사이트를 시도했지만 웹페이지가 정상적으로 열리지 않습니다. 이유와 해결책을 알려주세요. 무릎을 꿇고 감사합니다! !

PHP中文网 2017-06-14 10:50:53 0  1  1220

python - URL에 어떤 종류의 크롤링 방지 프로그램이 사용되는지 확인하는 방법

URL: https://www.nvshens.com/g/22377/. 브라우저에서 직접 웹사이트를 열고 이미지를 마우스 오른쪽 버튼으로 클릭하여 다운로드합니다. 그러면 내 크롤러에서 직접 요청한 이미지가 차단되었습니다. 헤더를 추가하고 IP 프록시를 설정했지만 여전히 작동하지 않습니다. 그런데 패킷 캡처를 보면 전혀 움직이지 않는 것 같은데...

ringa_lee 2017-06-12 09:27:51 0  4  1270

python - csdn 크롤러 검토

https://github.com/xchaoinfo/fuck-login/blob/master/015%20CSDN/csdn.py 87-88행의 설명에 따르면 크롤러를 사용하여 다음 작업을 수행할 때 왜 이 링크로 변환해야 합니까? csdn 기사에 댓글이 어떻게 달렸나요? 웹페이지 코드를 봤는데 관련 링크가 없네요...

仅有的幸福 2017-05-18 10:53:42 0  2  859

웹 크롤러 - Java 크롤러가 이미지 링크를 얻었지만 이미지를 다운로드할 수 없습니다.

HTML에서 크롤러가 얻은 해당 이미지 리소스 src의 코드는 다음과 같습니다. 그런데 이미지를 다운로드하기 위해 해당 코드를 통해 리소스를 링크로 변환하면 400 오류가 보고됩니다. 링크가 존재한다는 것을 알게 되었는데, 상대방 웹사이트 서버가 실제로 식별할 수 있는 것은...

黄舟 2017-05-17 10:01:58 0  2  584

PHP 크롤러를 사용하여 Amazon을 수집하는 방법은 무엇입니까?

Amazon 웹 사이트의 마지막 업그레이드로 인해 크롤러가 중단되었기 때문에 Amazon의 포켓 방지 정책은 이제 더욱 엄격해졌습니다. 따라서 정상적인 수집을 수행할 수 없습니다. 새로운 인수 전략이 있나요?

Laical 2020-03-26 17:20:49 0  0  1212

웹 크롤러 - Python은 웹사이트를 크롤링하고 JSON이 아닌 콘텐츠를 구문 분석합니다.

방금 json 콘텐츠를 얻는 방법을 배웠는데, 오늘 크롤링한 웹사이트가 json 콘텐츠를 반환하지 않고, 링크를 요청할 때마다 임의의 숫자가 생성되어 크롤링하려는 콘텐츠에 영향을 미칠지 모르겠습니다. 제가 구해야 할 컨텐츠는 다음과 같습니다. 사진 중앙의 컨텐츠 웹사이트 링크는 http://www.szse.cn/main/... 입니다.

学习ing 2017-06-28 09:26:28 0  2  1110

python - 크롤러가 로그인을 시뮬레이션한 후 csdn 배경 기사 목록을 크롤링할 때 문제가 발생했습니다.

개인정보를 크롤링해서 캡쳐할 수 있어서 크롤러가 실제로 로그인이 되었는데, 아래 사진의 URL은 캡쳐가 되지 않습니다. URL은 http://write.blog.csdn.net/postlist 입니다. csdn 백스테이지. py2.7의 {code...} 코드를 게시하겠습니다.

ringa_lee 2017-05-18 10:51:59 0  2  1069

Python이 웹 페이지를 크롤링하고 요청이 왜곡됩니다.

**이전에 심판 문서에서 데이터를 크롤링한 결과, 이 기간 동안 크롤러를 다시 실행한 결과 웹페이지 데이터를 얻을 수 없는 것으로 나타났습니다. 검색 결과 요청 웹페이지의 소스 코드에서 잘못된 문자가 반환되는 것을 발견했습니다.* * (반환된 데이터의 일부는 다음과 같이 가로채어집니다. <meta http -equiv="Content-Type" content="text/htm...

phpcn_u1582 2017-06-22 11:51:56 0  4  1241

python爬虫 - scrapy使用redis的时候，redis需要进行一些设置吗？

用scrapy+redis+mongodb写了个爬虫，运行时不能爬取所有符合规则的网址，猜想是不是redis需要进行设置之类的，求高手解答。

巴扎黑 2017-04-24 09:12:00 0  1  490

python - 크롤러를 사용하여 웹 페이지의 이미지를 일괄적으로 크롤링하는 방법은 무엇입니까?

그림과 같이 네트워크를 통해 사진을 보고 로딩한 후 마우스 오른쪽 버튼을 클릭하여 하나씩 저장하는 것이 번거롭습니다. 여기서 사진을 일괄 캡쳐할 수 있는 크롤러를 작성할 수 있는 방법이 있습니까?

给我你的怀抱 2017-06-28 09:25:48 0  3  1182

如何把nutch爬取的网页内容存写到MongoDB?

最近在做一个网络爬虫，想把nutch获取的爬取内容写到MongoDB,网上找了很多，仍然不清，我是使用nutch-1.10, 我找到的内容有提到nutch2.x 才支持mongoDB的配置！请问如何把nutch爬取的网页内容存写到MongoDB?谢谢！

習慣沉默 2017-04-28 09:06:15 0  0  561

python - 웹사이트에 표시된 사진이 크롤러에서 얻은 사진과 다릅니다. 문제를 어떻게 확인할 수 있나요?

온라인으로만 볼 수 있어서 연습용으로 써볼까 합니다 http://smp.yoedge.com/smp-app... 6페이지쯤부터 찾아본 사진자료에는 설명할 수 없는 부분이 깨져있습니다 http://smp.yoedge.com/smp-app... ://smp.yoedge.com/smp-app... ://smp3.yoedge.com/smp-ap... 내 크롤러는 기본적으로 크롤링을 하는 부분이 매우 눈에 띕니다...

PHPz 2017-05-18 10:56:43 0  1  1108