묻다찾다_PHP 중국어 웹사이트

지역 사회 배우다 도구 라이브러리 여가

한국어

인기 검색어：
PHP
MySQL
jquery
HTML
CSS

javascript - 노드가 Weibo를 크롤링합니다.

저는 노드를 처음 접했고 Sina Weibo 댓글을 크롤링하는 크롤러를 작성하고 싶었지만 페이지가 JS에 의해 동적으로 생성되었으며 http 모듈을 사용하여 크롤링할 수 없다는 것을 발견하여 phantomjs를 사용하여 크롤링했습니다. 더 천천히, 거의 15분 정도 걸렸습니다. 너무 느리네요. 제가 잘못 쓴 것인지는 모르겠습니다.) 그래도 안 된다면 어떻게 해야 하는지 여쭤보고 싶습니다...

仅有的幸福 2017-06-30 10:00:08

Java에서 JS 처리 코드를 크롤링하는 방법

페이지 주소: http://acm.hdu.edu.cn/showpro... 크롤링 목표: 이 수식의 코드를 크롤링하려는 경우 Chrome에서 F12를 누르면 표시되는 코드: 그러나 크롤링된 코드는 다음과 같습니다. 다음: 이 코드는 올바른 수식을 표시하지 않습니다. 이 코드는 모두 js에 의해 생성된 것 같습니다.

为情所困 2017-05-17 10:04:18

Python이 웹 페이지를 크롤링하고 요청이 왜곡됩니다.

**이전에 심판 문서에서 데이터를 크롤링한 결과, 이 기간 동안 크롤러를 다시 실행한 결과 웹페이지 데이터를 얻을 수 없는 것으로 나타났습니다. 검색 결과 요청 웹페이지의 소스 코드에서 잘못된 문자가 반환되는 것을 발견했습니다.* * (반환된 데이터의 일부는 다음과 같이 가로채어집니다. <meta http -equiv="Content-Type" content="text/htm...

phpcn_u1582 2017-06-22 11:51:56

Python + Selenium + Chromedriver를 사용하여 인터페이스 없는 크롤링을 구현하는 방법

Selenium을 사용하여 12306을 크롤링하는 과정에서 phantomjs를 사용하여 크롤링할 수 없으며 chromedriver를 사용할 수 있음을 발견했습니다. chromedriver를 사용하면 웹사이트에서 phantomjs를 감지하여 금지해야 하며, 크롤링이 다시 표시됩니다. 효율성이 낮습니다. 이제 두 가지 질문이 있습니다. 오랫동안 Google에서 검색했지만 여전히 찾을 수 없습니다.

迷茫 2017-05-18 10:53:13

웹사이트 도메인 이름 아래의 모든 링크를 크롤링합니다.

PHP를 사용하여 웹사이트의 모든 링크를 크롤링하는 방법은 무엇입니까? 도메인 이름을 입력하면 변경된 도메인 이름 아래의 모든 링크를 얻을 수 있습니다. 루프에서 링크를 크롤링할 때 중복 링크를 제거하는 방법은 무엇입니까?

蜻竺 2020-06-16 15:59:46

python - Douyu 팔로어 수가 로딩 그림으로 표시됩니다. 팔로어 수를 크롤링하는 방법은 무엇입니까?

Douyu 팔로어 수를 크롤링하고 웹사이트가 로드된 후 {code...}를 표시합니다. 이런 종류의 데이터를 어떻게 크롤링해야 합니까?

巴扎黑 2017-07-05 10:34:08

python - pyspider 예약 크롤링 문제

크롤러를 작성하면서 코드에 마다 설정을 하고 21일에 한 번 크롤링을 해보니 오늘 결과가 업데이트되지 않고 마지막 크롤링 시간이 여전히 21일인 것을 발견했습니다. 매개변수 설정이 잘못되었나요?

我想大声告诉你 2017-05-18 10:53:29

웹 크롤러 - Python을 사용하여 Blog Park 블로그의 사진을 크롤링하는 방법은 무엇입니까?

Blog Park 블로그의 사진을 크롤링하기 위해 작은 코드를 작성했습니다. 이 코드는 일부 링크에 유효하지만 일부 링크는 크롤링되자마자 오류를 보고합니다. 이유는 무엇입니까? {code...} 그림과 같이 이미지가 올바르게 크롤링될 수 있습니다. URL을 {code...}로 변경하면 즉시 오류가 발생합니다. 해결해 주세요.

某草草 2017-05-18 10:45:39

python - 이미지 크롤링에 대해 질문이 있으십니까?

오늘날의 크롤러는 일반적으로 HTML에서 이미지를 구문 분석하지만 문제는 일부 이미지 경로가 JS로 작성된다는 것입니다. 이거 어떻게 올라가나요? 브라우저에서 f12 포인트를 열면 소스 내부의 사진을 볼 수 있다는 것을 알고 있습니다. 그런데 소스의 리소스를 크롤링하기 위해 크롤러를 어떻게 사용합니까?

我想大声告诉你 2017-06-28 09:25:40

python - 리디렉션된 웹사이트에서 데이터를 크롤링하는 방법

저는 현재 크롤러에 대한 지식을 배우고 있으며 셀레늄을 사용하여 일부 복잡한 웹사이트를 크롤링하고 있습니다. 문제가 발생했습니다. 크롤링해야 하는 작업 주문 웹사이트(비밀번호를 모릅니다)는 먼저 인증 시스템에 로그인한 다음 인증 시스템 페이지에서 작업 주문 시스템 연결을 클릭해야 합니다. 자동으로 로그인할 필요가 없어집니다.

怪我咯 2017-05-19 10:07:30

如何把nutch爬取的网页内容存写到MongoDB?

最近在做一个网络爬虫，想把nutch获取的爬取内容写到MongoDB,网上找了很多，仍然不清，我是使用nutch-1.10, 我找到的内容有提到nutch2.x 才支持mongoDB的配置！请问如何把nutch爬取的网页内容存写到MongoDB?谢谢！

習慣沉默 2017-04-28 09:06:15