python - Scrapy로 스크랩한 데이터를 파이프라인에 표시할 수 없습니다.

스크래피를 통해 데이터를 캡쳐했는데, 파이프라인으로 되돌릴 수는 있지만 결과가 인쇄되지 않습니다. 문제를 해결하려면 어떻게 해야 할까요?

我想大声告诉你 2017-05-18 10:57:53 0  2  821

javascript - 페이지에 많은 데이터가 있는 경우 phantomjs를 사용하여 크롤링하면 페이지를 크롤링할 수 없는 이유는 무엇입니까?

Taobao 검색 페이지를 크롤링하고 싶습니다. js 렌더링으로 생성된 페이지이므로 phantomjs를 사용하여 크롤링하기로 선택했습니다. 그런데 가져오는 과정에서 문제가 발생했습니다. 검색 결과가 2개 이상인 경우 데이터를 얻을 수 없습니다. 하지만 스크린샷을 보면 데이터가 정상적으로 로드되고 있는 것으로 보입니다. 타오바오에는 제한이 있는지 모르겠네요...

習慣沉默 2017-07-05 10:50:52 0  1  896

정보를 캡처하기 위해 웹페이지가 데이터베이스에 어떻게 연결됩니까?

웹 페이지에는 버튼과 입력 상자가 있습니다. 버튼을 클릭하면 데이터베이스에 연결되어 정보를 캡처한 다음 해당 정보를 웹 페이지의 입력 상자로 반환합니다. 제가 초보라서 참고할만한 자료가 있나요?

神秘人 2020-12-21 19:45:07 0  1  1149

python - Fiddler+Android 에뮬레이터가 앱을 캡처하고 json 데이터가 암호화됩니다. 어떻게 구문 분석하나요?

질문: Shanxi Window 앱을 크롤링하려고 할 때 JSON 데이터가 직접적인 JSON 구조가 아닌 것을 발견했습니다. 원본 콘텐츠를 구문 분석할 수 있는 방법이 있나요? 요청 응답 일부 정보를 확인한 결과 일부 회사에서는 APP의 양쪽 끝에서 전송되는 데이터를 암호화하는 것으로 보입니다.

PHPz 2017-05-16 13:31:23 0  2  1374

javascript - Ajax 정보, 프론트 엔드 jq에서 캡처한 데이터의 안전한 처리

Ajax와 데이터 소스의 경우에는 보통 jq Notes를 사용하여 요소에 게시해야 할 값을 직접 던진 다음 가져옵니다. 이런 식으로 브라우저 콘솔을 사용하여 페이지 속성을 변경하면 ajax 게시물의 값도 변경됩니다. 사용자가 실제 사람인지 확인하기 위해 백엔드에서 PHP를 사용하지만...

漂亮男人 2017-05-16 13:16:33 0  1  459

mongodb 컬렉션의 컬렉션 및 인덱스 파일을 안전하게 전송하여 공간을 확보하는 방법

독립형 환경에서 mongodb는 크롤러가 캡처한 웹 페이지의 소스 코드를 캐시하는 데 사용됩니다. 복제본 세트, 샤드 등은 없습니다. Mongodb는 순전히 편의성과 저장 효율성 향상을 위해 사용됩니다. 이제 컬렉션이 50G 이상의 공간을 차지하고 데이터가 추출되었습니다. 단기적으로는 사용되지 않지만 10년 동안 캡처되었습니다.

大家讲道理 2017-05-02 09:24:50 0  2  720

javascript - 프런트엔드에서 백엔드 인터페이스를 호출하는 데 Ajax 외에 또 무엇을 사용할 수 있습니까?

회사가 모바일 공식 웹사이트를 구축하려고 하는데 ajax를 사용하여 인터페이스를 호출할 수 없다면(다른 사람을 위한 데이터를 캡처하기 위해) 또 무엇을 사용할 수 있습니까? ? ? Baidu는 데이터를 캡처하기 위해 무엇을 사용합니까?

仅有的幸福 2017-06-30 09:57:52 0  4  1153

'현재 테이블'에 레코드가 없는 경우에만 'new_table'에 INSERT를 스크랩합니다.

웹사이트 스크래핑을 시도했습니다. 현재 데이터베이스 테이블에서 데이터를 성공적으로 스크랩했습니다. 하지만 "현재 테이블"에 레코드가 없는 경우에만 "new_table"을 삽입하고 싶습니다. 내 코드는 (파이프라인) table='products' table2='new_products'`defsave(self,row):cursor=self.cnx입니다. )cursor.execute("SELECTDISTINCTproduct_idFROMpr

P粉122932466 2024-03-29 19:36:16 0  1  388

javascript - 쇼핑몰 개발 시 제품 세부정보 페이지의 속성 사양에 다음과 같이 어떤 json 데이터 형식을 사용하는 경향이 있나요?

{code...} 위를 선택한 경우: {code...} 두 번째 유형: {code...} 기본값 {code...} 이 두 가지 json 데이터 형식 중 어느 것이 더 간결하고 효율적입니까?

大家讲道理 2017-07-05 10:47:55 0  1  731

Python 크롤러 전문가 여러분, 이 웹사이트에서 크롤링 방지를 처리하는 방법을 살펴보고 알아보세요.

https://www.everysaving.co.uk는 Python을 통해 이 웹사이트의 데이터를 크롤링하지만 데이터를 반환할 수 없습니다! 크롤링을 위해 헤더와 프록시 IP를 추가했지만 작동하지 않았습니다. . .

曾经蜡笔没有小新 2017-05-18 11:01:00 0  4  769

nosql - mongodb의 인덱스 작업이 어떻게 시간을 절약하는지 자세히 설명해 주실 수 있나요?

MongoDB 인덱스는 일반적으로 쿼리 효율성을 크게 향상시킬 수 있습니다. 인덱스가 없으면 MongoDB는 데이터를 읽을 때 컬렉션의 각 파일을 검색하고 쿼리 조건을 충족하는 레코드를 선택해야 합니다. 전체 컬렉션을 스캔하는 쿼리 효율성은 매우 낮습니다. 특히 대량의 데이터를 처리할 때 쿼리는...

黄舟 2017-05-02 09:25:14 0  2  619

ConnectionError를 해결하는 방법?

Python의 요청 모듈을 사용하여 데이터를 캡처할 때 원하는 데이터가 나타날 수 있지만 데이터가 불완전하고 나중에 ConnectionError가 나타납니다. 어떻게 해결할 수 있나요? 시간 초과를 설정했습니다. 내 코드는 다음과 같습니다: {코드...}

女神的闺蜜爱上我 2017-06-12 09:19:47 0  1  950

HTML DOM 결과를 MySQL 데이터베이스에 저장

스크랩한 데이터를 데이터베이스에 저장하려고 합니다. 결과만 출력하므로 크롤링은 정상입니다. 하지만 변수를 정의하고 이를 mysql-insert에 전달하는 과정에서 확실히 오류가 발생합니다. "새 레코드가 성공적으로 생성되었습니다"라는 메시지가 표시됩니다. 변수의 결과는 비어 있고 날짜가 존재합니다. <?php$html=file_get_contents('https://www.marketwatch.com/market-data/us?mod=market-data-center');$

P粉549986089 2023-09-15 23:41:06 0  1  563

python - Scrapy ItemLoader 데이터 정리 질문

scrapy를 사용하여 데이터를 캡처하는 경우 itemloader 클래스를 사용하세요. 선택기가 가져온 값이 비어 있으면 scrapy.Field()를 입력하고 filter()를 호출하세요. 선택기 값이 비어 있지 않으면 실제로 "with value"가 반환됩니다. ". 선택기를 [] 또는 ""에서 빼면 값이 filter()에 들어간 후에는...

PHPz 2017-05-27 17:39:47 0  1  1146

nosql - mongodb가 잠시 실행된 후 자동으로 충돌하는 이유는 무엇입니까?

RT, 크롤러를 작성하여 JSON 데이터 일부를 가져온 다음 mongodb 저장소에 썼습니다. 앞서 작성한 30,000개 이상의 데이터는 정상이었지만(데이터베이스를 확인했는데 쓰기에 성공했습니다) 갑자기 서버의 cmd 창이 나타납니다. 번쩍였다. 내 스레드 설정은 10이고 내 컴퓨터에는 i5 4210, 8G 메모리가 장착되어 있습니다.

習慣沉默 2017-05-02 09:23:35 0  1  777

php - 이 다중 테이블 공동 쿼리에 대한 SQL을 작성하는 방법은 무엇입니까?

제 문제는 아래 그림과 같습니다. 데이터베이스 구조와 데이터는 아래 코드 블록에 있습니다. 도와주세요.. 제가 얻고자 하는 결과는 다음과 같습니다. 테이블 구조와 데이터는 다음과 같습니다. 내 요구 사항을 충족할 수 있지만 실행 효율성이 너무 낮습니다... {코드...} 더 효율적인 작성 방법을 제공할 수 있는 전문가가 있습니까?

阿神 2017-05-16 13:07:35 0  5  823

PHP 스토리지 데이터베이스 효율성 문제

프로그램 1: for($i=0;$<100;$++){데이터베이스에 연결하고 선택을 실행하여 데이터베이스 연결을 끊고 데이터를 저장합니다. 데이터베이스 연결;} 프로그램 실행 시간은 약 1.5~2초입니다. 프로그램 2: 데이터베이스에 연결합니다. for($i=0;$i<100;$i++){Execute select Once; 연결 실행에는 0.05~0.09초가 소요됩니다. 핵심은 내 저장된 데이터베이스 프로그램이

八哥 2023-09-22 22:46:18 0  0  874

python - 크롤러가 로그인을 시뮬레이션한 후 csdn 배경 기사 목록을 크롤링할 때 문제가 발생했습니다.

개인정보를 크롤링해서 캡쳐할 수 있어서 크롤러가 실제로 로그인이 되었는데, 아래 사진의 URL은 캡쳐가 되지 않습니다. URL은 http://write.blog.csdn.net/postlist 입니다. csdn 백스테이지. py2.7의 {code...} 코드를 게시하겠습니다.

ringa_lee 2017-05-18 10:51:59 0  2  1069

angular.js -AngularJS가 이러한 기술 솔루션에 적합합니까? 한 페이지에 20개의 Ajax 요청

각도는 다음 상황에 적합한 시나리오 솔루션입니까? 페이지는 전체 데이터베이스의 해당 테이블에서 총 등록 수, 총 게시물 수, 총 로그인 수 및 총 Baidu 스파이더 크롤링 수를 시간(예: 일, 월, 주)별로 계산해야 합니다. 총 10개 이상의 원본 데이터 테이블(정보 테이블, 기사 테이블, 사용자 테이블, PV...

曾经蜡笔没有小新 2017-05-15 17:02:23 0  1  502

python - 데이터를 업데이트한 후 웹페이지를 다시 크롤링할 수 없습니다.

오늘 제가 크롤링한 웹페이지에 일부 정보가 업데이트되었는데 크롤러가 실행되었지만 크롤링되지 않았습니다. {코드...} 전문가가 좀 더 구체적으로 설명하고 더 많은 정보를 전달할 수 있기를 바랍니다.

给我你的怀抱 2017-05-18 10:58:50 0  2  607