python - Scrapy로 스크랩한 데이터를 파이프라인에 표시할 수 없습니다.

스크래피를 통해 데이터를 캡쳐했는데, 파이프라인으로 되돌릴 수는 있지만 결과가 인쇄되지 않습니다. 문제를 해결하려면 어떻게 해야 할까요?

我想大声告诉你 2017-05-18 10:57:53 0  2  796

javascript - 페이지에 많은 데이터가 있는 경우 phantomjs를 사용하여 크롤링하면 페이지를 크롤링할 수 없는 이유는 무엇입니까?

Taobao 검색 페이지를 크롤링하고 싶습니다. js 렌더링으로 생성된 페이지이므로 phantomjs를 사용하여 크롤링하기로 선택했습니다. 그런데 가져오는 과정에서 문제가 발생했습니다. 검색 결과가 2개 이상인 경우 데이터를 얻을 수 없습니다. 하지만 스크린샷을 보면 데이터가 정상적으로 로드되고 있는 것으로 보입니다. 타오바오에는 제한이 있는지 모르겠네요...

習慣沉默 2017-07-05 10:50:52 0  1  870

정보를 캡처하기 위해 웹페이지가 데이터베이스에 어떻게 연결됩니까?

웹 페이지에는 버튼과 입력 상자가 있습니다. 버튼을 클릭하면 데이터베이스에 연결되어 정보를 캡처한 다음 해당 정보를 웹 페이지의 입력 상자로 반환합니다. 제가 초보라서 참고할만한 자료가 있나요?

神秘人 2020-12-21 19:45:07 0  1  1123

PHP는 웹페이지 데이터를 크롤링합니다.

Baidu 테이크아웃 가맹점의 웹페이지 https://wmpass.baidu.com/ucen...을 크롤링하는 것과 같은 몇 가지 요구 사항이 있지만 이 웹페이지는 모듈식 프런트 엔드 프레임워크를 사용하여 작성되었습니다. 소스 코드를 보면 볼 수만 있습니다. 일부 렌더링 전 소스 코드, 내가 가져오던 쿼리 목록은 페이지가 렌더링된 후가 아닙니다...

PHP中文网 2017-05-24 11:34:27 0  1  860

javascript - Ajax 정보, 프론트 엔드 jq에서 캡처한 데이터의 안전한 처리

Ajax와 데이터 소스의 경우에는 보통 jq Notes를 사용하여 요소에 게시해야 할 값을 직접 던진 다음 가져옵니다. 이런 식으로 브라우저 콘솔을 사용하여 페이지 속성을 변경하면 ajax 게시물의 값도 변경됩니다. 사용자가 실제 사람인지 확인하기 위해 백엔드에서 PHP를 사용하지만...

漂亮男人 2017-05-16 13:16:33 0  1  432

python - Fiddler+Android 에뮬레이터가 앱을 캡처하고 json 데이터가 암호화됩니다. 어떻게 구문 분석하나요?

질문: Shanxi Window 앱을 크롤링하려고 할 때 JSON 데이터가 직접적인 JSON 구조가 아닌 것을 발견했습니다. 원본 콘텐츠를 구문 분석할 수 있는 방법이 있나요? 요청 응답 일부 정보를 확인한 결과 일부 회사에서는 APP의 양쪽 끝에서 전송되는 데이터를 암호화하는 것으로 보입니다.

PHPz 2017-05-16 13:31:23 0  2  1336

PHP 데이터 수집?

PHP 데이터 수집? PHP 데이터 수집? PHP 데이터 수집?

Mr.V 2017-07-27 21:56:28 0  4  2184

python - 데이터를 업데이트한 후 웹페이지를 다시 크롤링할 수 없습니다.

오늘 제가 크롤링한 웹페이지에 일부 정보가 업데이트되었는데 크롤러가 실행되었지만 크롤링되지 않았습니다. {코드...} 전문가가 좀 더 구체적으로 설명하고 더 많은 정보를 전달할 수 있기를 바랍니다.

给我你的怀抱 2017-05-18 10:58:50 0  2  592

데이터를 읽지 못했습니다.

데이터베이스에서 데이터를 가져올 수 없습니다.

2019-04-01 13:15:50 0  3  1042

php - 크롤러가 필요한 데이터를 캡처하는 일반적인 규칙을 볼 수 있도록 도와주실 수 있나요?

A. 크롤링할 페이지의 html : {code...} B. 제가 작성한 크롤링 규칙 : {code...} $reg_list = "/<div\s*topClassName\='top1'\s *topSwitch\='on'\s*productId\='(\d+)'\s*productName\='[\x7f-\xff]+'\s*class\='productP...

过去多啦不再A梦 2017-05-16 13:16:30 0  2  593

PHP에서 TCP/IP 전송 데이터를 수신하는 방법

최근에는 Hikvision 캡처 카메라의 캡처 인터페이스를 만들어 데이터 인터페이스를 호출하는 데 사용되었습니다. 현재 Hikvision 캡처 카메라의 데이터는 로컬로 캡처할 수 있지만, 푸시된 데이터를 온라인으로 모니터링하는 방법은 무엇입니까? ! !

XuPing.Yang 2022-04-11 19:07:55 0  1  1131

div가 존재하지 않을 때 Beautiful Soup을 사용하여 데이터 추출

수천 개의 HTML 파일이나 사이트 데이터에서 테이블 데이터를 추출하려고 하는데 테이블에 이 작업을 쉽게 할 수 있는 div가 없고 저는 beautifulsoup를 처음 접했습니다. 지금은 변환된 모든 html을 csv로 수동으로 편집하고 이를 데이터베이스에 넣어 테이블을 생성하고 있지만 이미 가지고 있는 것을 가져오는 것이 좋습니다. <<bodystyle="margin-top:140px;"><divid="containe

P粉818306280 2024-02-26 16:22:47 0  1  438

HTML DOM 결과를 MySQL 데이터베이스에 저장

스크랩한 데이터를 데이터베이스에 저장하려고 합니다. 결과만 출력하므로 크롤링은 정상입니다. 하지만 변수를 정의하고 이를 mysql-insert에 전달하는 과정에서 확실히 오류가 발생합니다. "새 레코드가 성공적으로 생성되었습니다"라는 메시지가 표시됩니다. 변수의 결과는 비어 있고 날짜가 존재합니다. <?php$html=file_get_contents('https://www.marketwatch.com/market-data/us?mod=market-data-center');$

P粉549986089 2023-09-15 23:41:06 0  1  539

PHP를 사용하여 PostgreSQL 데이터베이스에서 데이터를 가져올 때 개행 문자가 누락되었습니다.

제목: PHP를 사용하여 PostgreSQL 데이터베이스에서 데이터를 가져올 때 줄바꿈 문자가 누락되었습니다. 텍스트: PHP를 사용하여 PostgreSQL 데이터베이스에서 데이터를 가져올 때 문제가 발생했습니다. 저는 Navicat을 사용하여 데이터베이스의 데이터를 봅니다. 그리고 데이터에서 개행 문자(\n)를 분명히 볼 수 있습니다.

P粉696146205 2023-08-06 13:44:42 0  1  626

데이터베이스에서 배열 추출

배열(체크박스)은 그림과 같이 unserialize()를 통해 데이터베이스에 저장되는데, 이를 추출하여 정상적으로 표시하는 방법은 예를 들어 디스플레이: 수학,

杰瑞 2019-11-13 15:30:46 0  0  718

아약스가 데이터를 얻을 수 없습니다

강좌에서 언급한 대로 데이터를 얻을 수 없습니다.

鲜花批发 2019-08-25 18:20:53 0  1  1127

데이터의 기본 키 값을 연관 배열의 인덱스로 사용하여 데이터를 얻습니다.

데이터의 기본 키 값을 연관 배열의 인덱스로 사용하여 데이터를 얻습니다.

王林 2023-07-16 17:41:35 0  2  8017

python - Scrapy ItemLoader 데이터 정리 질문

scrapy를 사용하여 데이터를 캡처하는 경우 itemloader 클래스를 사용하세요. 선택기가 가져온 값이 비어 있으면 scrapy.Field()를 입력하고 filter()를 호출하세요. 선택기 값이 비어 있지 않으면 실제로 "with value"가 반환됩니다. ". 선택기를 [] 또는 ""에서 빼면 값이 filter()에 들어간 후에는...

PHPz 2017-05-27 17:39:47 0  1  1121

웹 스크래핑: href 속성 누락 - 웹 스크래핑을 위해 마우스 클릭을 시뮬레이션해야 합니까?

재미있는 웹 스크래핑 프로젝트를 위해 ttps://www.nhl.com/stats/teams에서 NHL 데이터를 수집하고 싶습니다. 클릭 가능한 Excel 내보내기 라벨이 있으며 Selenium과 bs4를 사용하여 찾을 수 있습니다. 불행히도 그것이 끝나는 곳입니다. href 속성이 없기 때문에 데이터에 액세스할 수 없는 것 같습니다. pynput을 사용하여 마우스 클릭을 시뮬레이션하여 원하는 것을 얻었지만, 다르게 할 수 있는지 궁금합니다. 어색한 느낌이 든다면. ->내보내기 아이콘이 있는 태그는 여기에서 찾을 수 있습니다.

P粉550823577 2024-04-04 10:32:06 0  1  3554

Excel\VBA를 사용하여 웹 페이지에서 정보를 긁어냅니다.

웹 페이지에서 데이터를 긁어내려고 하는데 4비트의 데이터가 필요합니다. 그 중 2개는 검색할 수 있었지만 나머지 2개는 힌트를 받았습니다. 이는 고정된 URL은 아니지만 이 URL은 리디렉션 후 IE에서 검색되었으므로 이 예에서는 https://cpc.farnell.com/warton/microprint-p2010-15-32um-250g/를 사용합니다. -paste-15-32um-250g-pot/dp/SD02808 제목을 얻고 싶습니다: Micr

P粉555696738 2023-09-02 18:48:32 0  1  827