Python을 사용하여 산문 웹사이트의 기사를 크롤링합니다.-파이썬 튜토리얼-php.cn

Python을 사용하여 산문 웹사이트의 기사를 크롤링합니다.

PHP中文网

풀어 주다： 2017-07-03 17:30:29

원래의

1305명이 탐색했습니다.

image.png

Python 2.7 구성

으아악

설치 pip를 사용하여 sudo pip install bs4를 설치하세요

sudo pip 설치 요청

bs4는 웹페이지를 크롤링하기 때문에 사용법을 간략히 설명하고 find와 find_all을 소개하겠습니다

find와 find_all의 차이점은 반환되는 내용이 다르다는 것입니다. Find는 처음으로 일치하는 태그와 태그의 내용을 반환합니다

find_all은 목록을 반환합니다

예를 들어, find와 find_all의 차이를 테스트하기 위해 test.html을 작성합니다. 내용은 다음과 같습니다:

으아악

test.py의 코드는 다음과 같습니다.

으아악

실행 후 지정된 태그를 가져오면 둘 사이에 큰 차이가 없는 결과를 볼 수 있습니다. 태그 그룹을 가져오면 둘 사이의 차이가 표시됩니다

image.png

그래서 사용할 때 필요한 것에 주의를 기울여야 합니다. 그렇지 않으면 오류가 발생합니다.
다음 단계는 요청을 통해 웹페이지 정보를 얻는 것입니다. 왜 다른 사람들이 들었고 다른 것을 쓰는지 잘 모르겠습니다.
I get 메소드를 사용하여 prose.com에서 여러 카테고리의 두 번째 수준 웹페이지 가져오기를 통해 웹페이지에 직접 액세스한 다음 그룹 테스트를 통과하여 모든 웹페이지를 크롤링합니다

으아악

이 부분의 코드에서는 200이 아닌 res.status_code를 처리하지 않았습니다. 그 결과 오류가 표시되지 않고 크롤링된 콘텐츠가 손실되는 문제가 있습니다. 그러다가 Sanwen.net 웹페이지를 분석해 보니 www.sanwen.net/rizhi/&p=1
p의 최대값은 10입니다. 지난번에 디스크를 크롤링했을 때는 였네요. 100페이지는 나중에 분석하겠습니다. 그런 다음 get 메소드를 통해 각 페이지의 내용을 가져옵니다.
각 페이지의 내용을 얻은 후 작성자와 제목을 분석하면 다음과 같습니다

으아악

제목을 구할 때 부정행위가 있었습니다 여러분, 왜 산문을 작성할 때 제목에 슬래시를 추가하나요? 이 문제로 인해 나중에 작성할 때 파일 이름이 잘못되었습니다. 정규식을 입력하면 제가 대신 바꿔드리겠습니다.
마지막 단계는 각 페이지의 분석을 통해 기사 주소를 얻은 다음, 원래는 웹 페이지 주소를 변경하여 하나씩 내용을 가져오고 싶었습니다. 문제.

으아악

마지막 단계는 파일을 작성하고 저장하면 됩니다

으아악

Prose.com에서 산문을 얻으려면 세 가지 기능을 사용하는데 문제는 일부 산문이 왜 손실되는지 알 수 없다는 것입니다. 400개 정도의 기사만 얻을 수 있습니다. Prose.com이지만 실제로는 동일합니다. 누군가가 이 문제를 해결하도록 도와줄 수 있기를 바랍니다. 물론 웹 페이지에 접근할 수 없게 만들어야 할 것 같아요. 기숙사의 네트워크가 끊어진 것과 관련이 있는 것 같아요

으아악

렌더링을 거의 잊어버렸어요