> 백엔드 개발 > 파이썬 튜토리얼 > Scrapy 프레임워크 실습: Jianshu 웹사이트 데이터 크롤링

Scrapy 프레임워크 실습: Jianshu 웹사이트 데이터 크롤링

WBOY
풀어 주다: 2023-06-22 09:36:56
원래의
1348명이 탐색했습니다.

Scrapy 프레임워크 실습: Jianshu 웹사이트 데이터 크롤링

Scrapy는 World Wide Web에서 데이터를 추출하는 데 사용할 수 있는 오픈 소스 Python 크롤러 프레임워크입니다. 이 기사에서는 Scrapy 프레임워크를 소개하고 이를 사용하여 Jianshu 웹사이트에서 데이터를 크롤링합니다.

  1. Scrapy 설치

Scrapy는 pip 또는 conda와 같은 패키지 관리자를 사용하여 설치할 수 있습니다. 여기서는 pip를 사용하여 Scrapy를 설치합니다. 명령줄에 다음 명령을 입력합니다.

pip install scrapy
로그인 후 복사

설치가 완료되면 다음 명령을 사용하여 Scrapy가 성공적으로 설치되었는지 확인할 수 있습니다.

scrapy version
로그인 후 복사

"Scrapy x.x.x - no active project"와 유사한 출력이 표시되면 ", Scrapy가 성공적으로 설치되었습니다.

  1. Create Scrapy 프로젝트

Scrapy 사용을 시작하기 전에 Scrapy 프로젝트를 만들어야 합니다. 명령줄에 다음 명령을 입력하세요:

scrapy startproject jianshu
로그인 후 복사

그러면 현재 디렉터리에 "jianshu"라는 Scrapy 프로젝트가 생성됩니다.

  1. Scrapy 크롤러 만들기

Scrapy에서 크롤러는 웹사이트에서 추출된 데이터를 처리하는 구성 요소입니다. 우리는 Scrapy Shell을 사용하여 Jianshu 웹사이트를 분석하고 크롤러를 생성합니다.

명령줄에 다음 명령을 입력하세요.

scrapy shell "https://www.jianshu.com"
로그인 후 복사

이렇게 하면 Scrapy Shell이 ​​시작됩니다. 여기서 크롤러용 선택기를 만들기 위해 Jianshu 웹 사이트의 페이지 소스 코드와 요소를 볼 수 있습니다.

예를 들어 다음 선택기를 사용하여 기사 제목을 추출할 수 있습니다.

response.css('h1.title::text').extract_first()
로그인 후 복사

다음 선택기를 사용하여 기사 작성자를 추출할 수 있습니다.

response.css('a.name::text').extract_first()
로그인 후 복사

Scrapy Shell에서 선택기를 테스트한 후 크롤러용 선택기를 만들 수 있습니다. 새로운 Python 파일. 명령줄에 다음 명령을 입력하세요:

scrapy genspider jianshu_spider jianshu.com
로그인 후 복사

이렇게 하면 "jianshu_spider"라는 이름의 Scrapy 스파이더가 생성됩니다. Scrapy Shell에서 테스트한 선택기를 크롤러의 .py 파일에 추가하고 추출할 데이터를 지정할 수 있습니다.

예를 들어 다음 코드는 Jianshu 웹사이트 홈페이지에 있는 모든 기사의 제목과 작성자를 추출합니다.

import scrapy

class JianshuSpider(scrapy.Spider):
    name = 'jianshu_spider'
    allowed_domains = ['jianshu.com']
    start_urls = ['https://www.jianshu.com/']

    def parse(self, response):
        for article in response.css('li[data-note-id]'):
            yield {
                'title': article.css('a.title::text').extract_first(),
                'author': article.css('a.name::text').extract_first(),
            }
로그인 후 복사
  1. Scrapy 크롤러를 실행하고 결과를 출력합니다

이제 명령줄 모드에서 Scrapy 크롤러를 실행합니다. 결과를 파일의 JSON으로 출력합니다. 명령줄에 다음 명령을 입력합니다.

scrapy crawl jianshu_spider -o articles.json
로그인 후 복사

이 명령은 크롤러를 실행하고 출력 데이터를 "articles.json"이라는 JSON 파일에 저장합니다.

  1. 결론

이 기사에서는 Scrapy 프레임워크를 소개하고 이를 사용하여 Jianshu 웹 사이트에서 데이터를 스크랩했습니다. Scrapy 프레임워크를 사용하면 웹사이트에서 데이터를 쉽게 추출할 수 있으며 동시성 및 확장성 덕분에 Scrapy를 대규모 데이터 추출 애플리케이션으로 확장할 수 있습니다.

위 내용은 Scrapy 프레임워크 실습: Jianshu 웹사이트 데이터 크롤링의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

원천:php.cn
본 웹사이트의 성명
본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.
인기 튜토리얼
더>
최신 다운로드
더>
웹 효과
웹사이트 소스 코드
웹사이트 자료
프론트엔드 템플릿