Scrapy를 사용하여 Kugou Music 노래를 크롤링하는 방법은 무엇입니까?

인터넷이 발달하면서 인터넷에 존재하는 정보의 양이 늘어나고 있으며, 사람들은 다양한 분석과 마이닝을 수행하기 위해 다양한 웹사이트에서 정보를 크롤링해야 합니다. Scrapy는 웹사이트 데이터를 자동으로 크롤링하고 구조화된 형식으로 출력할 수 있는 완전한 기능을 갖춘 Python 크롤러 프레임워크입니다. Kugou Music은 가장 인기 있는 온라인 음악 플랫폼 중 하나입니다. 아래에서는 Kugou Music의 노래 정보를 크롤링하기 위해 Scrapy를 사용하는 방법을 소개하겠습니다.

1. Scrapy 설치

Scrapy는 Python 언어 기반의 프레임워크이므로 먼저 Python 환경을 구성해야 합니다. Scrapy를 설치하기 전에 먼저 Python 및 pip 도구를 설치해야 합니다. 설치가 완료되면 다음 명령을 통해 Scrapy를 설치할 수 있습니다:

pip install scrapy

2. 새 Scrapy 프로젝트 만들기

Scrapy는 새 프로젝트를 쉽게 만들 수 있도록 명령줄 도구 세트를 제공합니다. 명령줄에 다음 코드를 입력하세요.

scrapy startproject kuwo_music

실행 후 현재 디렉터리에 "kuwo_music"이라는 Scrapy 프로젝트가 생성됩니다. 이 프로젝트에서는 Kugou Music의 노래 정보를 크롤링하기 위한 새로운 크롤러를 만들어야 합니다.

3. 새 크롤러 만들기

Scrapy 프로젝트에서 크롤러는 특정 웹사이트의 데이터를 크롤링하고 구문 분석하는 데 사용되는 프로그램입니다. "kuwo_music" 프로젝트 디렉터리에서 다음 명령을 실행합니다.

scrapy genspider kuwo www.kuwo.cn 

위 명령을 실행하면 "kuwo_music/spiders" 디렉터리에 "kuwo.py"라는 파일이 생성됩니다. 이는 크롤러 프로그램 코드입니다. 이 파일에서 웹사이트 데이터의 크롤링 및 구문 분석 프로세스를 정의해야 합니다.

4. 웹사이트 요청 및 페이지 구문 분석

새 "kuwo.py" 파일에서 먼저 필요한 모듈을 가져와야 합니다.

import scrapy
from kuwo_music.items import KuwoMusicItem
from scrapy_redis.spiders import RedisSpider
from scrapy_redis import get_redis_from_settings
from scrapy.utils.project import get_project_settings

위 코드를 통해 Scrapy에서 제공하는 다양한 도구 클래스를 사용할 수 있습니다. 프레임워크와 메소드, 프로젝트의 사용자 정의 모듈. 크롤러 코드 작성을 계속하기 전에 먼저 Kugou Music 노래 정보가 있는 웹 페이지를 분석해야 합니다.

브라우저를 열고 www.kuwo.cn을 방문하여 검색창에 노래 이름을 입력하고 검색하면 해당 웹페이지가 검색 결과 페이지로 이동하는 것을 확인할 수 있습니다. 검색 결과 페이지에서는 곡명, 아티스트, 재생 시간 등 각 곡에 대한 관련 정보를 확인할 수 있습니다. Scrapy를 통해 요청을 보내고 검색 결과 페이지를 구문 분석하여 각 노래의 세부 정보를 가져와야 합니다.

크롤러 프로그램 코드에서는 다음 두 가지 메소드를 구현해야 합니다.

def start_requests(self):
    ...
    
def parse(self, response):
    ...

그 중 start_requests() 메소드는 초기 웹 페이지 요청을 보내는 데 사용되며 구문 분석 메소드인parse()는 콜백으로 지정됩니다. 함수; 구문 분석() 메서드는 웹 페이지를 구문 분석하고, 데이터를 추출하고, 응답을 처리하는 데 사용됩니다. 구체적인 코드는 다음과 같습니다.

class KuwoSpider(RedisSpider):
    name = 'kuwo'
    allowed_domains = ['kuwo.cn']
    redis_cli = get_redis_from_settings(get_project_settings())

    def start_requests(self):
        keywords = ['爱情', '妳太善良', '说散就散']
        # 搜索结果页面的url
        for keyword in keywords:
            url = f'http://www.kuwo.cn/search/list?key={keyword}&rformat=json&ft=music&encoding=utf8&rn=8&pn=1'
            yield scrapy.Request(url=url, callback=self.parse)

    def parse(self, response):
        data = json.loads(response.text)
        # 获取搜索结果页面的每个歌曲信息
        song_list = data['data']['list']
        for song in song_list:
            music_id = song['musicrid'][6:]
            song_name = song['name']
            singer_name = song['artist']
            album_name = song['album']

            # 根据歌曲id获取歌曲详细信息
            url = f'http://www.kuwo.cn/url?format=mp3&rid=MUSIC_{music_id}&response=url&type=convert_url3&br=128kmp3&from=web&t=1639056420390&httpsStatus=1&reqId=6be77da1-4325-11ec-b08e-11263642326e'
            meta = {'song_name': song_name, 'singer_name': singer_name, 'album_name': album_name}
            yield scrapy.Request(url=url, callback=self.parse_song, meta=meta)

    def parse_song(self, response):
        item = KuwoMusicItem()
        item['song_name'] = response.meta.get('song_name')
        item['singer_name'] = response.meta.get('singer_name')
        item['album_name'] = response.meta.get('album_name')
        item['song_url'] = response.text.strip()
        yield item

위 코드에서는 먼저 start_requests() 메소드에 검색할 노래 키워드를 정의하고, 각 노래 검색 결과 페이지의 URL을 구성한 후 요청을 보냅니다. pars() 메소드에서는 검색 결과 페이지를 구문 분석하고 노래 이름, 아티스트, 앨범 등 각 노래에 대한 관련 정보를 추출합니다. 그런 다음 각 노래의 ID를 기반으로 해당 노래 정보를 얻기 위한 URL을 구성하고 Scrapy의 메타데이터(메타) 메커니즘을 사용하여 노래 이름, 가수, 앨범 및 기타 정보를 전송합니다. 마지막으로 노래 정보 페이지를 구문 분석하고parse_song() 메서드에서 노래 재생 주소를 추출하여 사용자 정의 KuwoMusicItem 개체에 출력합니다.

5. 데이터 저장 및 사용

위 코드에서는 크롤링된 노래 정보를 저장하기 위해 사용자 정의 KuwoMusicItem 개체를 정의합니다. RedisPipeline 도구 클래스를 사용하여 크롤링된 데이터를 Redis 데이터베이스에 저장할 수 있습니다:

ITEM_PIPELINES = {
    'kuwo_music.pipelines.RedisPipeline': 300,
}

동시에 JsonLinesItemExporter 도구 클래스를 사용하여 데이터를 로컬 csv 파일에 저장할 수도 있습니다:

from scrapy.exporters import JsonLinesItemExporter
import csv

class CsvPipeline(object):
    # 将数据存储到csv文件
    def __init__(self):
        self.file = open('kuwo_music.csv', 'w', encoding='utf-8', newline='')
        self.exporter = csv.writer(self.file)
        self.exporter.writerow(['song_name', 'singer_name', 'album_name', 'song_url'])

    def close_spider(self, spider):
        self.file.close()

    def process_item(self, item, spider):
        self.exporter.writerow([item['song_name'], item['singer_name'], item['album_name'], item['song_url']])
        return item

마지막으로 실행합니다. 명령줄에서 다음 명령을 사용하면 Scrapy 크롤러를 시작할 수 있습니다.

scrapy crawl kuwo

위는 Kugou Music의 노래 정보를 크롤링하기 위해 Scrapy 프레임워크를 사용하는 방법에 대한 자세한 소개입니다. 참고 및 도움이 되기를 바랍니다.

위 내용은 Scrapy를 사용하여 Kugou Music 노래를 크롤링하는 방법은 무엇입니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!