Scrapy는 WeChat 공개 계정 기사의 크롤링 및 분석을 구현합니다.

Scrapy는 WeChat 공개 계정의 기사 크롤링 및 분석을 실현합니다

WeChat은 최근 몇 년간 매우 인기 있는 소셜 미디어 애플리케이션이며, 여기서 운영되는 공개 계정도 매우 중요한 역할을 합니다. 우리 모두 알고 있듯이 WeChat 공개 계정은 정보와 지식의 바다입니다. 왜냐하면 각 공개 계정은 기사, 그래픽 메시지 및 기타 정보를 게시할 수 있기 때문입니다. 이 정보는 언론보도, 학술연구 등 다양한 분야에서 폭넓게 활용될 수 있습니다.

그래서 이번 글에서는 Scrapy 프레임워크를 사용하여 WeChat 공개 계정 글을 크롤링하고 분석하는 방법을 소개하겠습니다. Scrapy는 데이터 마이닝과 정보 검색을 주요 기능으로 하는 Python 웹 크롤러 프레임워크입니다. 따라서 Scrapy는 사용자 정의가 가능하고 효율적입니다.

1. Scrapy 설치 및 프로젝트 생성

스크롤링에 Scrapy 프레임워크를 사용하려면 먼저 Scrapy 및 기타 종속 항목을 설치해야 합니다. pip 명령을 사용하여 설치할 수 있습니다. 설치 프로세스는 다음과 같습니다.

pip install scrapy
pip install pymongo
pip install mysql-connector-python

Scrapy를 설치한 후 Scrapy 명령줄 도구를 사용하여 프로젝트를 생성해야 합니다. 명령은 다음과 같습니다.

scrapy startproject wechat

이 명령을 실행하면 Scrapy는 "wechat"이라는 프로젝트를 생성하고 프로젝트 디렉터리에 많은 파일과 디렉터리를 생성합니다.

2. WeChat 공개 계정 기사 크롤링 구현

크롤링을 시작하기 전에 먼저 WeChat 공개 계정 기사 페이지의 URL 형식을 이해해야 합니다. 일반적인 WeChat 공개 계정 기사 페이지의 URL은 다음과 같습니다.

https://mp.weixin.qq.com/s?__biz=XXX&mid=XXX&idx=1&sn=XXX&chksm=XXX#wechat_redirect

그 중 __biz는 WeChat 공개 계정의 ID를 나타내고, mid는 기사의 ID를 나타내며, idx는 기사의 일련 번호, sn은 기사의 서명이고 chksm은 내용 확인을 나타냅니다. 따라서 특정 공식 계정의 모든 기사를 크롤링하려면 해당 공식 계정의 ID를 찾아 이를 사용하여 URL을 구축해야 합니다. 그 중 biz_id는 공식 계정의 고유 식별자이다.

우선 공식 계정의 기사를 크롤링하고 싶기 때문에 공식 계정 ID가 다수 포함된 목록을 준비해야 합니다. ID 수집은 다양한 수단을 통해 이루어질 수 있습니다. 여기서는 여러 테스트 ID가 포함된 목록을 예로 사용합니다.

biz_ids = ['MzU5MjcwMzA4MA==', 'MzI4MzMwNDgwMQ==', 'MzAxMTcyMzg2MA==']

다음으로 특정 공개 계정의 모든 기사를 크롤링하는 Spider를 작성해야 합니다. 여기서는 다양한 공식 계정 ID를 처리할 수 있도록 공식 계정의 이름과 ID를 Spider에 전달합니다.

import scrapy
import re

class WeChatSpider(scrapy.Spider):
    name = "wechat"
    allowed_domains = ["mp.weixin.qq.com"]
    
    def __init__(self, name=None, biz_id=None):
        super().__init__(name=name)
        self.start_urls = ['https://mp.weixin.qq.com/mp/profile_ext?action=home&__biz={}==#wechat_redirect'.format(biz_id)]

    def parse(self, response):
        article_urls = response.xpath('//h4[1]/a/@href')
        for url in article_urls.extract():
            yield scrapy.Request(url, callback=self.parse_article)
        
        next_page = response.xpath('//a[@id="js_next"]/@href')
        if next_page:
            yield scrapy.Request(response.urljoin(next_page[0].extract()), callback=self.parse)
    
    def parse_article(self, response):
        url = response.url
        title = response.xpath('//h2[@class="rich_media_title"]/text()')
        yield {'url': url, 'title': title.extract_first().strip()}

Spider의 주요 기능은 지정된 공식 계정 ID를 사용하여 공식 계정 홈페이지에 액세스한 후 각 페이지를 재귀적으로 순회하여 모든 기사의 URL을 추출하는 것입니다. 또한, 후속 처리를 위해 기사의 URL과 제목을 추출하는 데에도 pars_article 메소드가 사용됩니다. 전체적으로 이 거미는 그다지 복잡하지 않지만 추출 속도가 느립니다.

마지막으로 Spider를 시작하려면 터미널에 다음 명령을 입력해야 합니다.

scrapy crawl wechat -a biz_id=XXXXXXXX

마찬가지로 여러 공식 계정을 크롤링할 수도 있습니다. 명령에 모든 공식 계정의 ID를 지정하면 됩니다.

scrapy crawl wechat -a biz_id=ID1,ID2,ID3

3. 기사 데이터 저장

기사를 크롤링한 후 기사의 제목과 URL을 데이터베이스(예: MongoDB, MySQL 등)에 저장해야 합니다. 여기서는 pymongo 라이브러리를 사용하여 크롤링된 데이터를 저장하겠습니다.

import pymongo

class MongoPipeline(object):
    collection_name = 'wechat'

    def __init__(self, mongo_uri, mongo_db):
        self.mongo_uri = mongo_uri
        self.mongo_db = mongo_db

    @classmethod
    def from_crawler(cls, crawler):
        return cls(
            mongo_uri=crawler.settings.get('MONGO_URI'),
            mongo_db=crawler.settings.get('MONGO_DATABASE', 'items')
        )

    def open_spider(self, spider):
        self.client = pymongo.MongoClient(self.mongo_uri)
        self.db = self.client[self.mongo_db]

    def close_spider(self, spider):
        self.client.close()

    def process_item(self, item, spider):
        self.db[self.collection_name].insert_one(dict(item))
        return item

이 파이프라인에서는 MongoDB를 데이터 저장을 위한 백엔드로 사용합니다. 이 클래스는 필요에 따라 수정되어 다른 데이터베이스 시스템을 사용할 수 있습니다.

다음으로 settings.py 파일에서 데이터베이스 관련 매개변수를 구성해야 합니다.

MONGO_URI = 'mongodb://localhost:27017/'
MONGO_DATABASE = 'wechat'
ITEM_PIPELINES = {'myproject.pipelines.MongoPipeline': 300}

마지막으로 Spider에서 Pipeline을 호출하여 MongoDB에 데이터를 저장합니다.

class WeChatSpider(scrapy.Spider):
    name = "wechat"
    allowed_domains = ["mp.weixin.qq.com"]
    
    def __init__(self, name=None, biz_id=None):
        super().__init__(name=name)
        self.start_urls = ['https://mp.weixin.qq.com/mp/profile_ext?action=home&__biz={}==#wechat_redirect'.format(biz_id)]

    def parse(self, response):
        article_urls = response.xpath('//h4[1]/a/@href')
        for url in article_urls.extract():
            yield scrapy.Request(url, callback=self.parse_article)
        
        next_page = response.xpath('//a[@id="js_next"]/@href')
        if next_page:
            yield scrapy.Request(response.urljoin(next_page[0].extract()), callback=self.parse)
            
    def parse_article(self, response):
        url = response.url
        title = response.xpath('//h2[@class="rich_media_title"]/text()')
        yield {'url': url, 'title': title.extract_first().strip()}

        pipeline = response.meta.get('pipeline')
        if pipeline:
            item = dict()
            item['url'] = url
            item['title'] = title.extract_first().strip()
            yield item

위 코드에서 response.meta.get(' 파이프라인')은 Spider에서 설정한 파이프라인 개체를 얻는 데 사용됩니다. 따라서 파이프라인을 지원하려면 Spider 코드에 다음 코드를 추가하기만 하면 됩니다.

yield scrapy.Request(url, callback=self.parse_article, meta={'pipeline': 1})

4. Data analyze

마지막으로 Scrapy 및 pandas와 같은 라이브러리를 사용하여 데이터를 분석하고 시각화합니다.

여기에서는 MongoDB에서 크롤링한 데이터를 추출하여 CSV 파일에 저장하겠습니다. 그런 다음 팬더를 사용하여 CSV 파일을 처리하고 시각화할 수 있습니다.

구현 과정은 다음과 같습니다.

import pandas as pd
from pymongo import MongoClient

client = MongoClient('mongodb://localhost:27017/')
db = client['wechat']
articles = db['wechat']

cursor = articles.find()
doc = list(cursor)

df = pd.DataFrame(doc)
df.to_csv('wechat.csv', encoding='utf-8')

df.groupby('biz_id')['title'].count().plot(kind='bar')

위 코드에서는 MongoDB 및 Pandas 라이브러리를 사용하여 크롤링된 데이터를 CSV 파일의 데이터 폴더에 저장합니다. 이후 Pandas의 강력한 데이터 분석 기능을 사용하여 각 공개 계정의 기사 수를 시각적으로 표시했습니다.

위 내용은 Scrapy는 WeChat 공개 계정 기사의 크롤링 및 분석을 구현합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!