긁는 방법

스크래핑 또는 웹 스크래핑은 자동화된 방식으로 웹사이트에서 데이터를 추출하는 데 사용되는 기술입니다. 이는 프로그램이나 스크립트를 사용하여 웹페이지를 탐색하고 특정 정보(예: 텍스트, 이미지, 제품 가격 등)를 추출하고 저장하는 것으로 구성됩니다.

이번 포스팅에서는 스크래핑을 하는 과정과 주의할 점에 대해 알려드리겠습니다.

나의 경우 PCComponentes에서 스크래핑을 수행하여 노트북에 대한 정보를 수집하겠습니다. 이 데이터는 지정된 구성 요소를 기반으로 노트북 가격을 예측하도록 설계된 머신 러닝 모델의 기초가 되는 데이터 세트를 생성하는 데 사용됩니다.

먼저 스크래핑을 수행하기 위해 스크립트가 액세스해야 하는 URL을 식별해야 합니다.

이 경우 PcComponentes URL을 보면 URL을 통해 매개변수를 전달하는 것을 볼 수 있으며, 이를 사용하여 검색하려는 항목을 지정할 수 있습니다.

이 작업이 완료되면 검색 결과가 표시됩니다.

이후에는 거의 모든 브라우저에 통합된 개발자 도구를 사용합니다.

마우스 오른쪽 버튼을 클릭한 후 "검사" 옵션을 선택하면 개발자 도구가 열리고 다음이 표시됩니다.

검색 결과에 표시되는 제품에 대한 많은 정보를 포함하는 앵커() 유형의 태그입니다.

다음 영역을 살펴보면 거의 모든 제품 데이터를 볼 수 있습니다.

완료! 데이터를 추출할 영역이 있습니다. 이제 이를 추출하기 위한 스크립트를 생성할 차례입니다.

하지만 문제가 발생했습니다. PcComponentes에 직접 액세스하면 항상 쿠키 정책을 수락하라는 메시지가 표시됩니다. 따라서 아무것도 얻지 못하므로 GET 요청을 하고 결과를 스크래핑할 수 없습니다.

따라서 Selenium을 사용하여 브라우저를 시뮬레이션하고 상호 작용할 수 있어야 합니다.

다음부터 시작합니다.

from selenium import webdriver
from selenium.webdriver.firefox.options import Options
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By

options = Options()
options.headless = True
#Abrimos el navegador
driver = webdriver.Firefox(options=options)
time.sleep(5)
#Vamos a la página indicada pccomponentes.com/laptops
driver.get(url+str(i))
#Esperamos 30 segundos hasta que aparezca el botón de cookies y al aparecer hace clic
accept_cookies = WebDriverWait(driver, 30).until(
    EC.presence_of_element_located((By.ID, 'cookiesAcceptAll'))
)     
accept_cookies.click()
#Descargamos el HTML
html = driver.page_source

이 작업이 완료되면 html 변수에서 스크래핑할 페이지의 HTML 코드를 얻습니다.

그런데 또 다른 문제에 부딪혔습니다. Selenium으로 브라우저를 열고 2~3개의 요청을 하면 Cloudflare는 요청을 제한하고 더 이상의 요청을 허용하지 않습니다. 따라서 우리는 약 3페이지 정도만 스크래핑할 수 있었으며 이는 약 20대의 컴퓨터에 해당합니다. 데이터 세트를 만들기에는 부족합니다.

제가 생각해낸 해결책 중 하나는 페이지를 로컬로 다운로드하고 로컬에서 HTML로 작업하는 것이었습니다. 스크래핑을 완료한 후 다른 브라우저를 열고(합당한 시간 동안 대기) 다음 브라우저를 다운로드할 수 있습니다.

그래서 위의 코드를 함수에 추가하고 다음과 같이 for에 래핑했습니다.

#Función que se conecta a pccomponentes y guarda el html en local 
def guarda_datos_html(i=0):
    try:
        options = Options()
        options.headless = True
        #Abrimos el navegador
        driver = webdriver.Firefox(options=options)

        time.sleep(5)
        #Vamos a la página indicada pccomponentes.com/laptops
        driver.get(url+str(i))
        #Esperamos 30 segundos hasta que aparezca el botón de cookies y al aparecer hace clic
        accept_cookies = WebDriverWait(driver, 30).until(
            EC.presence_of_element_located((By.ID, 'cookiesAcceptAll'))
        )

        accept_cookies.click()
        #Descargamos el HTML
        html = driver.page_source
        #Lo guardamos en local
        with open(f'html/laptops_{i}.html','w',encoding="utf-8") as document:
            document.write(html)

        driver.close()
    except:
        print(f'Error en página: {i}')

for i in range(0,58):
    guarda_datos_html(i)
    time.sleep(30)

이제 HTML을 복구하여 작업할 수 있습니다. 이를 위해 스크래핑에 많이 사용되는 패키지인 BeautifulSoup을 설치했습니다.

이전 기능 덕분에 다운로드한 HTML에서 정보를 수집하는 기능을 개발할 예정입니다.

기능은 다음과 같습니다.

# Función que abre el HTML guardado con anterioridad y filtra los datos
# para guardarlos en un CSV ordenados
def get_datos_html(i=0):
    try:
        with open(f'laptop_data_actual.csv','a') as ldata:

            field = ['Company','Inches','Cpu','Ram','Gpu','OpSys','SSD','Price']
            writer = csv.DictWriter(ldata, fieldnames=field)


            with open(f'html/laptops_{i}.html','r',encoding="utf-8") as document:

                html = BeautifulSoup(document.read(), 'html.parser')
                products = html.find_all('a')

                for element in products:
                    pc = element.get('data-product-name')
                    if pc:
                        pc = pc.lower()
                        marca = element.get('data-product-brand')
                        price = element.get('data-product-price')
                        pc_data = pc.split('/')
                        cpu = pc_data[0].split(' ')

                        cpu = buscar_cpu(cpu)
                        gpu = buscar_gpu(pc_data)
                        inches = '.'.join([s for s in re.findall(r'\b\d+\b', pc_data[-1])])
                        OpSys = bucar_opsys(pc_data, marca)

                        row = {
                            'Company': marca,
                            'Inches': inches,
                            'Cpu': cpu,
                            'Ram': pc_data[1],
                            'Gpu': gpu,
                            'OpSys': OpSys,
                            'SSD': pc_data[2],
                            'Price': price
                        }

                        writer.writerow(row)
    except:
        print(f'Error en página: {i}')

기본적으로 정보를 저장할 CSV 파일을 연 다음 CSV에 원하는 필드를 지정한 다음 HTML을 읽고 작업합니다. 보시다시피, CSV에 저장하려는 각 필드에서 필요한 정보를 추출할 수 있도록 몇 가지 추가 기능을 수행해야 했습니다.

혹시 해보고 싶으신가요? 전체 스크립트를 여기에 남겨두겠습니다!

PC컴포넌트스크래퍼

위 내용은 긁는 방법의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!