抓取或網頁抓取是一種用於以自動方式從網站提取資料的技術。它包括使用程式或腳本瀏覽網頁、提取特定資訊（例如文字、圖像、產品價格等）並保存。
在這篇文章中，我將教授我用來進行抓取的過程以及在執行此操作時要記住的要點。
就我而言，我將在 PcComponentes 中執行抓取來收集有關筆記型電腦的資訊。這些數據將用於創建一個數據集，作為機器學習模型的基礎，該模型旨在根據指定的組件預測筆記型電腦的價格。
首先，需要確定腳本應存取哪個 URL 來執行抓取:
在這種情況下，如果我們查看 PcComponentes URL，我們可以看到它透過 URL 傳遞了一個參數，我們可以使用該參數來指定我們要搜尋的內容。
完成後，我們將看到搜尋結果：
之後，我們將使用幾乎所有瀏覽器都整合的開發者工具：
右鍵單擊然後選擇“檢查”選項，開發者工具將打開，我們將看到以下內容：
anchor () 類型的標籤，其中包含有關我們在搜尋結果中看到的產品的大量資訊。
如果我們查看以下區域，我們將看到幾乎所有的產品資料：
完成！我們有從中提取資料的區域。現在是時候創建腳本來提取它們了。
但是我們遇到了一個問題：如果你直接訪問PcComponentes，它總是要求我們接受cookie策略。因此，我們無法發出 GET 請求並抓取結果，因為我們不會得到任何東西。
因此，我們必須使用Selenium來模擬瀏覽器並能夠與其互動。
我們先執行以下操作：
from selenium import webdriver
from selenium.webdriver.firefox.options import Options
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
options = Options()
options.headless = True
#Abrimos el navegador
driver = webdriver.Firefox(options=options)
time.sleep(5)
#Vamos a la página indicada pccomponentes.com/laptops
driver.get(url+str(i))
#Esperamos 30 segundos hasta que aparezca el botón de cookies y al aparecer hace clic
accept_cookies = WebDriverWait(driver, 30).until(
EC.presence_of_element_located((By.ID, 'cookiesAcceptAll'))
)
accept_cookies.click()
#Descargamos el HTML
html = driver.page_source
完成後，在 html 變數中我們將取得頁面的 HTML 程式碼抓取。
但是，我們遇到了另一個問題。當使用 Selenium 開啟瀏覽器並發出 2 或 3 個請求時，Cloudflare 會限制請求並且不允許我們發出更多請求。因此，我們只能抓取大約 3 個頁面，這將是大約 20 台不同的電腦。不足以製作數據集。
我提出的一個解決方案是在本地下載頁面並在本地使用 HTML。完成抓取後，我們可以開啟另一個瀏覽器（等待一段合理的時間）並下載以下瀏覽器。
所以我將上面的程式碼加入一個函數中，並將其包裝在 for 中，如下所示：
#Función que se conecta a pccomponentes y guarda el html en local
def guarda_datos_html(i=0):
try:
options = Options()
options.headless = True
#Abrimos el navegador
driver = webdriver.Firefox(options=options)
time.sleep(5)
#Vamos a la página indicada pccomponentes.com/laptops
driver.get(url+str(i))
#Esperamos 30 segundos hasta que aparezca el botón de cookies y al aparecer hace clic
accept_cookies = WebDriverWait(driver, 30).until(
EC.presence_of_element_located((By.ID, 'cookiesAcceptAll'))
)
accept_cookies.click()
#Descargamos el HTML
html = driver.page_source
#Lo guardamos en local
with open(f'html/laptops_{i}.html','w',encoding="utf-8") as document:
document.write(html)
driver.close()
except:
print(f'Error en página: {i}')
for i in range(0,58):
guarda_datos_html(i)
time.sleep(30)
現在我們可以恢復 HTML 並使用它們。為此，我安裝了BeautifulSoup，這是一個在抓取中經常使用的軟體包。
我們將開發一個功能，從我們下載的 HTML 中收集信息，這要歸功於先前的功能。
函數如下圖所示：
# Función que abre el HTML guardado con anterioridad y filtra los datos
# para guardarlos en un CSV ordenados
def get_datos_html(i=0):
try:
with open(f'laptop_data_actual.csv','a') as ldata:
field = ['Company','Inches','Cpu','Ram','Gpu','OpSys','SSD','Price']
writer = csv.DictWriter(ldata, fieldnames=field)
with open(f'html/laptops_{i}.html','r',encoding="utf-8") as document:
html = BeautifulSoup(document.read(), 'html.parser')
products = html.find_all('a')
for element in products:
pc = element.get('data-product-name')
if pc:
pc = pc.lower()
marca = element.get('data-product-brand')
price = element.get('data-product-price')
pc_data = pc.split('/')
cpu = pc_data[0].split(' ')
cpu = buscar_cpu(cpu)
gpu = buscar_gpu(pc_data)
inches = '.'.join([s for s in re.findall(r'\b\d+\b', pc_data[-1])])
OpSys = bucar_opsys(pc_data, marca)
row = {
'Company': marca,
'Inches': inches,
'Cpu': cpu,
'Ram': pc_data[1],
'Gpu': gpu,
'OpSys': OpSys,
'SSD': pc_data[2],
'Price': price
}
writer.writerow(row)
except:
print(f'Error en página: {i}')
基本上，我們打開 CSV 文件，在其中保存信息，然後告訴 CSV 我們希望它具有哪些字段，然後讀取並使用 HTML。正如您所看到的，我必須執行一些額外的函數才能從我們想要保存在 CSV 中的每個欄位中提取必要的資訊。
我在這裡留下了完整的腳本，以防你想嘗試！
PCComponentsScrapper
以上是如何刮的詳細內容。更多資訊請關注PHP中文網其他相關文章！
