python爬蟲指的是Python網絡爬蟲,又被稱為網頁蜘蛛,網絡機器人,是一種按照一定的規則,自動地抓取萬維網信息的程序或者腳本,另外一些不常使用的名字還有螞蟻、自動索引、模擬程式或蠕蟲。
簡單來說互聯網是由一個個站點和網絡設備組成的大網,我們透過瀏覽器訪問站點,站點把HTML、JS、CSS代碼回傳給瀏覽器,這些程式碼經過瀏覽器解析、渲染,將豐富多彩的網頁呈現我們眼前
#如果我們把網路比喻為一張大的蜘蛛網,資料便是存放於蜘蛛網的各個節點,而Python爬蟲就是一隻小蜘蛛,
沿著網絡抓取自己的獵物(資料)爬蟲指的是:向網站發起請求,獲取資源後分析並提取有用資料的程式;
從技術層面來說就是透過程式模擬瀏覽器請求網站的行為,把網站傳回的HTML程式碼/JSON資料/二進位資料(圖片、影片) 爬到本地,進而提取自己需要的數據,存放起來使用
Python爬蟲的基本原理
1、發起請求
使用http函式庫向目標網站發起請求,也就是傳送一個Request
Request包含:請求頭、請求體等
Request模組缺陷:不能執行JS 和CSS 程式碼
2、取得回應內容
如果伺服器能正常回應,則會得到一個Response
Response包含:html,json,圖片,影片等
# 3.解析內容
解析html資料:正規表示式(RE模組),第三方解析庫如Beautifulsoup,pyquery等
解析json資料:json模組
#解析二進位資料:以wb的方式寫入檔案
4、儲存資料
#資料庫(MySQL,Mongdb、Redis)
以上是python爬蟲什麼意思的詳細內容。更多資訊請關注PHP中文網其他相關文章!