Python爬蟲，全名為Python網路爬蟲，是一種依照一定的規則，自動抓取萬維網資訊的程式或腳本，主要用於抓取證券交易資料、天氣數據、網站用戶資料和圖片資料等，Python為支援網路爬蟲正常功能實現，內建了大量的庫，主要有幾種類型。下面本篇文章就來跟大家介紹。
一、Python爬蟲網庫
Python爬蟲網庫主要包括：urllib、requests、grab、pycurl、urllib3、httplib2、RoboBrowser、MechanicalSoup、mechanize、socket、Unirest for Python、hyper 、PySocks、treq以及aiohttp等。
二、Python網路爬蟲框架
Python網路爬蟲框架主要包括：grab、scrapy、pyspider、cola、portia、restkit以及demiurge等。
三、HTML/XML解析器
● lxml：C語言編寫高效能HTML/ XML處理庫。支援XPath。
● cssselect：解析DOM樹和CSS選擇器。
● pyquery：解析DOM樹和jQuery選擇器。
● BeautifulSoup：低效HTML/ XML處理庫，純Python實作。
● html5lib：根據WHATWG規範產生HTML/ XML文檔的DOM。這個規範被用在現在所有的瀏覽器上。
● feedparser：解析RSS/ATOM feeds。
● MarkupSafe：為XML/HTML/XHTML提供了安全轉義的字串。
● xmltodict：一個可以讓你在處理XML時感覺像在處理JSON一樣的Python模組。
● xhtml2pdf：將HTML/CSS轉換為PDF。
● untangle：輕鬆實現將XML檔案轉換為Python物件。
四、文字處理
用於解析、操作簡單文字的函式庫。
● difflib：（Python標準函式庫）幫助進行差異化比較。
● Levenshtein：快速計算Levenshtein距離和字串相似度。
● fuzzywuzzy：模糊字串匹配。
● esmre：正規表示式加速器。
● ftfy：自動整理Unicode文本，減少碎片化。
五、特定格式檔案處理
解析和處理特定文字格式的函式庫。
● tablib：一個把資料匯出為XLS、CSV、JSON、YAML等格式的模組。
● textract：從各種文件中提取文本，例如 Word、PowerPoint、PDF等。
● messytables：解析混亂的表格資料的工具。
● rows：一個常用資料接口，支援的格式很多（目前支援CSV，HTML，XLS，TXT：將來還會提供更多！）。
以上是Python寫爬蟲用到什麼函式庫的詳細內容。更多資訊請關注PHP中文網其他相關文章！
