最近很多朋友問我，我在自學爬蟲，學到什麼程度可以去找工作呢？
這篇文章會說說我自己的心得體驗，關於爬蟲、關於工作，僅供參考。
學到哪個程度
暫且把目標定位初級爬蟲工程師，簡單列一下：
（必要部分）
語言選擇：一般是了解Python、Java、Golang之一
熟悉多執行緒程式設計、網頁程式設計、HTTP協定相關
開發過完整爬蟲專案（最好有全站爬蟲經驗，這個下面會說到）
反爬相關，cookie、ip池、驗證碼等等
#熟練使用分佈式
了解訊息佇列，如RabbitMQ、 Kafka、Redis等
具有資料探勘、自然語言處理、資訊擷取、機器學習經驗
#熟悉APP資料擷取、中間人代理
大資料處理（Hive/MR /Spark/Storm）
資料庫Mysql，redis，mongdb
#熟悉Git操作、linux環境開發
讀懂js程式碼，這真的很重要
如何提升
隨便看看知乎上的教學就可以入門了，就Python而言，會requests當然是不夠的，還需要了解scrapy和pyspider這兩個框架，scrapy_redis也是需要理解原理的。
分散式如何建構、如何解決其中遇到記憶體、速度問題。
參考 scrapy-redis 和 scrapy 有什麼不同？
什麼叫全站爬取
最簡單的拿拉鉤來舉例，搜尋關鍵字，有30頁，不要以為把這30頁爬完就是全站爬取了，你應該想方法把所有資料全部爬下來。
什麼辦法，透過篩選縮小範圍，慢慢來就OK了。
同時，每個職位還會有推薦職位，再寫一個採集推薦的爬蟲。
以上是python爬蟲學到什麼程度能找到工作的詳細內容。更多資訊請關注PHP中文網其他相關文章！
