python3.x - Python网络爬虫学习建议，初学者需要哪些准备？

Question

此前一直是做PHP开发的，现在想学习下爬虫开发，很疑惑呀不知道从何做起，请大家指教下学习线路，我是属于想要深入研究型的。网上看到很多示例感觉就像做采集，Url扩散爬去和分析部分的资料很少...求推荐学习线路、数据、视频等各种，能介绍下避坑攻略就更好啦。

Answer 1

Setelah melakukan pembangunan web, saya rasa membuat perangkak adalah sangat mudah. ​​Cuma pastikan bahawa ini adalah protokol http dan ia akan menjadi ok

Cuma beritahu saya beberapa perkara

• Kelajuan merangkak (kawalan dan tukar ganti kelajuan)

  • Berbilang benang

  • Berbilang proses

    • Baris Gilir Mesej

• Analisis halaman web

  • Penemuan antara muka-> Gunakan F12.Network

  dengan baik

  • xpath, re dan pustaka penghuraian lain

  • Data berstruktur

• Kegigihan->Kolam sambungan pangkalan data->Dayakan sambungan pangkalan data ke nombor tertentu

• Anti-rangkak

  • Larang IP->Kolam Proksi->Cara menggunakan proksi dengan lebih munasabah

  • Kod pengesahan->OCR

Answer 2

Anda boleh menggunakan PHP dahulu untuk melaksanakan perangkak dan memahami prinsipnya. Curl pun boleh buat, bahasa cuma alat

Answer 3

Baca buku yang dipanggil "Python Web Crawler".