curl的一些小问题
怎样用curl抓取最新的数据？
比如，我抓取了一个网站的全部信息，然后那个网站更新了，我怎样才能抓取更新的那几条，而不重复抓取。
回复讨论(解决方案)
抓取到了之后保存到本地数据库。 然后找下，最新那几条有什么规律。如果能区分开来，则之前本地数据库有的就修改一下。 实在是区别不来，把所有抓取的都保存一次，如果保存成功了，清理掉以前的数据即可。
只有看到了，才知道是否是新的
curl 用属性 CURLOPT_WRITEFUNCTION
可在回调函数中判断抓取是否可以提前结束
哦，取数据库最大的一个id，然后得到那条信息的id,然后网页得到的id比数据库取出来大的就是最新的。
可是这样不是所有数据都要判断一次，效率不是很低？
我懂了，这些时间可以忽略不计，结贴，感谢
Alat AI Hot
Undresser.AI Undress
Apl berkuasa AI untuk mencipta foto bogel yang realistik
AI Clothes Remover
Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.
Undress AI Tool
Gambar buka pakaian secara percuma
Clothoff.io
Penyingkiran pakaian AI
AI Hentai Generator
Menjana ai hentai secara percuma.
Artikel Panas
Alat panas
Notepad++7.3.1
Editor kod yang mudah digunakan dan percuma
SublimeText3 versi Cina
Versi Cina, sangat mudah digunakan
Hantar Studio 13.0.1
Persekitaran pembangunan bersepadu PHP yang berkuasa
Dreamweaver CS6
Alat pembangunan web visual
SublimeText3 versi Mac
Perisian penyuntingan kod peringkat Tuhan (SublimeText3)
Topik panas
1376
52
Bagaimana untuk merealisasikan penukaran bersama antara permintaan CURL dan python dalam python
May 03, 2023 pm 12:49 PM
Kedua-dua curl dan Pythonrequests adalah alat yang berkuasa untuk menghantar permintaan HTTP. Walaupun curl ialah alat baris arahan yang membolehkan anda menghantar permintaan terus dari terminal, perpustakaan permintaan Python menyediakan cara yang lebih terprogram untuk menghantar permintaan daripada kod Python. Sintaks asas untuk menukar perintah curl kepada Pythonrequestscurl adalah seperti berikut: curl[OPTIONS]URL Apabila menukar arahan curl kepada permintaan Python, kita perlu menukar pilihan dan URL kepada kod Python. Berikut ialah contoh perintah curlPOST: curl-XPOST https://example.com/api
Tutorial mengemas kini versi curl di bawah Linux!
Mar 07, 2024 am 08:30 AM
Untuk mengemas kini versi curl di bawah Linux, anda boleh mengikuti langkah di bawah: Semak versi curl semasa: Pertama, anda perlu menentukan versi curl yang dipasang dalam sistem semasa. Buka terminal dan laksanakan arahan berikut: curl --version Perintah ini akan memaparkan maklumat versi curl semasa. Sahkan versi curl tersedia: Sebelum mengemas kini curl, anda perlu mengesahkan versi terkini yang tersedia. Anda boleh melawati tapak web rasmi curl (curl.haxx.se) atau sumber perisian yang berkaitan untuk mencari versi terkini curl. Muat turun kod sumber curl: Menggunakan curl atau penyemak imbas, muat turun fail kod sumber untuk versi curl pilihan anda (biasanya .tar.gz atau .tar.bz2
PHP8.1 dikeluarkan: Memperkenalkan curl untuk pemprosesan serentak berbilang permintaan
Jul 08, 2023 pm 09:13 PM
PHP8.1 dikeluarkan: Memperkenalkan curl untuk pemprosesan serentak berbilang permintaan Baru-baru ini, PHP secara rasmi mengeluarkan versi terkini PHP8.1, yang memperkenalkan ciri penting: curl untuk pemprosesan serentak berbilang permintaan. Ciri baharu ini menyediakan pembangun cara yang lebih cekap dan fleksibel untuk mengendalikan berbilang permintaan HTTP, meningkatkan prestasi dan pengalaman pengguna dengan pesat. Dalam versi sebelumnya, pengendalian berbilang permintaan selalunya memerlukan mencipta berbilang sumber curl dan menggunakan gelung untuk menghantar dan menerima data masing-masing. Walaupun kaedah ini boleh mencapai tujuan
Dari awal hingga akhir: Cara menggunakan cURL sambungan php untuk membuat permintaan HTTP
Jul 29, 2023 pm 05:07 PM
Dari awal hingga akhir: Cara menggunakan cURL sambungan php untuk permintaan HTTP Pengenalan: Dalam pembangunan web, selalunya perlu untuk berkomunikasi dengan API pihak ketiga atau pelayan jauh lain. Menggunakan cURL untuk membuat permintaan HTTP ialah cara yang biasa dan berkesan. Artikel ini akan memperkenalkan cara menggunakan PHP untuk melanjutkan cURL untuk melaksanakan permintaan HTTP dan menyediakan beberapa contoh kod praktikal. 1. Penyediaan Pertama, pastikan php telah memasang sambungan cURL. Anda boleh melaksanakan php-m|grepcurl pada baris arahan untuk menyemak
Bagaimana untuk mengendalikan 301 pengalihan semula halaman web dalam PHP Curl?
Mar 08, 2024 am 11:36 AM
Bagaimana untuk mengendalikan 301 pengalihan semula halaman web dalam PHPCurl? Apabila menggunakan PHPCurl untuk menghantar permintaan rangkaian, anda akan sering menemui kod status 301 yang dikembalikan oleh halaman web, yang menunjukkan bahawa halaman itu telah diubah hala secara kekal. Untuk mengendalikan situasi ini dengan betul, kami perlu menambah beberapa pilihan khusus dan logik pemprosesan pada permintaan Curl. Berikut akan memperkenalkan secara terperinci cara mengendalikan 301 pengalihan semula halaman web dalam PHPCurl, dan memberikan contoh kod khusus. Prinsip pemprosesan 301 ubah hala 301 ubah hala bermakna pelayan mengembalikan 30
apa itu linux curl
Apr 20, 2023 pm 05:05 PM
Di Linux, curl ialah alat yang sangat praktikal untuk memindahkan data ke dan dari pelayan Ia adalah alat pemindahan fail yang menggunakan peraturan URL untuk berfungsi di bawah baris arahan ia menyokong muat naik dan muat turun fail, dan merupakan alat pemindahan yang komprehensif. Curl menyediakan banyak fungsi yang sangat berguna, termasuk akses proksi, pengesahan pengguna, muat naik dan muat turun ftp, HTTP POST, sambungan SSL, sokongan kuki, resume titik putus dan sebagainya.
Bagaimana untuk menetapkan kuki dalam php curl
Sep 26, 2021 am 09:27 AM
Cara menetapkan kuki dalam php curl: 1. Buat fail contoh PHP 2. Tetapkan pilihan penghantaran cURL melalui fungsi "curl_setopt" 3. Lulus kuki dalam CURL.
Penyelesaian kepada ralat Fatal PHP: Panggilan ke fungsi undefined curl_setopt()
Jun 23, 2023 am 08:18 AM
PHP ialah bahasa skrip sumber terbuka yang digunakan secara meluas yang digunakan oleh banyak laman web. Walau bagaimanapun, kadangkala anda mungkin menghadapi masalah PHPFatalerror:Calltoundefinedfunctioncurl_setopt(), yang mungkin menghalang tapak web anda daripada berfungsi dengan betul. Jadi apa sebenarnya yang menyebabkan masalah ini? Dalam PHP, curl_setopt() ialah fungsi yang sangat penting, yang digunakan untuk memanjangkan perpustakaan melalui curl
