Rumah pembangunan bahagian belakang tutorial php 探讨file_get_contents与curl效率及稳定性的分析_PHP教程

探讨file_get_contents与curl效率及稳定性的分析_PHP教程

Jul 21, 2016 pm 03:08 PM
curl file get dan kandungan menganalisis merangkak Bincangkan kecekapan Stabilkan laman web

做过好多抓取别家网站内容的产品,习惯了使用方便快捷的file_get_contents函数,但是总是会遇到获取失败的问题,尽管按照手册中的例子设置了超时,可多数时候不会奏效:

复制代码 代码如下:

$config['context'] = stream_context_create(array(‘http' => array(‘method' => “GET”,
   'timeout' => 5//这个超时时间不稳定,经常不奏效
   )
  ));

这时候,看一下服务器的连接池,会发现一堆类似的错误,让你头疼万分:
file_get_contents(http://***): failed to open stream…
不得已,安装了curl库,写了一个函数替换:
复制代码 代码如下:

function curl_file_get_contents($durl){
   $ch = curl_init();
   curl_setopt($ch, CURLOPT_URL, $durl);
   curl_setopt($ch, CURLOPT_TIMEOUT, 5);
   curl_setopt($ch, CURLOPT_USERAGENT, _USERAGENT_);
   curl_setopt($ch, CURLOPT_REFERER,_REFERER_);
   curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
   $r = curl_exec($ch);
   curl_close($ch);
   return $r;
 }

如此,除了真正的网络问题外,没再出现任何问题。
这是别人做过的关于curl和file_get_contents的测试:
file_get_contents抓取google.com需用秒数:
2.31319094
2.30374217
2.21512604
3.30553889
2.30124092
curl使用的时间:
0.68719101
0.64675593
0.64326
0.81983113
0.63956594
差距很大吧?呵呵,从我使用的经验来说,这两个工具不只是速度有差异,稳定性也相差很大。建议对网络数据抓取稳定性要求比较高的朋友使用上面的curl_file_get_contents函数,不但稳定速度快,还能假冒浏览器欺骗目标地址哦!

www.bkjia.comtruehttp://www.bkjia.com/PHPjc/327449.htmlTechArticle做过好多抓取别家网站内容的产品,习惯了使用方便快捷的file_get_contents函数,但是总是会遇到获取失败的问题,尽管按照手册中的例子设...
Kenyataan Laman Web ini
Kandungan artikel ini disumbangkan secara sukarela oleh netizen, dan hak cipta adalah milik pengarang asal. Laman web ini tidak memikul tanggungjawab undang-undang yang sepadan. Jika anda menemui sebarang kandungan yang disyaki plagiarisme atau pelanggaran, sila hubungi admin@php.cn

Alat AI Hot

Undresser.AI Undress

Undresser.AI Undress

Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover

AI Clothes Remover

Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool

Undress AI Tool

Gambar buka pakaian secara percuma

Clothoff.io

Clothoff.io

Penyingkiran pakaian AI

AI Hentai Generator

AI Hentai Generator

Menjana ai hentai secara percuma.

Artikel Panas

R.E.P.O. Kristal tenaga dijelaskan dan apa yang mereka lakukan (kristal kuning)
4 minggu yang lalu By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Tetapan grafik terbaik
4 minggu yang lalu By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Cara Memperbaiki Audio Jika anda tidak dapat mendengar sesiapa
4 minggu yang lalu By 尊渡假赌尊渡假赌尊渡假赌
WWE 2K25: Cara Membuka Segala -galanya Di Myrise
1 bulan yang lalu By 尊渡假赌尊渡假赌尊渡假赌

Alat panas

Notepad++7.3.1

Notepad++7.3.1

Editor kod yang mudah digunakan dan percuma

SublimeText3 versi Cina

SublimeText3 versi Cina

Versi Cina, sangat mudah digunakan

Hantar Studio 13.0.1

Hantar Studio 13.0.1

Persekitaran pembangunan bersepadu PHP yang berkuasa

Dreamweaver CS6

Dreamweaver CS6

Alat pembangunan web visual

SublimeText3 versi Mac

SublimeText3 versi Mac

Perisian penyuntingan kod peringkat Tuhan (SublimeText3)

Bagaimana untuk menyediakan Cheat Engine dalam bahasa Cina? Kaedah Cina tetapan Cheat Engine Bagaimana untuk menyediakan Cheat Engine dalam bahasa Cina? Kaedah Cina tetapan Cheat Engine Mar 13, 2024 pm 04:49 PM

CheatEngine ialah editor permainan yang boleh mengedit dan mengubah suai memori permainan. Walau bagaimanapun, bahasa lalainya adalah bukan bahasa Cina, yang menyusahkan ramai rakan Jadi bagaimana untuk menetapkan bahasa Cina dalam CheatEngine? Hari ini, editor akan memberi anda pengenalan terperinci tentang cara menyediakan bahasa Cina dalam CheatEngine saya harap ia dapat membantu anda. Kaedah tetapan satu: 1. Klik dua kali untuk membuka perisian dan klik "edit" di sudut kiri atas. 2. Kemudian klik "tetapan" dalam senarai pilihan di bawah. 3. Dalam tetingkap yang terbuka, klik "bahasa" dalam lajur kiri

Penggunaan peribadi Stable Diffusion untuk bermain dengan lukisan AI Penggunaan peribadi Stable Diffusion untuk bermain dengan lukisan AI Mar 12, 2024 pm 05:49 PM

StableDiffusion ialah model pembelajaran dalam sumber terbuka Fungsi utamanya adalah untuk menjana imej berkualiti tinggi melalui penerangan teks, dan menyokong fungsi seperti penjanaan graf, penggabungan model dan latihan model. Antara muka operasi model boleh dilihat dalam rajah di bawah. Bagaimana untuk menghasilkan gambar. Berikut adalah pengenalan kepada proses membuat gambar air minuman rusa Apabila menghasilkan gambar, ia dibahagikan kepada kata gesaan dan kata gesaan negatif jelas dan cuba terangkan pemandangan, objek, gaya dan warna yang anda inginkan secara terperinci. Sebagai contoh, daripada hanya mengatakan "rusa minum air", ia berkata "sebatang sungai, di sebelah pokok yang lebat, dan terdapat rusa minum air di sebelah anak sungai". tiada bangunan, tiada orang , tiada jambatan, tiada pagar, dan penerangan yang terlalu kabur boleh membawa kepada keputusan yang tidak konsisten.

Analisis sebab mengapa direktori sekunder DreamWeaver CMS tidak boleh dibuka Analisis sebab mengapa direktori sekunder DreamWeaver CMS tidak boleh dibuka Mar 13, 2024 pm 06:24 PM

Tajuk: Analisis sebab dan penyelesaian mengapa direktori sekunder DreamWeaver CMS tidak boleh dibuka Dreamweaver CMS (DedeCMS) ialah sistem pengurusan kandungan sumber terbuka yang berkuasa yang digunakan secara meluas dalam pembinaan pelbagai laman web. Walau bagaimanapun, kadangkala semasa proses membina tapak web, anda mungkin menghadapi situasi di mana direktori sekunder tidak boleh dibuka, yang membawa masalah kepada operasi biasa tapak web. Dalam artikel ini, kami akan menganalisis kemungkinan sebab mengapa direktori sekunder tidak boleh dibuka dan memberikan contoh kod khusus untuk menyelesaikan masalah ini. 1. Analisis sebab yang mungkin: Masalah konfigurasi peraturan pseudo-statik: Semasa penggunaan

Contoh arahan Curl Get Contoh arahan Curl Get Mar 20, 2024 pm 06:56 PM

Di Linux, klien URL atau Curl ialah utiliti baris arahan popular yang membolehkan anda memindahkan data melalui rangkaian menggunakan pelbagai protokol seperti HTTPS, HTTP, FTP, dsb. Ia membolehkan anda menghantar dan menerima data menggunakan kaedah dapatkan, pos dan permintaannya. Antaranya, anda perlu kerap menggunakan kaedah "dapat". Oleh itu, menjadi penting untuk mempelajari pelbagai kaedah dan pelbagai pilihan yang boleh anda gunakan untuk meningkatkan produktiviti anda. "Melaksanakan operasi curl adalah semudah memasukkan beberapa arahan mudah. ​​Walaupun nampak mudah, ramai pengguna tidak menyedari sepenuhnya potensinya. Oleh itu, panduan ringkas ini memberikan beberapa maklumat tentang cara melakukan operasi curl pada sistem Linux. Contoh menggunakan " curlget" arahan "Curl.

Analisis sama ada bahasa pengaturcaraan utama Tencent ialah Go Analisis sama ada bahasa pengaturcaraan utama Tencent ialah Go Mar 27, 2024 pm 04:21 PM

Tajuk: Adakah bahasa pengaturcaraan utama Tencent Go: Analisis mendalam Sebagai syarikat teknologi terkemuka di China, Tencent sentiasa menarik banyak perhatian dalam pilihan bahasa pengaturcaraannya. Dalam beberapa tahun kebelakangan ini, sesetengah orang percaya bahawa Tencent menggunakan Go sebagai bahasa pengaturcaraan utamanya. Artikel ini akan menjalankan analisis mendalam sama ada bahasa pengaturcaraan utama Tencent ialah Go dan memberikan contoh kod khusus untuk menyokong pandangan ini. 1. Aplikasi bahasa Go dalam Tencent Go ialah bahasa pengaturcaraan sumber terbuka yang dibangunkan oleh Google Kecekapan, kesesuaian dan kesederhanaannya disukai oleh banyak pembangun.

Selepas pelbagai transformasi dan kerjasama dengan gergasi AI Nvidia, mengapa Rantaian Vanar melonjak 4.6 kali dalam masa 30 hari? Selepas pelbagai transformasi dan kerjasama dengan gergasi AI Nvidia, mengapa Rantaian Vanar melonjak 4.6 kali dalam masa 30 hari? Mar 15, 2024 am 10:46 AM

Baru-baru ini, Layer1 blockchain VanarChain telah menarik perhatian pasaran kerana kadar pertumbuhan yang tinggi dan kerjasama dengan NVIDIA gergasi AI. Di sebalik populariti VanarChain, selain melalui pelbagai transformasi jenama, konsep popular seperti permainan utama, metaverse dan AI juga telah memperoleh banyak populariti dan topik projek. Sebelum transformasinya, Vanar adalah pendahulu TerraVirtua, sebuah syarikat yang diasaskan pada 2018. Pada mulanya, ia adalah platform yang menyediakan kandungan realiti maya (VR) berasaskan langganan berbayar dan realiti tambahan (AR) serta menyokong pembayaran mata wang kripto. Syarikat itu diasaskan oleh pengasas bersama Gary Bracey dan Jawad Ashraf, di mana Gary Brac

Analisis kebolehgunaan sistem Hongmeng daripada operasi sebenar Analisis kebolehgunaan sistem Hongmeng daripada operasi sebenar Mar 23, 2024 am 08:21 AM

Sebagai sistem pengendalian yang telah menarik banyak perhatian dalam beberapa tahun kebelakangan ini, sistem Hongmeng telah menarik banyak perhatian. OS Hongmeng dipuji sebagai sistem alternatif yang dilancarkan oleh Huawei sebagai tindak balas kepada pengharaman sistem Android Ia mempunyai kelebihan kebolehkawalan bebas dan merentas platform. Walau bagaimanapun, kualiti sistem bukan sahaja bergantung kepada kekuatan teknikalnya, tetapi yang lebih penting, pengalaman pengguna, iaitu, kemudahan penggunaan. Artikel ini akan menganalisis kemudahan penggunaan sistem Hongmeng dari perspektif operasi sebenar. 1. Pemasangan dan tetapan Pemasangan dan tetapan sistem Hongmeng adalah agak mudah dan tidak rumit untuk pengguna biasa. semasa pemasangan

Menganalisis susun atur DEX Solana: Adakah Musytari masa depan ekologi? Menganalisis susun atur DEX Solana: Adakah Musytari masa depan ekologi? Mar 26, 2024 pm 02:10 PM

Sumber: Shenchao TechFlow Sebagai projek baru muncul berprofil tinggi dalam ekosistem Solana, Musytari telah muncul dengan cepat dalam bidang DeFi walaupun pelancarannya singkat. Walau bagaimanapun, walaupun dalam persekitaran yang pesat membangun, penambahbaikan model ekonomi dan kestabilan harga token masih penting. Tanpa sokongan ini, projek boleh dengan mudah jatuh ke dalam kitaran ganas yang akhirnya boleh menyebabkan kemerosotan atau bahkan ketidakupayaannya untuk mengekalkan dirinya. Oleh itu, Musytari perlu terus mengoptimumkan reka bentuk ekonominya dan memastikan kestabilan harga token untuk memastikan pembangunan jangka panjang dan kejayaan projek. Rantaian Solana telah menunjukkan prestasi yang kukuh pada minggu lalu, dengan token SOLnya meningkat dengan pantas di pasaran sekunder, dan token Jupiter $JUP juga meningkat dalam dua minggu lalu.

See all articles