PHP进行批量图片处理时程序执行超时
本次批量处理是因为该项目本身经过多次外包,图片存储的到处都是,且没有专门生成缩略图和统一尺寸的图片,这次是在原有图文混排的数据中提取图片,存储到指定目录、裁剪尺寸并生成相应缩略图,并将结果存储到数据库。
在批量程序处理过程中,难免遇到程序执行时间过长,导致504错误等,调整服务器配置其实不是很好的解决方案,毕竟对生产环境动刀子...
不过我比较懒,不想对一次提取的图片再进行分页请求处理^_^
顺便说一句,最多的一次处理的数据提取的图片达到3000张~
下面进入正题,我们的主要目的是尽可能延长程序执行时间,使该抓到的图片都抓到,并处理完成写到数据库。
我们的环境是基于nginx的PHP5.6,首先代码上要注意的,一个是放上set_time_limit(0),这避免去调整php.ini,当然有些基本的比如最大内存等等还是要调的,这里不做介绍;另一个必须要设置curl的CURLOPT_TIMEOUT(我用的CURL抓远程图片)考虑到图片都是在已知的多台服务器上,超时抓不到一定是有问题的索性放弃,如果不设置这个超时,运行时会不停的给你报错。
接下来就是服务器了,首先是nginx的程序执行时间:
fastcgi_connect_timeout 900s;
fastcgi_send_timeout 900s;
fastcgi_read_timeout 900s;
这个配置在nginx.conf内,有则修改值,没有追加上,时间上根据自己情况设置,调整后重启服务。
MYSQL也会报超时错误,修改my.ini添加或修改一下配置:
wait_timeout=2880000
interactive_timeout=2880000
max_allowed_packet=100M
调整后重启mysql以便生效,经过上面的设置,基本扫清超时报错的各种情形,我的程序跑了2天3夜,采集和生成共计86G图片。
再强调一下,这么操作并不十分推荐,特别是生产环境下,会带来很多问题,最重要的,完成批量任务后,恢复上述设置~
相关推荐:
Atas ialah kandungan terperinci PHP进行批量图片处理时程序执行超时. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Alat AI Hot

Undresser.AI Undress
Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover
Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool
Gambar buka pakaian secara percuma

Clothoff.io
Penyingkiran pakaian AI

AI Hentai Generator
Menjana ai hentai secara percuma.

Artikel Panas

Alat panas

Notepad++7.3.1
Editor kod yang mudah digunakan dan percuma

SublimeText3 versi Cina
Versi Cina, sangat mudah digunakan

Hantar Studio 13.0.1
Persekitaran pembangunan bersepadu PHP yang berkuasa

Dreamweaver CS6
Alat pembangunan web visual

SublimeText3 versi Mac
Perisian penyuntingan kod peringkat Tuhan (SublimeText3)

Topik panas



Dalam bab ini, kita akan memahami Pembolehubah Persekitaran, Konfigurasi Umum, Konfigurasi Pangkalan Data dan Konfigurasi E-mel dalam CakePHP.

PHP 8.4 membawa beberapa ciri baharu, peningkatan keselamatan dan peningkatan prestasi dengan jumlah penamatan dan penyingkiran ciri yang sihat. Panduan ini menerangkan cara memasang PHP 8.4 atau naik taraf kepada PHP 8.4 pada Ubuntu, Debian, atau terbitan mereka

Untuk bekerja dengan tarikh dan masa dalam cakephp4, kami akan menggunakan kelas FrozenTime yang tersedia.

Bekerja dengan pangkalan data dalam CakePHP adalah sangat mudah. Kami akan memahami operasi CRUD (Buat, Baca, Kemas Kini, Padam) dalam bab ini.

Untuk mengusahakan muat naik fail, kami akan menggunakan pembantu borang. Di sini, adalah contoh untuk muat naik fail.

CakePHP ialah rangka kerja sumber terbuka untuk PHP. Ia bertujuan untuk menjadikan pembangunan, penggunaan dan penyelenggaraan aplikasi lebih mudah. CakePHP adalah berdasarkan seni bina seperti MVC yang berkuasa dan mudah difahami. Model, Pandangan dan Pengawal gu

Dalam bab ini, kita akan mempelajari topik berikut yang berkaitan dengan penghalaan ?

Pengesah boleh dibuat dengan menambah dua baris berikut dalam pengawal.
