Kadangkala mengambil masa berjam-jam untuk memuat turun banyak imej - mari kita betulkan
Saya faham - anda bosan menunggu program anda memuat turun imej. Kadang-kadang saya perlu memuat turun beribu-ribu imej yang mengambil masa berjam-jam, dan anda tidak boleh terus menunggu program anda selesai memuat turun imej bodoh ini. Anda mempunyai banyak perkara penting untuk dilakukan.
Mari bina skrip pemuat turun imej ringkas yang akan membaca fail teks dan memuat turun semua imej yang disenaraikan dalam folder dengan sangat pantas.
Inilah yang akan kita bina pada akhirnya.
Mari pasang pustaka permintaan kegemaran semua orang.
pip install requests
Sekarang kita akan melihat beberapa kod asas untuk memuat turun URL tunggal dan cuba mencari nama imej secara automatik dan cara menggunakan percubaan semula.
import requests
res = requests.get(img_url, stream=True)
count = 1
while res.status_code != 200 and count <p>Di sini kami cuba memuat turun semula imej lima kali sekiranya ia gagal. Sekarang, mari cuba cari nama imej secara automatik dan simpannya. </p><pre class="brush:php;toolbar:false">import more required library
import io
from PIL import Image
# lets try to find the image name
image_name = str(img_url[(img_url.rfind('/')) + 1:])
if '?' in image_name:
image_name = image_name[:image_name.find('?')]Andaikan URL yang ingin kami muat turun ialah:
instagram.fktm7-1.fna.fbcdn. net /vp...
Nah, ini kelam kabut. Mari kita pecahkan fungsi kod untuk URL. Kita mulakan dengan menggunakan rfind untuk mencari garis miring ke hadapan terakhir (/) dan kemudian pilih semuanya selepas itu. Inilah hasilnya:
65872070_1200425330158967_6201268309743367902_n.jpg?_nc_ht=instagram.fktm7–1.fna.fbcd_n.net&_1 dan kemudian ambil apa sahaja yang ada sebelum ini.
Ini adalah nama imej akhir kami: ?
65872070_1200425330158967_6201268309743367902_n.jpg
Ini sangat sesuai untuk kes penggunaan.>
Sekarang kami telah memuat turun nama imej dan imej, kami akan menyimpannya.Jika anda berfikir, "Bagaimanakah saya harus menggunakan kod di atas?" Ini adalah fungsi yang cantik dan semua yang kami lakukan di atas adalah diratakan. Di sini kami juga menguji sama ada jenis yang dimuat turun ialah imej, sekiranya nama imej tidak dijumpai.
i = Image.open(io.BytesIO(res.content)) i.save(image_name)
Kini, anda mungkin bertanya: "Di manakah pemproses berbilang yang dibincangkan oleh orang ini?".
def image_downloader(img_url: str):
"""
Input:
param: img_url str (Image url)
Tries to download the image url and use name provided in headers. Else it randomly picks a name
"""
print(f'Downloading: {img_url}')
res = requests.get(img_url, stream=True)
count = 1
while res.status_code != 200 and count Mudah sahaja. Kami hanya akan menentukan kumpulan kami dan menyampaikan fungsi dan URL imej kami. <p></p><p> Mari letakkan ini dalam fungsi: </p><pre class="brush:php;toolbar:false">results = ThreadPool(process).imap_unordered(image_downloader, images_url)
for r in results:
print(r)Sekali lagi, anda mungkin akan berkata, “Semuanya baik dan bagus, tetapi saya mahu mula memuat turun senarai A saya 1000 imej. Saya tidak mahu menyalin dan menampal semua kod ini dan cuba memikirkan cara untuk menggabungkan semuanya."
def run_downloader(process:int, images_url:list):
"""
Inputs:
process: (int) number of process to run
images_url:(list) list of images url
"""
print(f'MESSAGE: Running {process} process')
results = ThreadPool(process).imap_unordered(image_downloader, images_url)
for r in results:
print(r)# -*- coding: utf-8 -*-
import io
import random
import shutil
import sys
from multiprocessing.pool import ThreadPool
import pathlib
import requests
from PIL import Image
import time
start = time.time()
def get_download_location():
try:
url_input = sys.argv[1]
except IndexError:
print('ERROR: Please provide the txt file\n$python image_downloader.py cats.txt')
name = url_input.split('.')[0]
pathlib.Path(name).mkdir(parents=True, exist_ok=True)
return name
def get_urls():
"""
通过读取终端中作为参数提供的 txt 文件返回 url 列表
"""
try:
url_input = sys.argv[1]
except IndexError:
print('ERROR: Please provide the txt file\n Example \n\n$python image_downloader.py dogs.txt \n\n')
sys.exit()
with open(url_input, 'r') as f:
images_url = f.read().splitlines()
print('{} Images detected'.format(len(images_url)))
return images_url
def image_downloader(img_url: str):
"""
输入选项:
参数: img_url str (Image url)
尝试下载图像 url 并使用标题中提供的名称。否则它会随机选择一个名字
"""
print(f'Downloading: {img_url}')
res = requests.get(img_url, stream=True)
count = 1
while res.status_code != 200 and count <p>Berikut ialah pautan ke repositori GitHub. </p><div class="code" style="position:relative; padding:0px; margin:0px;"><pre class="brush:php;toolbar:false">python3 image_downloader.py cats.txtPenggunaan
python3 image_downloader.py <filename_with_urls_seperated_by_newline.txt> <num_of_process></num_of_process></filename_with_urls_seperated_by_newline.txt>
adalah pilihan (secara lalai ia menggunakan 10 proses).
num_of_processContoh
python3 image_downloader.py cats.txt
Saya ingin memberi nasihat tentang cara untuk menambah baik ini lanjut sebarang tindak balas. 
Alamat asal bahasa Inggeris: https://betterprogramming.pub/building-an-imagedownloader-with-multiprocessing-in-python-44aee36e0424
][Cadangan berkaitan:
Tutorial video Bagaimana untuk memuat turun gambar serentak dengan berbilang benang dalam Bagaimana untuk memuat turun gambar serentak dengan berbilang benang dalam Python3
Atas ialah kandungan terperinci Bagaimana untuk memuat turun gambar serentak dengan berbilang benang dalam Python. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!
![[Web front-end] Permulaan pantas Node.js](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
