So laden Sie Bilder gleichzeitig mit mehreren Threads in Python herunter

Manchmal dauert es Stunden, eine große Anzahl von Bildern herunterzuladen – lassen Sie uns das beheben

Ich verstehe – Sie haben es satt, darauf zu warten, dass Ihr Programm Bilder herunterlädt. Manchmal muss ich Tausende von Bildern herunterladen, was Stunden dauert, und Sie können nicht darauf warten, dass Ihr Programm diese dummen Bilder herunterlädt. Sie haben viele wichtige Dinge zu erledigen.

Lassen Sie uns ein einfaches Bild-Downloader-Skript erstellen, das eine Textdatei liest und alle in einem Ordner aufgelisteten Bilder superschnell herunterlädt.

Final Effect

Das ist es, was wir am Ende aufbauen werden.

Abhängigkeiten installieren

Lassen Sie uns die Lieblingsanfragebibliothek aller installieren.

pip install requests

Jetzt sehen wir einen grundlegenden Code zum Herunterladen einer einzelnen URL und zum Versuch, den Bildnamen automatisch zu finden und wie Wiederholungsversuche verwendet werden.

import requests

res = requests.get(img_url, stream=True)
count = 1
while res.status_code != 200 and count <p>Hier versuchen wir fünfmal, das Bild herunterzuladen, falls es fehlschlägt. Versuchen wir nun, den Namen des Bildes automatisch zu finden und zu speichern. </p><pre class="brush:php;toolbar:false">import more required library

import io
from PIL import Image

# lets try to find the image name
image_name = str(img_url[(img_url.rfind('/')) + 1:])
if '?' in image_name:
    image_name = image_name[:image_name.find('?')]

Erklärung

Angenommen, die URL, die wir herunterladen möchten, lautet:

instagram.fktm7-1.fna.fbcdn.net/vp...

Okay, das ist ein Durcheinander. Lassen Sie uns aufschlüsseln, was der Code für die URL bewirkt. Wir verwenden zuerst rfind, um den letzten Schrägstrich (/) zu finden und wählen dann alles danach aus. Hier sind die Ergebnisse: rfind 找到最后一个正斜杠（/），然后选择之后的所有内容。这是结果：

65872070_1200425330158967_6201268309743367902_n.jpg?_nc_ht=instagram.fktm7–1.fna.fbcdn.net&_nc_cat=111

现在我们的第二部分找到一个 ?，然后只取它前面的任何东西。

这是我们最终的图像名称：

65872070_1200425330158967_6201268309743367902_n.jpg

这个结果非常好，适用于大多数用例。

现在我们已经下载了图像名称和图像，我们将保存它。

i = Image.open(io.BytesIO(res.content))
i.save(image_name)

如果你在想，「我到底应该怎么使用上面的代码？」那么你的想法是正确的。这是一个漂亮的函数，我们在上面所做的一切都被扁平处理了。在这里，我们还测试了下载的类型是否为图像，以防找不到图像名称。

def image_downloader(img_url: str):
    """
    Input:
    param: img_url  str (Image url)
    Tries to download the image url and use name provided in headers. Else it randomly picks a name
    """
    print(f'Downloading: {img_url}')
    res = requests.get(img_url, stream=True)
    count = 1
    while res.status_code != 200 and count <p>现在，你可能会问：「这个人所说的多处理在哪里？」。</p><p>这很简单。我们将简单地定义我们的池并将我们的函数和图像 URL 传递给它。</p><pre class="brush:php;toolbar:false">results = ThreadPool(process).imap_unordered(image_downloader, images_url)
for r in results:
    print(r)

让我们把它放在一个函数中：

def run_downloader(process:int, images_url:list):
    """
    Inputs:
        process: (int) number of process to run
        images_url:(list) list of images url
    """
    print(f'MESSAGE: Running {process} process')
    results = ThreadPool(process).imap_unordered(image_downloader, images_url)
    for r in results:
        print(r)

再一次，你可能会说，「这一切都很好，但我想立即开始下载我的 1000 张图像列表。我不想复制和粘贴所有这些代码并试图弄清楚如何合并所有内容。」

这是一个完整的脚本。它执行以下操作：

• 以图像列表文本文件和进程号作为输入

• 按照您想要的速度下载它们

• 打印下载文件的总时间

• 还有一些不错的函数可以帮助我们读取文件名并处理错误和其他东西

完整的脚本

# -*- coding: utf-8 -*-
import io
import random
import shutil
import sys
from multiprocessing.pool import ThreadPool
import pathlib

import requests
from PIL import Image
import time

start = time.time()

def get_download_location():
    try:
        url_input = sys.argv[1]
    except IndexError:
        print('ERROR: Please provide the txt file\n$python image_downloader.py cats.txt')
    name = url_input.split('.')[0]
    pathlib.Path(name).mkdir(parents=True, exist_ok=True)
    return name

def get_urls():
    """
    通过读取终端中作为参数提供的 txt 文件返回 url 列表
    """
    try:
        url_input = sys.argv[1]
    except IndexError:
        print('ERROR: Please provide the txt file\n Example \n\n$python image_downloader.py dogs.txt \n\n')
        sys.exit()
    with open(url_input, 'r') as f:
        images_url = f.read().splitlines()

    print('{} Images detected'.format(len(images_url)))
    return images_url

def image_downloader(img_url: str):
    """
    输入选项:
    参数: img_url  str (Image url)
    尝试下载图像 url 并使用标题中提供的名称。否则它会随机选择一个名字
    """
    print(f'Downloading: {img_url}')
    res = requests.get(img_url, stream=True)
    count = 1
    while res.status_code != 200 and count <p>将其保存到 So laden Sie Bilder gleichzeitig mit mehreren Threads in So laden Sie Bilder gleichzeitig mit mehreren Threads in Python herunter herunter 文件中，然后运行它。</p><div class="code" style="position:relative; padding:0px; margin:0px;"><pre class="brush:php;toolbar:false">python3 image_downloader.py cats.txt

Nach dem Login kopieren

这是 GitHub 存储库的链接。

用法

python3 image_downloader.py <filename_with_urls_seperated_by_newline.txt> <num_of_process></num_of_process></filename_with_urls_seperated_by_newline.txt>

这将读取文本文件中的所有 URL，并将它们下载到名称与文件名相同的文件夹中。

num_of_process

65872070_1200425330158967_6201268309743367902_n.jpg?_nc_ht=instagram.fktm7–1.fna.fbcdn.net&_nc_cat=111

Jetzt unser zweiter Teil Finden Sie einfach einen ? und nehmen Sie einfach etwas hinein Front.

Dies ist unser endgültiger Bildname:

65872070_1200425330158967_6201268309743367902_n.jpg

Dieses Ergebnis ist sehr gut und für die meisten Anwendungsfälle geeignet.

Nachdem wir den Bildnamen und das Bild heruntergeladen haben, speichern wir es.

python3 image_downloader.py cats.txt

Wenn Sie denken: „Wie um alles in der Welt soll ich den obigen Code verwenden?“ dann haben Sie Recht. Das ist eine schöne Funktion und alles, was wir daran gemacht haben, ist abgeflacht. Hier testen wir auch, ob es sich bei dem heruntergeladenen Typ um ein Bild handelt, falls der Bildname nicht gefunden wird.

rrreeeJetzt fragen Sie sich vielleicht: „Wo ist das Multiprocessing, von dem diese Person spricht?“

Es ist ganz einfach. Wir definieren einfach unseren Pool und übergeben ihm unsere Funktions- und Bild-URL. 🎜rrreee🎜Lass uns das in eine Funktion packen: 🎜rrreee🎜Du sagst vielleicht noch einmal: „Das ist alles schön und gut, aber ich möchte sofort mit dem Herunterladen meiner Liste mit 1000 Bildern beginnen, die ich nicht kopieren möchte.“ Füge sie alle ein. Den Code und versuche herauszufinden, wie man alles zusammenführt 🎜🎜Dies ist ein vollständiges Skript. Es macht Folgendes: 🎜

• 🎜 nimmt als Eingabe eine Bildlistentextdatei und eine Prozessnummer 🎜
• 🎜 in der Geschwindigkeit, die Sie benötigen möchte sie herunterladen 🎜
• 🎜Drucken Sie die Gesamtzeit zum Herunterladen der Datei aus🎜
• 🎜Es gibt auch einige nette Funktionen, die uns helfen, Dateinamen zu lesen und Fehler und andere Dinge zu behandeln🎜

🎜🎜Vollständiges Skript🎜🎜rrreee🎜Speichern Sie es in einer So laden Sie Bilder gleichzeitig mit mehreren Threads in So laden Sie Bilder gleichzeitig mit mehreren Threads in Python herunter herunter-Datei und führen Sie es aus. 🎜rrreee🎜Hier ist der Link zum GitHub-Repository. 🎜🎜🎜Verwendung🎜🎜rrreee🎜Dadurch werden alle URLs in der Textdatei gelesen und in einen Ordner mit demselben Namen wie der Dateiname heruntergeladen. 🎜🎜num_of_process ist optional (standardmäßig werden 10 Prozesse verwendet). 🎜🎜🎜Beispiel🎜🎜rrreee🎜🎜🎜🎜🎜🎜🎜Ich würde mich über jede Antwort freuen, wie ich das noch weiter verbessern kann. 🎜🎜🎜Englische Originaladresse: https://betterprogramming.pub/building-an-imagedownloader-with-multiprocessing-in-python-44aee36e0424🎜🎜🎜【Verwandte Empfehlungen: 🎜So laden Sie Bilder gleichzeitig mit mehreren Threads in So laden Sie Bilder gleichzeitig mit mehreren Threads in Python herunter herunter3-Video-Tutorial🎜】🎜

Das obige ist der detaillierte Inhalt vonSo laden Sie Bilder gleichzeitig mit mehreren Threads in Python herunter. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!