Python-Fehlermeldung: [Errno 24] Analyse und Lösung von Zu viele offene Dateien

Hintergrund

Ich habe kürzlich einen Fehler bei der Ausführung eines Multithread-Scan-Skripts entdeckt, der folgende Fehler trat häufig auf

HTTPConnectionPool(host=‘t.tips&#39;, port=80): Max retries exceeded with url: /index.php (Caused by NewConnectionError(&#39;<requests.packages.urllib3.connection.HTTPConnection object at 0x7f29d4081150>: Failed to establish a new connection: [Errno 24] Too many open files&#39;,))

Es ist seltsam...

Analyse

Einige kleine Projekte auf eigene Faust des Bloggers erfordern oft Multithreading-Batch Für Funktionen wie das Sammeln von Daten gilt: Je mehr Threads, desto besser. Daher verwende ich normalerweise 3000 Threads zum Scannen. Nachdem ich sichergestellt habe, dass die Bandbreite ausreicht und die Systemhardwarekonfiguration hoch genug ist, treten die oben genannten Probleme auf Ich denke darüber nach, ob es an Systembeschränkungen liegt.

Ich habe über die Suchmaschine eine Einführung in Systembeschränkungen gefunden. Als ich

$ ulimit -n
1024

ausführte, war das Ergebnis 1024, und das Das Systemlimit liegt bei gleichzeitigem Öffnen von 1024 Dateien, was offensichtlich zu wenig ist.

Lösung

Die Lösung für dieses Problem ist sehr einfach: Ändern Sie direkt die folgende Datei

sudo vim /etc/security/limits.conf

Fügen Sie am Ende dieser Datei zwei Codezeilen hinzu

* soft nofile 10240
* hard nofile 10240

Natürlich können Sie diese Nummer entsprechend Ihren Anforderungen ändern benötigt, speichern Sie es. Melden Sie sich einfach ab und erneut an.

Weitere Python-Fehlermeldungen: [Errno 24] Analyse und Lösung von Zu viele geöffnete Dateien Für verwandte Artikel achten Sie bitte auf die chinesische PHP-Website!