Die Analyse des Quellcodes erklärt, warum Laravel wiederholt dieselbe Warteschlangenaufgabe ausführt

Der Warteschlangendienst von Laravel bietet eine einheitliche API für verschiedene Hintergrundwarteschlangendienste. Der folgende Artikel stellt Ihnen anhand einer Quellcodeanalyse die Gründe vor, warum Laravel wiederholt dieselbe Warteschlangenaufgabe ausführt Das Bedürfnis kann sich darauf beziehen.

Vorwort

Der Warteschlangendienst von Laravel bietet eine einheitliche API für verschiedene Hintergrundwarteschlangendienste. Mithilfe von Warteschlangen können Sie die Ausführung zeitaufwändiger Aufgaben wie das Versenden einer E-Mail verzögern. Dadurch kann die Antwortzeit der Anfrage effektiv verkürzt werden.

Ein Problem gefunden

Verwenden Sie Redis in Laravel, um Warteschlangenaufgaben zu verarbeiten, aber ich bin kürzlich darauf gestoßen Ein Problem besteht darin, dass eine Aufgabe mehrmals ausgeführt wird. Warum ist das so?

Lassen Sie mich zuerst über den Grund sprechen:

Denn in Laravel, wenn eine Warteschlange (Aufgabe ) Die Ausführungszeit ist länger als 60 Sekunden. Dies wird als Ausführungsfehler betrachtet und erneut in die Warteschlange aufgenommen, wodurch dieselbe Aufgabe wiederholt ausgeführt wird.

Die Logik dieser Aufgabe besteht darin, Inhalte an Benutzer zu senden. Benutzer müssen basierend auf dem Warteschlangeninhalt abgerufen und durchlaufen und über die HTTP-Schnittstelle des Anforderungs-Backends gesendet werden. Wenn beispielsweise 10.000 Benutzer vorhanden sind, die Anzahl der Benutzer groß ist oder die Verarbeitungsgeschwindigkeit der Schnittstelle nicht so hoch ist, beträgt die Ausführungszeit definitiv mehr als 60 Sekunden, sodass die Aufgabe erneut zur Warteschlange hinzugefügt wird. Noch schlimmer ist die Situation, wenn die vorherigen Aufgaben nicht innerhalb von 60 Sekunden ausgeführt werden, werden sie erneut zur Warteschlange hinzugefügt, sodass dieselbe Aufgabe nicht nur einmal, sondern mehrmals ausgeführt wird.

Lassen Sie uns den Schuldigen anhand des Laravel-Quellcodes finden.

Quellcodedatei: Vendor/laravel/framework/src/Illuminate/Queue/RedisQueue.php

/**
 * The expiration time of a job.
 *
 * @var int|null
 */
protected $expire = 60;

Die Mitgliedsvariable $expire ist ein fester Wert, dass eine Warteschlange ausgeführt werden sollte, egal wie lange sie 60 Sekunden dauert. Methode zum Abrufen der Warteschlange:

public function pop($queue = null)
{
 $original = $queue ?: $this->default; 
 $queue = $this->getQueue($queue); 
 $this->migrateExpiredJobs($queue.':delayed', $queue); 
 if (! is_null($this->expire)) {
  $this->migrateExpiredJobs($queue.':reserved', $queue);
 } 
 list($job, $reserved) = $this->getConnection()->eval(
  LuaScripts::pop(), 2, $queue, $queue.':reserved', $this->getTime() + $this->expire
 ); 
 if ($reserved) {
  return new RedisJob($this->container, $this, $job, $reserved, $original);
 }
}

Es gibt mehrere Schritte zum Abrufen der Warteschlange, denn wenn die Warteschlange fehlschlägt oder die Ausführung abläuft, Es wird in eine andere Sammlung gestellt und gespeichert. Um es erneut zu versuchen, ist der Vorgang wie folgt:

1. Verschieben Sie die Warteschlange, die aufgrund der Ausführung fehlgeschlagen ist, erneut von der verzögerten Sammlung in die aktuelle ausgeführte Warteschlange.

2. Schieben Sie die Warteschlange aufgrund eines Ausführungszeitlimits erneut von der reservierten Sammlung in die aktuell ausgeführte Warteschlange.

3. Nehmen Sie dann die Aufgabe aus der Warteschlange, beginnen Sie mit der Ausführung und stellen Sie die Warteschlange in die reservierte geordnete Sammlung.

Der Befehl eval wird verwendet, um diesen Prozess auszuführen, und es werden mehrere Lua-Skripte verwendet.

Holen Sie sich die auszuführende Aufgabe aus der Warteschlange:

local job = redis.call('lpop', KEYS[1])
local reserved = false
if(job ~= false) then
 reserved = cjson.decode(job)
 reserved['attempts'] = reserved['attempts'] + 1
 reserved = cjson.encode(reserved)
 redis.call('zadd', KEYS[2], ARGV[1], reserved)
end
return {job, reserved}

Sie können sehen, dass Laravel die Aufgabe erhält Wird von Redis ausgeführt. Beim Einreihen in die Warteschlange wird gleichzeitig eine Kopie in eine geordnete Sammlung gestellt und der Ablaufzeitstempel wird als Punktzahl verwendet.

Erst wenn die Aufgabe abgeschlossen ist, wird die Aufgabe aus dem bestellten Satz entfernt. Der Code zum Entfernen der Warteschlange aus dieser geordneten Sammlung wird weggelassen. Schauen wir uns an, wie Laravel mit Warteschlangen umgeht, deren Ausführungszeit mehr als 60 Sekunden beträgt.

Das ist es, was dieses Lua-Skript macht:

local val = redis.call('zrangebyscore', KEYS[1], '-inf', ARGV[1])
if(next(val) ~= nil) then
 redis.call('zremrangebyrank', KEYS[1], 0, #val - 1)
 for i = 1, #val, 100 do
  redis.call('rpush', KEYS[2], unpack(val, i, math.min(i+99, #val)))
 end
end
return true

Hier findet zrangebyscore die Punktzahl von infinitesimal bis zu den Elementen von Der aktuelle Zeitstempel, also die Aufgaben, die vor 60 Sekunden zur Sammlung hinzugefügt wurden, werden dann über zremrangebyrank und rpush aus der Sammlung in die Warteschlange entfernt.

Sie sollten eine plötzliche Erkenntnis haben, nachdem Sie das gesehen haben.

Wenn eine Warteschlange nicht innerhalb von 60 Sekunden ausgeführt wird, schiebt der Prozess beim Abrufen der Warteschlange die Aufgaben aus dem reservierten Satz erneut in die Warteschlange.

Zusammenfassung

Artikel, die Sie interessieren könnten:

Über Laravel Redis Detaillierte Erläuterung des Problems, dass mehrere Prozesse gleichzeitig Warteschlangen beanspruchen

Detaillierte Erläuterung des PHP-MSF-Quellcodes

thinkphp5 URL und Routing Detaillierte Funktionserklärung und Beispiele

Das obige ist der detaillierte Inhalt vonDie Analyse des Quellcodes erklärt, warum Laravel wiederholt dieselbe Warteschlangenaufgabe ausführt. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!