Was ist die beste Lösung zum Schleifenlesen mit Paging-Schnittstelle?

Derzeit müssen wir Schnittstellendaten von Drittanbietern lesen. Die Datenmenge ist relativ groß, sodass nur der Drittanbieter Paging verwendet Schnittstelle in einer Schleife. Konvertieren Sie dann die JSON-Daten in ein Array, spleißen Sie das Array und führen Sie Datenfilterungs- und Speichervorgänge durch. Aufgrund der Instabilität der Drittanbieter-Schnittstelle kann das Lesen jedoch fehlschlagen. Gibt es eine bessere Lösung?

Antwortinhalt:

Derzeit müssen wir Schnittstellendaten von Drittanbietern lesen, sodass nur der Drittanbieter Paging verwendet Um eine Schleife einzulesen, konvertieren Sie die JSON-Daten in ein Array, führen Sie Datenfilterungs- und Speichervorgänge durch. Aufgrund der Instabilität der Drittanbieterschnittstelle kann das Lesen jedoch fehlschlagen. Gibt es eine bessere Lösung?

Wenn die Datenmenge groß ist, können Sie sie mit einem geplanten Skript abrufen.
Sortieren Sie beim Abrufen zunächst nach einem Feld, z. B. einer automatisch inkrementierenden ID, um das Problem der Paging-Datenänderungen zu vermeiden.
Wenn das Skript ausgeführt wird oder die Schleife endet, notieren Sie sich die größte ID und geben Sie bei der nächsten Ausführung eine Bedingung ein, die größer als dieser Wert ist.

Wenn das Skript ausgeführt wird und der Schnittstellenaufruf fehlschlägt, können Sie mehrmals versuchen, es abzurufen. Wenn dies fehlschlägt, stoppen Sie die Skriptausführung, notieren Sie sich die ID und geben Sie dann eine Frühwarnmeldung aus und manueller Eingriff.
Ähm, eine einfache Idee

1. Es wird empfohlen, die Originaldatenbank zur Erfassung zu erstellen, unabhängig davon, ob es sich um ID oder MD5 handelt, um die Einzigartigkeit einzelner Daten sicherzustellen Erfassung
2, die Schnittstelle ist instabil, versuchen Sie, den Erfolg der Datenerfassung durch Ausnahmebehandlung, Curl-Fehlerverarbeitung usw. sicherzustellen.
3. Stellen Sie sicher, dass die Daten wiederholt erfasst werden nicht wiederholt verarbeitet werden

Das Obige ist die optimale Lösung für das Schleifenlesen mit Paging-Schnittstelle. Weitere verwandte Inhalte finden Sie auf der chinesischen PHP-Website (www.php.cn)!