Bewerten Sie die Verfeinerung der Aktion

Nun wird der Mechanismus zur Auswahl aktualisierter Daten in der Aktion „Produkte aus CMS ExtraParts importieren“ durch eine Anfrage ausgeführt: „SELECT * FROM `price` WHERE `post_date` >= '{$postDateFrom}' ORDER BY `price`.`id` ASC“ Dabei verwendet die Variable „{$postDateFrom}“ die Zeit, zu der die Aktion zuletzt ausgeführt wurde. Das Problem besteht darin, dass, wenn plötzlich eine große Menge aktualisierter Daten in „Preis“ erscheint (z. B. 4,6 Millionen), die Aktion eine große Datenmenge (ca. 12 GB) erfordert, deren Verarbeitung Stunden dauert (ca. 5 Stunden). ), was zu Zeitüberschreitungen oder Fehlern bei exportierten Produkten oder anderen Fehlern beim Datenexport führt ... Es ist notwendig, den Mechanismus zur Stichprobenerhebung aktualisierter Daten zu verbessern: 1. Berücksichtigen Sie eine begrenzte Datenmenge (z. B. 100.000 in den Einstellungen angegebene Zeilen) für den Start einer Aktion, verarbeiten Sie dieses Array und stoppen Sie die Aktion. Verarbeiten Sie beim nächsten Start der Aktion die nächste Menge aktualisierter Daten usw. 2. Wenn zwei oder mehr Exportaktionen gleichzeitig (parallel) arbeiten, müssen die Daten zwischen ihnen verteilt werden, damit nicht jede der Aktionen dieselben Daten verarbeitet.