Der Inhalt dieses Artikels ist eine Einführung (Bilder und Texte) zum Design der Java-Architektur mit hoher Parallelität. Ich hoffe, dass er für Sie hilfreich ist.
Vorwort
Eine hohe Parallelität tritt häufig in Geschäftsszenarien mit einer großen Anzahl aktiver Benutzer und einer hohen Benutzerkonzentration auf, z. B. bei Flash-Sale-Aktivitäten und beim Empfang roter Umschläge in regelmäßigen Abständen usw.
Um einen reibungslosen Geschäftsablauf zu ermöglichen und den Benutzern ein gutes interaktives Erlebnis zu bieten, müssen wir eine für unser Geschäftsszenario geeignete Verarbeitungslösung mit hoher Parallelität entwerfen, die auf Faktoren wie der geschätzten Parallelität des Geschäftsszenarios basiert .
Videokursempfehlung →: "Ten-Million-Level-Data-Concurrency-Lösung (Theorie + praktischer Kampf)"
In Im Laufe der Jahre der E-Commerce-bezogenen Produktentwicklung bin ich auf verschiedene Fallstricke gestoßen. Die Zusammenfassung hier dient als meine eigene Archivaufzeichnung und ich werde sie mit Ihnen teilen alle. .
1. Serverarchitektur
Das Unternehmen ist von den frühen Entwicklungsstadien an allmählich gereift, und auch die Serverarchitektur hat sich von einer relativ einzelnen zu einer Cluster- und dann zu einer verteilten Serverarchitektur entwickelt Dienstleistungen.
Eine gute Serverarchitektur, die eine hohe Parallelität unterstützen kann, ist unverzichtbar. Sie benötigt eine ausgeglichene Last, die Datenbank benötigt einen Master-Slave-Cluster, der NoSQL-Cache benötigt einen Master-Slave-Cluster und statische Dateien müssen dorthin hochgeladen werden cdn. Dies sind alles Dinge, die Geschäftsprogrammen eine leistungsstarke Unterstützung für einen reibungslosen Betrieb ermöglichen können.
Der Serverteil erfordert hauptsächlich die Mitarbeit von Betriebs- und Wartungspersonal beim Bau. Ich werde nicht näher darauf eingehen und hier aufhören.
Die ungefähr erforderliche Serverarchitektur ist wie folgt:
Server
Balancierlast (z. B. Nginx, Alibaba Cloud SLB)
Ressourcenüberwachung
Verteilt
Datenbank
Master-Slave-Trennung, Cluster
DBA-Tabellenoptimierung, Indexoptimierung usw.
Verteilungsformel
nosql
Master-Slave-Trennung, Cluster
Master-Slave-Trennung, Cluster
Master-Slave-Trennung, Cluster
redis
mongodb
memcache
cdn
html
css
js
image
Parallelitätstests
Unternehmen mit hohem Parallelitätsbezug erfordern Parallelitätstests, und eine große Menge an Datenanalysen wird verwendet, um den Grad der Parallelität der gesamten Architektur zu bewerten unterstützen kann.
Um eine hohe Parallelität zu testen, können Sie einen Server eines Drittanbieters oder Ihren eigenen Testserver verwenden, Testtools zum Testen gleichzeitiger Anforderungen verwenden und die Testdaten analysieren, um eine Schätzung der Anzahl möglicher Parallelitäten zu erhalten Dies kann als Frühwarnhinweis dienen. Wie das Sprichwort sagt: Kämpfen Sie hundert Mal ohne Gefahr.
Drittanbieterdienste:
Alibaba Cloud Performance Test
Parallelitätstesttool:
Apache JMeter
Visual Studio Performance Load Test
Microsoft Web Application Stress Tool
Praktische Lösung
Allgemeine Lösung
Der tägliche Benutzerverkehr ist groß, aber relativ verstreut und gelegentlich auch große Ansammlungen von Benutzern sein;
Szenarien: Benutzer-Check-in, Benutzercenter, Benutzerbestellung usw.
Serverarchitekturdiagramm:
Hinweis:
Diese Unternehmen im Szenario sind grundsätzlich die, die Benutzer nach dem Betreten der APP betreiben werden, mit Ausnahme von Veranstaltungstagen (618). , Double 11 usw.), die Anzahl der Benutzer dieser Unternehmen wird nicht hoch sein. Gleichzeitig handelt es sich bei diesen geschäftsbezogenen Tabellen alle um Big-Data-Tabellen, und das Geschäft besteht hauptsächlich aus Abfragevorgängen, sodass wir die Abfragen reduzieren müssen dass Benutzer direkt auf die Datenbank zugreifen, den Cache abfragen und dann die Abfrageergebnisse zwischenspeichern, wenn der Cache nicht vorhanden ist.
Das Aktualisieren benutzerbezogener Caches erfordert verteilten Speicher, z. B. die Verwendung von Benutzer-IDs für die Hash-Gruppierung und die Verteilung von Benutzern auf verschiedene Caches. Auf diese Weise wird die Gesamtmenge eines Cache-Sets nicht groß und hat keinen Einfluss auf die Abfrage Effizienz.
Programme wie:
Benutzer melden sich an, um Punkte zu erhalten
Berechnen Sie den Benutzerverteilungsschlüssel und finden Sie die heutigen Anmeldeinformationen des Benutzers Redis-Hash
Wenn die Check-in-Informationen abgefragt werden, werden die Check-in-Informationen zurückgegeben
Wenn sie nicht abgefragt werden, fragt die DB ab, ob der Check-in heute durchgeführt wurde In diesem Fall werden die Check-in-Informationen mit dem Redis-Cache synchronisiert.
Wenn der heutige Check-in-Datensatz nicht in der DB abgefragt wird, wird die Check-in-Logik ausgeführt und die DB wird betrieben, um den heutigen Check-in-Datensatz und die Check-in-Punkte hinzuzufügen (dieser gesamte DB-Vorgang ist). eine Transaktion)
Cache-Check-in Senden Sie die Informationen an redis und geben Sie die Check-in-Informationen zurück
Hinweis
In Parallelitätssituationen treten logische Probleme auf, wie zum Beispiel: Mehrmals am Tag einchecken und mehrere Punkte an Benutzer vergeben.
Mein Blogbeitrag [Hohe Parallelität in den Augen von Programmierern] enthält relevante Lösungen.
Benutzerbestellungen
Hier speichern wir nur die Bestellinformationen auf der ersten Seite des Benutzers, bei 40 Daten auf einer Seite sehen Benutzer im Allgemeinen nur die Bestellung Daten auf der ersten Seite.
Wenn der Benutzer auf die Bestellliste zugreift, wenn es sich um die erste Seite handelt, die den Cache liest, wenn er nicht die Datenbank liest
Berechnen Sie den von der verteilten Schlüssel Benutzer und durchsuchen Sie die Bestellinformationen des Benutzers im Redis-Hash
Wenn Sie die Bestellinformationen des Benutzers abfragen und die Bestellinformationen zurücksenden
Wenn es nicht vorhanden ist, führen Sie eine DB-Abfrage für die Bestelldaten auf der ersten Seite durch, speichern Sie dann Redis zwischen und geben Sie die Bestellinformationen zurück
Benutzercenter
Berechnen Sie den Benutzerverteilungsschlüssel, suchen Sie nach Benutzerauftragsinformationen im Redis-Hash
Wenn Benutzerinformationen abgefragt werden, geben Sie Benutzerinformationen zurück
Wenn sie nicht vorhanden sind, fragen Sie die Benutzerdatenbank ab, speichern Sie dann Redis zwischen und geben Sie den Benutzer zurück Informationen
Andere Unternehmen
Das obige Beispiel ist eine relativ einfache Architektur mit hoher Parallelität, die gut unterstützt werden kann, wenn die Parallelität nicht sehr hoch ist. Wenn das Unternehmen wächst, wird auch die Anzahl der Benutzer gleichzeitig optimiert und weiterentwickelt. Jeder Dienst verfügt über eine eigene parallele Architektur, einen eigenen ausgewogenen Server, eine verteilte Datenbank und einen NoSQL-Master-Slave Cluster, wie Benutzerdienste und Bestelldienste;
Nachrichtenwarteschlange
Aktivitäten wie Flash-Sales und Flash-Grabs führen dazu, dass Benutzer sofort strömen und viele gleichzeitige Anfragen generieren
Szenario: Regelmäßiger Erhalt roter Umschläge usw.
Serverarchitekturdiagramm:
Beschreibung:
Geplante Sammlung in der Szene Es handelt sich um ein sehr gleichzeitiges Geschäft. Wenn dies der Fall ist, werden Benutzer von Flash-Sale-Aktivitäten zu einem bestimmten Zeitpunkt strömen Wenn Sie es nicht halten können, wird es ausfallen, was sich auf das gesamte Unternehmen auswirkt.
Diese Art von Geschäft ist nicht nur ein Abfragevorgang, sondern erfordert auch eine stark gleichzeitige Dateneinfügung oder -aktualisierung. Die oben erwähnte allgemeine Lösung kann nicht unterstützt werden Während der Parallelität wird die Nachrichtenwarteschlange direkt in die Datenbank geschrieben -Thread-Programm, um die Warteschlange zu nutzen und den Benutzern in der Warteschlange rote Umschläge auszugeben.
Die Lösung lautet wie folgt:
Erhalten Sie regelmäßig rote Umschläge
Im Allgemeinen wird die Redis-Liste verwendet.
Wenn der Benutzer an der Aktivität teilnimmt, werden die Informationen zur Benutzerbeteiligung in die Warteschlange verschoben.
Schreiben Sie dann ein Multithread-Programm, um die Daten anzuzeigen und die Aufgabe der Ausgabe roter Umschläge erledigen
Dies kann Benutzern mit hoher Parallelität dabei helfen, normal an Aktivitäten teilzunehmen und die Gefahr von Ausfallzeiten des Datenbankservers zu vermeiden
Level 1 Cache
Der Cache-Server für Verbindungen mit hohen gleichzeitigen Anforderungen übersteigt die Anzahl der Anforderungsverbindungen, die der Server empfangen kann, und einige Benutzer haben das Problem, dass beim Herstellen einer Verbindung eine Zeitüberschreitung auftritt und die Daten nicht gelesen werden können;
Daher muss eine Lösung vorhanden sein, die die Anzahl der Zugriffe auf den Cache-Server reduzieren kann, wenn die Parallelität hoch ist.
Zu diesem Zeitpunkt wird die Cache-Lösung der ersten Ebene angezeigt Beachten Sie, dass nur ein Teil des Anforderungsvolumens gespeichert wird und die Menge der zwischengespeicherten Daten nicht übermäßig genutzt werden darf, um den normalen Betrieb der Site-Anwendung zu beeinträchtigen Der Cache der ersten Ebene muss eine Ablaufzeit in Sekunden festlegen. Die spezifische Zeit wird entsprechend dem Geschäftsszenario festgelegt. Der Zweck besteht darin, die Datenerfassung auf den Cache der ersten Ebene zu übertragen, ohne eine Verbindung zum Cache herzustellen NOSQL-Datenserver, wodurch der Druck auf den NOSQL-Datenserver verringert wird
Zum Beispiel sind diese Daten auf dem ersten Bildschirm der Produktdatenschnittstelle der APP Die öffentlichen Daten werden nicht für Benutzer angepasst, und diese Daten werden nicht angepasst Wird häufig aktualisiert. Wenn das Anforderungsvolumen dieser Schnittstelle relativ groß ist, kann sie dem Cache der ersten Ebene hinzugefügt werden.
Serverarchitekturdiagramm:
Standardisieren und verwenden Sie die NoSQL-Cache-Datenbank angemessen und teilen Sie den Cache-Datenbank-Cluster entsprechend dem Geschäft auf. Dies kann das Geschäft grundsätzlich gut unterstützen, und der Cache der ersten Ebene ist schließlich für Sie verwenden den Site-Server-Cache, sodass Sie ihn trotzdem sinnvoll nutzen müssen.
Statische Daten
Wenn sich die Daten bei hohen gleichzeitigen Anforderungen nicht ändern und Sie nicht Ihren eigenen Server anfordern müssen, um Daten abzurufen, können Sie den Ressourcendruck reduzieren Der Server.
Wenn die Aktualisierungshäufigkeit nicht hoch ist und die Daten eine kurze Verzögerung zulassen, können Sie die Daten statisch in JSON-, XML-, HTML- und andere Datendateien konvertieren und sie beim Abrufen von Daten in CDN hochladen Wenn die Daten nicht abgerufen werden, rufen Sie sie aus dem Cache oder der Datenbank ab. Bearbeiten Sie die Daten, generieren Sie die statische Datei neu und laden Sie sie in das CDN hoch, damit die Daten abgerufen werden können CDN-Server in Zeiten hoher Parallelität. Da es bei der CDN-Knotensynchronisierung zu einer gewissen Verzögerung kommt, ist es auch wichtig, einen zuverlässigen CDN-Serveranbieter zu finden.
Das obige ist der detaillierte Inhalt vonEinführung in das Java-Architekturdesign mit hoher Parallelität (Bilder und Text). Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!
