Dieser Artikel bringt Ihnen relevantes Wissen über Redis, das hauptsächlich die damit verbundenen Probleme der Redis-Hotkey-Großwertlösung vorstellt. Ich hoffe, es wird für alle hilfreich sein.
Empfohlenes Lernen: Redis-Video-Tutorial
Über Redis Hot Data und Big Key Big Value-Fragen lassen sich auch leicht auf hoher Ebene stellen. Es ist besser, sie auf einmal zu beenden und den Interviewer sprachlos zu machen. Persönlich bin ich der Meinung, dass Hotspots bei der Arbeit häufiger auftreten als Lawinen. In den meisten Fällen sind Hotspots jedoch nicht heiß genug und werden im Voraus gewarnt und gelöst , die verursachten Online-Probleme werden ausreichen, um Sie auf den letzten Platz der diesjährigen Leistung zu bringen. Okay, hören wir auf, Unsinn zu reden, und kommen wir zur Sache.
Unter normalen Umständen werden die Daten im Redis-Cluster gleichmäßig auf jeden Knoten verteilt und Anforderungen werden gleichmäßig auf jeden Shard verteilt. In einigen speziellen Szenarien, wie z. B. externen Crawlern, Angriffen, Hot Commodities usw., ist dies jedoch am typischsten Was passierte, war, dass Prominente ihre Scheidung auf Weibo bekannt gaben und die Leute strömten, um Nachrichten zu hinterlassen, was zum Absturz der Kommentarfunktion von Weibo führte. Die Anzahl der Besuche bestimmter Schlüssel in so kurzer Zeit war zu groß und die gleichen Daten Auf den Shards würde die hohe Belastung der Shards zu einem Engpassproblem werden, was zu einer Reihe von Problemen wie Lawinen führen würde.
Problemanalyse: Diese Frage wurde mir letztes Mal gestellt, als ich im Gruppeninterview einen großen Chef Ali p7 hörte. Der Schwierigkeitsindex beträgt fünf Sterne, was für Anfänger wie mich wirklich ein Plus ist.
Antwort: Ich habe etwas zum Thema „heiße Daten“ zu sagen. Ich bin mir dieses Problems bewusst, seit ich Redis zum ersten Mal verwendet habe, daher werde ich es bei der Verwendung bewusst vermeiden und nie ein Loch darin graben Das größte Problem mit Hotspot-Daten wird durch ein Ungleichgewicht der Redis-Cluster verursacht. Diese Probleme sind für den Redis-Cluster fatal. Lassen Sie uns zunächst über die Hauptursachen für den Ausfall des Reids-Cluster-Lastungleichgewichts sprechen:
Die Lösung für dieses Problem ist relativ breit gefächert. Sie hängt von verschiedenen Geschäftsszenarien ab. Wenn ein Unternehmen beispielsweise Werbeaktivitäten organisiert, muss es eine Möglichkeit geben, die an der Aktion teilnehmenden Produkte im Voraus zu zählen. In diesem Szenario kann die Schätzmethode verwendet werden. Bei Notfällen und Unsicherheiten überwacht Redis die Hotspot-Daten selbst. Um es zusammenzufassen:
public Connection sendCommand(final ProtocolCommand cmd, final byte[]... args) { //从参数中获取key String key = analysis(args); //计数 counterKey(key); //ignore }
Proxy-basierte verteilte Redis-Architekturen wie Twemproxy und Codis haben einen einheitlichen Eingang und können auf der Proxy-Ebene erfasst und gemeldet werden. Allerdings sind die Mängel nicht bei allen Redis-Cluster-Architekturen offensichtlich Es gibt einen Proxy.
Redis-Server-Sammlung:
Überwachen Sie die QPS eines einzelnen Redis-Shards und überwachen Sie die Knoten, deren QPS bis zu einem bestimmten Grad geneigt ist, um den Hotspot-Schlüssel zu erhalten, der einen bestimmten Redis-Knoten zählen kann Innerhalb eines bestimmten Zeitraums besteht die Gefahr einer Speicherexplosion und der Redis-Leistung, sodass diese Methode nur für kurze Zeit verwendet werden kann Die Hotspot-Schlüssel eines Redis-Knotens sind aus geschäftlicher Sicht etwas problematischer.
Die vier oben genannten Methoden werden alle häufig in der Branche verwendet. Durch das Studium des Redis-Quellcodes habe ich eine neue Idee. Typ 5: Ändern Sie den Redis-Quellcode.
Ändern Sie den Redis-Quellcode: (Ich denke an Ideen aus dem Lesen des Quellcodes)
Ich habe festgestellt, dass Redis4.0 uns viele neue Funktionen gebracht hat, einschließlich des auf LFU basierenden Hotspot-Schlüsselerkennungsmechanismus Mit der neuen Funktion können wir auf dieser Grundlage die Statistiken von Hotspot-Schlüsseln erstellen. Dies ist nur meine persönliche Idee.
Psychologie des Interviewers: Der junge Mann ist sehr nachdenklich und aufgeschlossen, und er achtet sogar darauf, den Quellcode zu ändern. Diesen Ehrgeiz habe ich nicht. Solche Leute brauchen wir in unserem Team.
(Entdecken Sie Probleme, analysieren Sie Probleme, lösen Sie Probleme und sagen Sie direkt, wie Sie heiße Datenprobleme lösen können, ohne darauf zu warten, dass der Interviewer Fragen stellt. Dies ist der Kerninhalt)
Antwort: Bei der Bewältigung von Hot-Data-Problemen berücksichtigen wir hauptsächlich zwei Aspekte zur Lösung dieses Problems. Der erste ist das Daten-Sharding, das eine gleichmäßige Verteilung des Drucks auf mehrere Shards im Cluster ermöglicht, um zu verhindern, dass ein einzelner Computer davon betroffen ist Das zweite ist die Migrationsisolation.
Zusammenfassende Zusammenfassung:
Im Vergleich zum großen Konzept des Hotkeys ist das Konzept des großen Werts besser zu verstehen. Da Redis in einem einzelnen Thread ausgeführt wird, hat ein großer Wert einer Operation negative Auswirkungen auf die Antwortzeit des gesamten Redis, da es sich bei Redis um eine Datenbank mit Schlüsselwertstruktur handelt. Ein großer Wert bedeutet, dass ein einzelner Wert viel Speicher beansprucht. Die direkteste Auswirkung auf den Redis-Cluster ist. Antwort: (Sie wollen mich überraschen? Ich bin vorbereitet.)
Lassen Sie mich zunächst darüber sprechen, wie groß der Wert ist, der durch die Infrastruktur des Unternehmens gegeben ist. Er lässt sich wie folgt aufteilen:
Hinweis: (Der Erfahrungswert ist kein Standard, er wird auf der Grundlage der Langzeitbeobachtung von Online-Fällen durch Cluster-Betriebs- und Wartungspersonal zusammengefasst.)Groß: Zeichenfolgentypwert > 10 KB, im Set , Liste, Hash, Zset und andere Sammlungsdatentypen Die Anzahl der Elemente > 1000.
类似于场景一中的第一个做法,可以将这些元素分拆。
以 hash 为例,原先的正常存取流程是:
hget(hashKey, field); hset(hashKey, field, value)
现在,固定一个桶的数量,比如 10000,每次存取的时候,先在本地计算 field 的 hash 值,模除 10000,确定该 field 落在哪个 key 上,核心思想就是将 value 打散,每次只 get 你需要的。
newHashKey = hashKey + (hash(field) % 10000); hset(newHashKey, field, value); hget(newHashKey, field)
推荐学习:Redis学习教程
Das obige ist der detaillierte Inhalt vonLassen Sie uns gemeinsam die Lösungen für Redis-Hot-Data-Probleme analysieren. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!