So verwenden Sie den HyperLogLog-Datentyp in Redis
1. Prinzip von HyperLogLog
Redis HyperLogLog verwendet einen probabilistischen Algorithmus, den HyperLogLog-Algorithmus, um die Kardinalität abzuschätzen. Mithilfe einer Reihe von Hash-Funktionen und eines Bit-Arrays der Länge m ist HyperLogLog in der Lage, die Anzahl der eindeutigen Elemente in einer Menge zu schätzen.
Im HyperLogLog-Algorithmus wird jedes Element gehasht, und nach der Umwandlung des Hash-Werts in einen Binärwert wird jedes Element entsprechend der Anzahl der Einsen im Binärzeichenfolgenpräfix bewertet. Wenn der Hashwert eines Elements beispielsweise 01110100011 ist, beträgt die Anzahl der Einsen im Präfix 3, sodass im HyperLogLog-Algorithmus die Punktzahl dieses Elements 3 beträgt.
Wenn die Bewertungen aller Elemente gezählt werden, nehmen Sie den Kehrwert jeder Bewertung (1/2^n), addieren Sie dann diese Kehrwerte und bilden Sie den Kehrwert, um eine Kardinalitätsschätzung zu erhalten, die das geschätzte Ergebnis des HyperLogLog-Algorithmus ist.
Der HyperLogLog-Algorithmus kompensiert die Größe der Länge m des Bitarrays, wodurch der von der Datenstruktur belegte Speicher und die Genauigkeit des geschätzten Werts (d. h. des geschätzten Fehlers) beeinträchtigt werden, und erzielt ein perfektes Gleichgewicht zwischen dem von den Daten belegten Platz und der geringere Fehlergrad.
Kurz gesagt, die Kernidee des HyperLogLog-Algorithmus basiert auf Hash-Funktionen und Bitoperationen, indem Hash-Werte in Bitströme umgewandelt und die Anzahl der führenden Nullen gezählt werden, wodurch die Anzahl der eindeutigen Werte schnell geschätzt wird in großen Datensätzen. Mit dem Hyperloglog-Algorithmus sind wir in der Lage, doppelte Webseiten in sehr großen Datensätzen schnell zu identifizieren.
2. Verwendungsschritte:
Redis HyperLogLog ist eine Datenstruktur, die zur Schätzung der Anzahl von Elementen in einer Sammlung verwendet werden kann. Sie kann große Datenmengen verwalten, indem sie nur sehr wenig Speicher benötigt. Es ist genauer als herkömmliche Schätzalgorithmen und bei der Verarbeitung großer Datenmengen sehr schnell.
Ein einfaches Beispiel: Wir können HyperLogLog verwenden, um die Anzahl der unabhängigen IPs zu berechnen, die die Website besuchen. Sie können die folgenden Schritte ausführen:
Erstellen Sie zunächst eine HyperLogLog-Datenstruktur:
PFADD hll:unique_ips 127.0.0.1<code>PFADD hll:unique_ips 127.0.0.1
为每次访问ip添加到unique_ips数据结构中:
PFADD hll:unique_ips 192.168.1.1
获取计算集合中元素数量的近似值:
PFCOUNT hll:unique_ips
可以通过对多个HyperLogLog结构(例如按天或按小时)的合并,来获得更精确的计数。
需要注意的是,HyperLogLog虽然可以节省大量的内存,但它是一种估计算法,误差范围并不是完全精确的,实际使用时应注意其适用范围。
3.实现请求ip去重的浏览量使用示例
4.Jedis客户端使用
1. 添加依赖,引入jedis依赖:
<dependency> <groupId>redis.clients</groupId> <artifactId>jedis</artifactId> <version>3.6.0</version> </dependency>
2.创建一个Jedis对象:
Jedis jedis = new Jedis("localhost");
3.向HyperLogLog数据结构添加元素:
jedis.pfadd("hll:unique_ips", "127.0.0.1");
4.获取计算集合中元素数量的近似值:
Long count = jedis.pfcount("hll:unique_ips"); System.out.println(count);
5.可以通过对多个HyperLogLog结构的合并来获得更精确的计数。在Jedis中可以使用PFMERGE
PFADD hll:unique_ips 192.168.1.1
Erhalten Sie eine Näherung der Anzahl der Elemente im berechneten Satz: PFCOUNT hll :unique_ips
Sie können genauere Zählungen erhalten, indem Sie mehrere HyperLogLog-Strukturen zusammenführen (z. B. nach Tag oder Stunde). Es ist zu beachten, dass HyperLogLog zwar viel Speicher einsparen kann, es sich jedoch um einen Schätzalgorithmus handelt und der Fehlerbereich nicht ganz genau ist. Bei der Verwendung in der Praxis sollten Sie auf seinen Anwendungsbereich achten. 3. Beispiel für die Verwendung von Seitenaufrufen zur Implementierung der Anforderungs-IP-Deduplizierungjedis.pfmerge("hll:unique_ips", "hll:unique_ips1", "hll:unique_ips2", "hll:unique_ips3");
Nach dem Login kopieren
Config config = new Config(); config.useSingleServer().setAddress("redis://localhost:6379"); RedissonClient redisson = Redisson.create(config);
PFMERGE
in Jedis verwenden, um die HyperLogLog-Datenstruktur zusammenzuführen: RHyperLogLog<String> uniqueIps = redisson.getHyperLogLog("hll:unique_ips");
uniqueIps.add("127.0.0.1");
long approximateCount = uniqueIps.count(); System.out.println(approximateCount);
RHyperLogLog<String> uniqueIps1 = redisson.getHyperLogLog("hll:unique_ips1"); RHyperLogLog<String> uniqueIps2 = redisson.getHyperLogLog("hll:unique_ips2"); uniqueIps.mergeWith(uniqueIps1, uniqueIps2);
rrreee
6. Welche Funktionen und Methoden bietet HyperLogLog- Die Genauigkeit ist gering, aber es dauert bis sehr wenig Speicher.
- Unterstützt das Einfügen neuer Elemente ohne Doppelzählung.
- Bietet Anweisungen zur Optimierung der Speichernutzung und Zählgenauigkeit. Zum Beispiel PFADD, PFCOUNT, PFMERGE und andere Anweisungen.
- Seien Sie in der Lage, die Anzahl verschiedener Elemente in einem Datensatz, also die Kardinalität des Satzes, abzuschätzen.
Seitenaufrufe zählen – In Webanwendungen kann HyperLogLog verwendet werden, um zu zählen, wie viele eindeutige Besucher es für jede Seite gibt. Verwenden Sie die HyperLogLog-Technologie, um die durchschnittliche Anzahl der Besuche dieser Seite über verschiedene Zeiträume hinweg zu berechnen.
HyperLogLog bietet einen erheblichen Nutzen bei der Analyse der Anzahl der Benutzer in großen Datensammlungen. Eine wahrscheinlichkeitsbasierte Datenstruktur ist besonders effektiv, wenn es um Datensätze wie eindeutige Benutzer-IDs geht. HyperLogLog speichert nach dem Hashing nur eine begrenzte Anzahl an Hashwerten und ist in der Lage, auf die Größe des Datensatzes zu schließen.
Werbeklicks zählen – Für die Werbeanalyse von Websites oder Anwendungen kann HyperLogLog verwendet werden, um die Anzahl der effektiven Klicks, also die Anzahl der nicht-duplizierten oder zu erfassen einzigartige Klicks.
Das obige ist der detaillierte Inhalt vonSo verwenden Sie den HyperLogLog-Datentyp in Redis. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Heiße KI -Werkzeuge

Undresser.AI Undress
KI-gestützte App zum Erstellen realistischer Aktfotos

AI Clothes Remover
Online-KI-Tool zum Entfernen von Kleidung aus Fotos.

Undress AI Tool
Ausziehbilder kostenlos

Clothoff.io
KI-Kleiderentferner

AI Hentai Generator
Erstellen Sie kostenlos Ai Hentai.

Heißer Artikel

Heiße Werkzeuge

Notepad++7.3.1
Einfach zu bedienender und kostenloser Code-Editor

SublimeText3 chinesische Version
Chinesische Version, sehr einfach zu bedienen

Senden Sie Studio 13.0.1
Leistungsstarke integrierte PHP-Entwicklungsumgebung

Dreamweaver CS6
Visuelle Webentwicklungstools

SublimeText3 Mac-Version
Codebearbeitungssoftware auf Gottesniveau (SublimeText3)

Heiße Themen



Der Redis -Cluster -Modus bietet Redis -Instanzen durch Sharding, die Skalierbarkeit und Verfügbarkeit verbessert. Die Bauschritte sind wie folgt: Erstellen Sie ungerade Redis -Instanzen mit verschiedenen Ports; Erstellen Sie 3 Sentinel -Instanzen, Monitor -Redis -Instanzen und Failover; Konfigurieren von Sentinel -Konfigurationsdateien, Informationen zur Überwachung von Redis -Instanzinformationen und Failover -Einstellungen hinzufügen. Konfigurieren von Redis -Instanzkonfigurationsdateien, aktivieren Sie den Cluster -Modus und geben Sie den Cluster -Informationsdateipfad an. Erstellen Sie die Datei nodes.conf, die Informationen zu jeder Redis -Instanz enthält. Starten Sie den Cluster, führen Sie den Befehl erstellen aus, um einen Cluster zu erstellen und die Anzahl der Replikate anzugeben. Melden Sie sich im Cluster an, um den Befehl cluster info auszuführen, um den Clusterstatus zu überprüfen. machen

Die Verwendung der REDIS -Anweisung erfordert die folgenden Schritte: Öffnen Sie den Redis -Client. Geben Sie den Befehl ein (Verbschlüsselwert). Bietet die erforderlichen Parameter (variiert von der Anweisung bis zur Anweisung). Drücken Sie die Eingabetaste, um den Befehl auszuführen. Redis gibt eine Antwort zurück, die das Ergebnis der Operation anzeigt (normalerweise in Ordnung oder -err).

So löschen Sie Redis -Daten: Verwenden Sie den Befehl Flushall, um alle Schlüsselwerte zu löschen. Verwenden Sie den Befehl flushdb, um den Schlüsselwert der aktuell ausgewählten Datenbank zu löschen. Verwenden Sie SELECT, um Datenbanken zu wechseln, und löschen Sie dann FlushDB, um mehrere Datenbanken zu löschen. Verwenden Sie den Befehl del, um einen bestimmten Schlüssel zu löschen. Verwenden Sie das Redis-Cli-Tool, um die Daten zu löschen.

Redis verwendet eine einzelne Gewindearchitektur, um hohe Leistung, Einfachheit und Konsistenz zu bieten. Es wird E/A-Multiplexing, Ereignisschleifen, nicht blockierende E/A und gemeinsame Speicher verwendet, um die Parallelität zu verbessern, jedoch mit Einschränkungen von Gleichzeitbeschränkungen, einem einzelnen Ausfallpunkt und ungeeigneter Schreib-intensiver Workloads.

Der beste Weg, um Redis -Quellcode zu verstehen, besteht darin, Schritt für Schritt zu gehen: Machen Sie sich mit den Grundlagen von Redis vertraut. Wählen Sie ein bestimmtes Modul oder eine bestimmte Funktion als Ausgangspunkt. Beginnen Sie mit dem Einstiegspunkt des Moduls oder der Funktion und sehen Sie sich die Codezeile nach Zeile an. Zeigen Sie den Code über die Funktionsaufrufkette an. Kennen Sie die von Redis verwendeten Datenstrukturen. Identifizieren Sie den von Redis verwendeten Algorithmus.

Um eine Warteschlange aus Redis zu lesen, müssen Sie den Warteschlangenname erhalten, die Elemente mit dem Befehl LPOP lesen und die leere Warteschlange verarbeiten. Die spezifischen Schritte sind wie folgt: Holen Sie sich den Warteschlangenname: Nennen Sie ihn mit dem Präfix von "Warteschlange:" wie "Warteschlangen: My-Queue". Verwenden Sie den Befehl LPOP: Wischen Sie das Element aus dem Kopf der Warteschlange aus und geben Sie seinen Wert zurück, z. B. die LPOP-Warteschlange: my-queue. Verarbeitung leerer Warteschlangen: Wenn die Warteschlange leer ist, gibt LPOP NIL zurück, und Sie können überprüfen, ob die Warteschlange existiert, bevor Sie das Element lesen.

Um alle Schlüssel in Redis anzuzeigen, gibt es drei Möglichkeiten: Verwenden Sie den Befehl keys, um alle Schlüssel zurückzugeben, die dem angegebenen Muster übereinstimmen. Verwenden Sie den Befehl scan, um über die Schlüssel zu iterieren und eine Reihe von Schlüssel zurückzugeben. Verwenden Sie den Befehl Info, um die Gesamtzahl der Schlüssel zu erhalten.

Redis verwendet Hash -Tabellen, um Daten zu speichern und unterstützt Datenstrukturen wie Zeichenfolgen, Listen, Hash -Tabellen, Sammlungen und geordnete Sammlungen. Ernähren sich weiterhin über Daten über Snapshots (RDB) und appendiert Mechanismen nur Schreibmechanismen. Redis verwendet die Master-Slave-Replikation, um die Datenverfügbarkeit zu verbessern. Redis verwendet eine Ereignisschleife mit einer Thread, um Verbindungen und Befehle zu verarbeiten, um die Datenatomizität und Konsistenz zu gewährleisten. Redis legt die Ablaufzeit für den Schlüssel fest und verwendet den faulen Löschmechanismus, um den Ablaufschlüssel zu löschen.
