Inhaltsverzeichnis
1. Prinzip von HyperLogLog
2. Verwendungsschritte:
3.实现请求ip去重的浏览量使用示例
4.Jedis客户端使用
Heim Datenbank Redis So verwenden Sie den HyperLogLog-Datentyp in Redis

So verwenden Sie den HyperLogLog-Datentyp in Redis

May 29, 2023 am 09:29 AM
redis hyperloglog

1. Prinzip von HyperLogLog

Redis HyperLogLog verwendet einen probabilistischen Algorithmus, den HyperLogLog-Algorithmus, um die Kardinalität abzuschätzen. Mithilfe einer Reihe von Hash-Funktionen und eines Bit-Arrays der Länge m ist HyperLogLog in der Lage, die Anzahl der eindeutigen Elemente in einer Menge zu schätzen.

Im HyperLogLog-Algorithmus wird jedes Element gehasht, und nach der Umwandlung des Hash-Werts in einen Binärwert wird jedes Element entsprechend der Anzahl der Einsen im Binärzeichenfolgenpräfix bewertet. Wenn der Hashwert eines Elements beispielsweise 01110100011 ist, beträgt die Anzahl der Einsen im Präfix 3, sodass im HyperLogLog-Algorithmus die Punktzahl dieses Elements 3 beträgt.

 Wenn die Bewertungen aller Elemente gezählt werden, nehmen Sie den Kehrwert jeder Bewertung (1/2^n), addieren Sie dann diese Kehrwerte und bilden Sie den Kehrwert, um eine Kardinalitätsschätzung zu erhalten, die das geschätzte Ergebnis des HyperLogLog-Algorithmus ist.

 Der HyperLogLog-Algorithmus kompensiert die Größe der Länge m des Bitarrays, wodurch der von der Datenstruktur belegte Speicher und die Genauigkeit des geschätzten Werts (d. h. des geschätzten Fehlers) beeinträchtigt werden, und erzielt ein perfektes Gleichgewicht zwischen dem von den Daten belegten Platz und der geringere Fehlergrad.

 Kurz gesagt, die Kernidee des HyperLogLog-Algorithmus basiert auf Hash-Funktionen und Bitoperationen, indem Hash-Werte in Bitströme umgewandelt und die Anzahl der führenden Nullen gezählt werden, wodurch die Anzahl der eindeutigen Werte schnell geschätzt wird in großen Datensätzen. Mit dem Hyperloglog-Algorithmus sind wir in der Lage, doppelte Webseiten in sehr großen Datensätzen schnell zu identifizieren.

2. Verwendungsschritte:

 Redis HyperLogLog ist eine Datenstruktur, die zur Schätzung der Anzahl von Elementen in einer Sammlung verwendet werden kann. Sie kann große Datenmengen verwalten, indem sie nur sehr wenig Speicher benötigt. Es ist genauer als herkömmliche Schätzalgorithmen und bei der Verarbeitung großer Datenmengen sehr schnell.

 Ein einfaches Beispiel: Wir können HyperLogLog verwenden, um die Anzahl der unabhängigen IPs zu berechnen, die die Website besuchen. Sie können die folgenden Schritte ausführen:

  • Erstellen Sie zunächst eine HyperLogLog-Datenstruktur: PFADD hll:unique_ips 127.0.0.1<code>PFADD hll:unique_ips 127.0.0.1

  • 为每次访问ip添加到unique_ips数据结构中: PFADD hll:unique_ips 192.168.1.1

  • 获取计算集合中元素数量的近似值: PFCOUNT hll:unique_ips

  • 可以通过对多个HyperLogLog结构(例如按天或按小时)的合并,来获得更精确的计数。

  需要注意的是,HyperLogLog虽然可以节省大量的内存,但它是一种估计算法,误差范围并不是完全精确的,实际使用时应注意其适用范围。

3.实现请求ip去重的浏览量使用示例

So verwenden Sie den HyperLogLog-Datentyp in Redis

4.Jedis客户端使用

  1. 添加依赖,引入jedis依赖:

<dependency>
    <groupId>redis.clients</groupId>
    <artifactId>jedis</artifactId>
    <version>3.6.0</version>
</dependency>
Nach dem Login kopieren

  2.创建一个Jedis对象:

Jedis jedis = new Jedis("localhost");
Nach dem Login kopieren

  3.向HyperLogLog数据结构添加元素:

jedis.pfadd("hll:unique_ips", "127.0.0.1");
Nach dem Login kopieren

  4.获取计算集合中元素数量的近似值:

Long count = jedis.pfcount("hll:unique_ips");
System.out.println(count);
Nach dem Login kopieren

  5.可以通过对多个HyperLogLog结构的合并来获得更精确的计数。在Jedis中可以使用PFMERGE

Fügen Sie jede Zugriffs-IP zur Datenstruktur „unique_ips“ hinzu: PFADD hll:unique_ips 192.168.1.1

Erhalten Sie eine Näherung der Anzahl der Elemente im berechneten Satz: PFCOUNT hll :unique_ips

Sie können genauere Zählungen erhalten, indem Sie mehrere HyperLogLog-Strukturen zusammenführen (z. B. nach Tag oder Stunde).

Es ist zu beachten, dass HyperLogLog zwar viel Speicher einsparen kann, es sich jedoch um einen Schätzalgorithmus handelt und der Fehlerbereich nicht ganz genau ist. Bei der Verwendung in der Praxis sollten Sie auf seinen Anwendungsbereich achten.

3. Beispiel für die Verwendung von Seitenaufrufen zur Implementierung der Anforderungs-IP-Deduplizierung
  • Redis How So verwenden Sie den HyperLogLog-Datentyp: <p><div class=
    jedis.pfmerge("hll:unique_ips", "hll:unique_ips1", "hll:unique_ips2", "hll:unique_ips3");
    Nach dem Login kopieren

 4. Erhalten Sie eine Annäherung an die Anzahl der Elemente im Berechnungssatz:
Config config = new Config();
config.useSingleServer().setAddress("redis://localhost:6379");
RedissonClient redisson = Redisson.create(config);
Nach dem Login kopieren
  •   5. Eine genauere Zählung kann durch Zusammenführen mehrerer HyperLogLog-Strukturen erhalten werden. Sie können den Befehl PFMERGE in Jedis verwenden, um die HyperLogLog-Datenstruktur zusammenzuführen:

    RHyperLogLog<String> uniqueIps = redisson.getHyperLogLog("hll:unique_ips");
    Nach dem Login kopieren

    5. Redission-Nutzungsabhängigkeiten
  •   1. Erstellen Sie ein RedissonClient-Objekt

    uniqueIps.add("127.0.0.1");
    Nach dem Login kopieren

    2. Erstellen Sie ein RHyperLogLog-Objekt
  • long approximateCount = uniqueIps.count();
    System.out.println(approximateCount);
    Nach dem Login kopieren
  • 3. Elemente hinzufügen

    RHyperLogLog<String> uniqueIps1 = redisson.getHyperLogLog("hll:unique_ips1");
    RHyperLogLog<String> uniqueIps2 = redisson.getHyperLogLog("hll:unique_ips2");
    uniqueIps.mergeWith(uniqueIps1, uniqueIps2);
    Nach dem Login kopieren
      4. Die ungefähre Menge ermitteln rrreee
  • 5. Mehrere HyperLogLog-Objekte zusammenführen

    rrreee

    6. Welche Funktionen und Methoden bietet HyperLogLog
  • Funktionen:

    • Die Genauigkeit ist gering, aber es dauert bis sehr wenig Speicher.

    • Unterstützt das Einfügen neuer Elemente ohne Doppelzählung.

    • Bietet Anweisungen zur Optimierung der Speichernutzung und Zählgenauigkeit. Zum Beispiel PFADD, PFCOUNT, PFMERGE und andere Anweisungen.

    • Seien Sie in der Lage, die Anzahl verschiedener Elemente in einem Datensatz, also die Kardinalität des Satzes, abzuschätzen.

    Unterstützt Zusammenführungsvorgänge für mehrere HyperLogLog-Objekte, um eine Annäherung an die Gesamtkardinalität dieser Sammlungen zu erhalten.

    Häufig verwendete Methoden in HyperLogLog:

    PFADD-Schlüsselelement [Element ...]: Fügen Sie ein oder mehrere Elemente zur HyperLogLog-Struktur hinzu. 🎜🎜🎜🎜PFCOUNT-Schlüssel [Schlüssel...]: Ruft die Kardinalitätsschätzung einer oder mehrerer HyperLogLog-Strukturen ab. 🎜🎜🎜🎜PFMERGE destkey sourcekey [sourcekey ...]: Füge eine oder mehrere HyperLogLog-Strukturen in eine Zielstruktur zusammen. 🎜🎜🎜🎜PFSELFTEST [numtests]: Testen Sie die Leistung und Genauigkeit der HyperLogLog-Schätzung (nur Redis4.0+-Version)🎜🎜🎜🎜 Es ist zu beachten, dass HyperLogLog zwar viel Speicher sparen kann, es sich jedoch immer noch um einen Schätzalgorithmus handelt Die Marge ist nicht ganz präzise und verursacht einen gewissen Rechenaufwand. Abhängig von der tatsächlichen Anwendung müssen Sie überlegen, ob Sie HyperLogLog oder andere Datenstrukturen verwenden, um die Anzahl der Elemente abzuschätzen. 🎜🎜7. Zusammenfassung der Nutzungsszenarien: 🎜🎜 Die Hauptfunktion von Redis mit HyperLogLog besteht darin, bei großen Datenströmen (Ansicht, IP, Stadt) eine Deduplizierungszählung durchzuführen. 🎜🎜Im Folgenden sind einige Szenarien aufgeführt, in denen Redis HyperLogLog zur Deduplizierung und Zählung verwendet wird: 🎜
    • Seitenaufrufe zählen – In Webanwendungen kann HyperLogLog verwendet werden, um zu zählen, wie viele eindeutige Besucher es für jede Seite gibt. Verwenden Sie die HyperLogLog-Technologie, um die durchschnittliche Anzahl der Besuche dieser Seite über verschiedene Zeiträume hinweg zu berechnen.

    • HyperLogLog bietet einen erheblichen Nutzen bei der Analyse der Anzahl der Benutzer in großen Datensammlungen. Eine wahrscheinlichkeitsbasierte Datenstruktur ist besonders effektiv, wenn es um Datensätze wie eindeutige Benutzer-IDs geht. HyperLogLog speichert nach dem Hashing nur eine begrenzte Anzahl an Hashwerten und ist in der Lage, auf die Größe des Datensatzes zu schließen.

    • Werbeklicks zählen – Für die Werbeanalyse von Websites oder Anwendungen kann HyperLogLog verwendet werden, um die Anzahl der effektiven Klicks, also die Anzahl der nicht-duplizierten oder zu erfassen einzigartige Klicks.

    Das obige ist der detaillierte Inhalt vonSo verwenden Sie den HyperLogLog-Datentyp in Redis. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

    Erklärung dieser Website
    Der Inhalt dieses Artikels wird freiwillig von Internetnutzern beigesteuert und das Urheberrecht liegt beim ursprünglichen Autor. Diese Website übernimmt keine entsprechende rechtliche Verantwortung. Wenn Sie Inhalte finden, bei denen der Verdacht eines Plagiats oder einer Rechtsverletzung besteht, wenden Sie sich bitte an admin@php.cn

    Heiße KI -Werkzeuge

    Undresser.AI Undress

    Undresser.AI Undress

    KI-gestützte App zum Erstellen realistischer Aktfotos

    AI Clothes Remover

    AI Clothes Remover

    Online-KI-Tool zum Entfernen von Kleidung aus Fotos.

    Undress AI Tool

    Undress AI Tool

    Ausziehbilder kostenlos

    Clothoff.io

    Clothoff.io

    KI-Kleiderentferner

    AI Hentai Generator

    AI Hentai Generator

    Erstellen Sie kostenlos Ai Hentai.

    Heißer Artikel

    R.E.P.O. Energiekristalle erklärten und was sie tun (gelber Kristall)
    2 Wochen vor By 尊渡假赌尊渡假赌尊渡假赌
    Repo: Wie man Teamkollegen wiederbelebt
    4 Wochen vor By 尊渡假赌尊渡假赌尊渡假赌
    Hello Kitty Island Abenteuer: Wie man riesige Samen bekommt
    3 Wochen vor By 尊渡假赌尊渡假赌尊渡假赌

    Heiße Werkzeuge

    Notepad++7.3.1

    Notepad++7.3.1

    Einfach zu bedienender und kostenloser Code-Editor

    SublimeText3 chinesische Version

    SublimeText3 chinesische Version

    Chinesische Version, sehr einfach zu bedienen

    Senden Sie Studio 13.0.1

    Senden Sie Studio 13.0.1

    Leistungsstarke integrierte PHP-Entwicklungsumgebung

    Dreamweaver CS6

    Dreamweaver CS6

    Visuelle Webentwicklungstools

    SublimeText3 Mac-Version

    SublimeText3 Mac-Version

    Codebearbeitungssoftware auf Gottesniveau (SublimeText3)

    Lösung für den Fehler 0x80242008 bei der Installation von Windows 11 10.0.22000.100 Lösung für den Fehler 0x80242008 bei der Installation von Windows 11 10.0.22000.100 May 08, 2024 pm 03:50 PM

    1. Starten Sie das Menü [Start], geben Sie [cmd] ein, klicken Sie mit der rechten Maustaste auf [Eingabeaufforderung] und wählen Sie Als [Administrator] ausführen. 2. Geben Sie nacheinander die folgenden Befehle ein (kopieren und fügen Sie sie sorgfältig ein): SCconfigwuauservstart=auto, drücken Sie die Eingabetaste. SCconfigbitsstart=auto, drücken Sie die Eingabetaste. SCconfigcryptsvcstart=auto, drücken Sie die Eingabetaste. SCconfigtrustedinstallerstart=auto, drücken Sie die Eingabetaste. SCconfigwuauservtype=share, drücken Sie die Eingabetaste. netstopwuauserv, drücken Sie die Eingabetaste für netstopcryptS

    Analysieren Sie PHP-Funktionsengpässe und verbessern Sie die Ausführungseffizienz Analysieren Sie PHP-Funktionsengpässe und verbessern Sie die Ausführungseffizienz Apr 23, 2024 pm 03:42 PM

    Engpässe bei PHP-Funktionen führen zu geringer Leistung, was durch die folgenden Schritte behoben werden kann: Suchen Sie die Engpassfunktion und verwenden Sie Tools zur Leistungsanalyse. Ergebnisse zwischenspeichern, um Neuberechnungen zu reduzieren. Verarbeiten Sie Aufgaben parallel, um die Ausführungseffizienz zu verbessern. Optimieren Sie die Zeichenfolgenverkettung und verwenden Sie stattdessen integrierte Funktionen. Verwenden Sie integrierte Funktionen anstelle benutzerdefinierter Funktionen.

    Golang API-Caching-Strategie und -Optimierung Golang API-Caching-Strategie und -Optimierung May 07, 2024 pm 02:12 PM

    Die Caching-Strategie in GolangAPI kann die Leistung verbessern und die Serverlast reduzieren. Häufig verwendete Strategien sind: LRU, LFU, FIFO und TTL. Zu den Optimierungstechniken gehören die Auswahl geeigneter Cache-Speicher, hierarchisches Caching, Invalidierungsmanagement sowie Überwachung und Optimierung. Im praktischen Fall wird der LRU-Cache verwendet, um die API zum Abrufen von Benutzerinformationen aus der Datenbank zu optimieren. Andernfalls kann der Cache nach dem Abrufen aus der Datenbank aktualisiert werden.

    Welches hat die bessere Leistung, Erlang oder Golang? Welches hat die bessere Leistung, Erlang oder Golang? Apr 21, 2024 am 03:24 AM

    Es gibt Leistungsunterschiede zwischen Erlang und Go. Erlang zeichnet sich durch Parallelität aus, während Go einen höheren Durchsatz und eine schnellere Netzwerkleistung bietet. Erlang eignet sich für Systeme, die eine hohe Parallelität erfordern, während Go für Systeme geeignet ist, die einen hohen Durchsatz und eine geringe Latenz erfordern.

    Caching-Mechanismus und Anwendungspraxis in der PHP-Entwicklung Caching-Mechanismus und Anwendungspraxis in der PHP-Entwicklung May 09, 2024 pm 01:30 PM

    In der PHP-Entwicklung verbessert der Caching-Mechanismus die Leistung, indem er häufig aufgerufene Daten vorübergehend im Speicher oder auf der Festplatte speichert und so die Anzahl der Datenbankzugriffe reduziert. Zu den Cache-Typen gehören hauptsächlich Speicher-, Datei- und Datenbank-Cache. In PHP können Sie integrierte Funktionen oder Bibliotheken von Drittanbietern verwenden, um Caching zu implementieren, wie zum Beispiel Cache_get() und Memcache. Zu den gängigen praktischen Anwendungen gehören das Zwischenspeichern von Datenbankabfrageergebnissen zur Optimierung der Abfrageleistung und das Zwischenspeichern von Seitenausgaben zur Beschleunigung des Renderings. Der Caching-Mechanismus verbessert effektiv die Reaktionsgeschwindigkeit der Website, verbessert das Benutzererlebnis und reduziert die Serverlast.

    Wie verwende ich den Redis-Cache bei der PHP-Array-Paginierung? Wie verwende ich den Redis-Cache bei der PHP-Array-Paginierung? May 01, 2024 am 10:48 AM

    Durch die Verwendung des Redis-Cache kann die Leistung des PHP-Array-Pagings erheblich optimiert werden. Dies kann durch die folgenden Schritte erreicht werden: Installieren Sie den Redis-Client. Stellen Sie eine Verbindung zum Redis-Server her. Erstellen Sie Cache-Daten und speichern Sie jede Datenseite in einem Redis-Hash mit dem Schlüssel „page:{page_number}“. Rufen Sie Daten aus dem Cache ab und vermeiden Sie teure Vorgänge auf großen Arrays.

    So aktualisieren Sie Win11 Englisch 21996 auf vereinfachtes Chinesisch 22000_So aktualisieren Sie Win11 Englisch 21996 auf vereinfachtes Chinesisch 22000 So aktualisieren Sie Win11 Englisch 21996 auf vereinfachtes Chinesisch 22000_So aktualisieren Sie Win11 Englisch 21996 auf vereinfachtes Chinesisch 22000 May 08, 2024 pm 05:10 PM

    Zuerst müssen Sie die Systemsprache auf die Anzeige in vereinfachtem Chinesisch einstellen und neu starten. Wenn Sie die Anzeigesprache zuvor auf vereinfachtes Chinesisch geändert haben, können Sie diesen Schritt natürlich einfach überspringen. Beginnen Sie als Nächstes mit dem Betrieb der Registrierung regedit.exe, navigieren Sie direkt zu HKEY_LOCAL_MACHINESYSTEMCurrentControlSetControlNlsLanguage in der linken Navigationsleiste oder der oberen Adressleiste und ändern Sie dann den InstallLanguage-Schlüsselwert und den Standardschlüsselwert auf 0804 (wenn Sie ihn in Englisch ändern möchten). us, Sie müssen zunächst die Anzeigesprache des Systems auf en-us einstellen, das System neu starten und dann alles auf 0409 ändern) Sie müssen das System an dieser Stelle neu starten.

    Kann Navicat eine Verbindung zu Redis herstellen? Kann Navicat eine Verbindung zu Redis herstellen? Apr 23, 2024 pm 05:12 PM

    Ja, Navicat kann eine Verbindung zu Redis herstellen, wodurch Benutzer Schlüssel verwalten, Werte anzeigen, Befehle ausführen, Aktivitäten überwachen und Probleme diagnostizieren können. Um eine Verbindung zu Redis herzustellen, wählen Sie in Navicat den Verbindungstyp „Redis“ und geben Sie die Serverdetails ein.

    See all articles