Autor ｜ Sun Yue, Abteilung: China Mobile (Hangzhou) Information Technology Co., Ltd. | mit 5G-Netzen in Kontakt kommen und diese nutzen. 5G-Netzwerke können nicht nur Sprache, Video, Text und andere Informationen herkömmlicher Netzwerke übertragen, sondern können auch in praktischeren Anwendungsszenarien mit geringerer Latenz und hochpräzisen Positionierungsfunktionen verwendet werden, wie zum Beispiel: Live-Gefechtsfeldinformationen, Satellitenpositionierung, Navigation, usw.
Internetinformationen werden oft mit schlechten Informationen vermischt, wie z. B. politischen Informationen, pornografischen Informationen, Informationen zu Schwarzen, Betrugsinformationen, kommerziellen Werbeinformationen usw. und der Menge an Schlechte Informationen nehmen von Jahr zu Jahr zu, was zu massiver Belästigung der Benutzer führt. Um die Netzwerkumgebung zu reinigen und die Verbreitung schlechter Informationen wirksam zu kontrollieren, wurde die 5G-Sicherheitsmanagement- und Kontrollplattform für schlechte Nachrichten von China Mobile ins Leben gerufen. Datenquelle: China Mobile Group Information Security Center Netzwerke In der Informationsumgebung, wie Textnachrichten, Sprachinformationen, Videoinformationen, Rich-Media-Informationen usw., werden die Informationen in folgende Kategorien eingeteilt: politisch, pornographisch, bandenbezogen, betrugsbezogen, kommerzielle Werbebotschaften, normal Nachrichten usw. und führen Sie dann durch entsprechende Strategien eine rechtzeitige Abfang- und Folgestrafe basierend auf der Schwere der schlechten Nachrichten durch, bereinigen Sie die Netzwerkumgebung von der Grundursache und schaffen Sie einen guten Cyberspace. 2. Technische Punkte der bestehenden 5G-Plattform für das Management und die Kontrolle schlechter Informationen
①Schlüsselwörter der ersten Ebene festlegen
: Schlüsselwörter der ersten Ebene werden normalerweise auf einige äußerst sensible Wörter festgelegt. Wenn der Benutzer eine Nachricht mit Schlüsselwortinhalten der ersten Ebene sendet, wird die Nachricht sofort abgefangen und der Nachrichteninhalt kann nicht verteilt werden , und Markieren Sie diesen Benutzer.
②Allgemeine Schlüsselwörter festlegen
: Allgemeine Schlüsselwörter werden auf einige relativ sensible Wörter festgelegt. Wenn der Benutzer innerhalb eines bestimmten Zeitraums eine Nachricht mit häufigem Schlüsselwortinhalt sendet, überschreitet die Häufigkeit, mit der der Benutzer die sensible Nachricht sendet Die vom System vorgegebene Anzahl Wenn der Abfangschwellenwert festgelegt ist, zieht das System den Benutzer in die schwarze Liste und innerhalb eines bestimmten Zeitraums kann der Benutzer nicht den vollständigen 5G-Netzwerkdienst nutzen.
③Setzen Sie die Überwachung komplexer Textinformationen ein
: Wenn der Benutzer eine PDF-Datei sendet, die Text und Bilder enthält, wird der Text in der Datei extrahiert und die Schlüsselwörter der ersten Ebene und allgemeine Schlüsselwörter werden gefiltert und die Bilder werden verarbeitet. Die Rich-Media-Mechanismus-Filterung basiert auf den Filterergebnissen von Text und Bildern und übernimmt das Prinzip der starken Verarbeitung als Verarbeitungsergebnis der Datei.
3. Technische Schwächen der bestehenden 5G-Plattform zur Kontrolle schlechter Nachrichten
Der Filtermechanismus der bestehenden 5G-Plattform zur Kontrolle schlechter Nachrichten kann nur bestimmte und begrenzte Phrasen und kurze Sätze filtern Mit der Popularisierung des Internets entstehen täglich neue Vokabeln. Es ist nicht mehr möglich, die Vokabelbibliothek rechtzeitig und schnell zu aktualisieren, indem einfach Vokabeln hinzugefügt werden. Wenn heute eine große Anzahl von Benutzern Textnachrichten verschickt, kann die gesamte Textnachricht zwar keine illegalen Wörter enthalten, die ausgedrückten Gedanken und Emotionen können jedoch eine große Anzahl negativer emotionaler Tendenzen enthalten. Wörter und kurze Sätze allein können negative emotionale Inhalte nicht erfolgreich abfangen . Daher kann die Verwendung einer Text-Sentiment-Analyse zur Übermittlung von Sätzen, die reich an negativen emotionalen Tendenzen sind, zur Überprüfung und zum Abfangen die Wirkung einer schlechten Informationskontrolle weiter verstärken und die Erosion und Vergiftung von Benutzern durch Spam-Informationen reduzieren.
Durch die Einrichtung einer Textemotionsbibliothek mit beliebten Internet-Kurzsätzen und Nachrichtennachrichten werden die im Text enthaltenen Emotionen in drei Kategorien unterteilt: positive Emotionen, neutrale Emotionen und negative Emotionen, und jede von ihnen wird entsprechend diesen klassifiziert Fügen Sie dem Text entsprechende Beschriftungen hinzu und verwenden Sie das Deep-Learning-Netzwerk, um den Text in der emotionalen Bibliothek zu trainieren. Das trainierte Modell kann in der 5G-Plattform für die Verwaltung und Kontrolle schlechter emotionaler Nachrichten verwendet werden.
4. Technische Implementierungsdetails des 5G-Schlechtmanagement- und Kontrollsystems basierend auf Deep Learning
Diese Technologie enthält drei Hauptkomponenten: Jieba-Wortsegmentierungssystem, Phrasenvektorisierung und Text-Emotionserkennungsalgorithmus, die Interaktion zwischen den einzelnen Themen ist wie folgt:
Interaktionsflussdiagramm jedes Moduls
Verwenden Sie die Crawler-Technologie, um Internetwörter und Nachrichtennachrichten als Originaltext zu crawlen, und teilen Sie den Originaltext im Verhältnis 8:2 in einen Trainingssatz und einen Testsatz auf, beschriften Sie die Textinformationen im Trainingssatz und übergeben Sie dann den Text Informationen im Testsatz durch Das Jieba-Wortsegmentierungstool führt eine Wortsegmentierungsverarbeitung durch, zum Beispiel: Er kam zum Mobile Hangyan Building. Nach der Wortsegmentierung durch das Jieba-Wortsegmentierungstool lautet das Ergebnis: he/came/moved/Hangyan/building, und schließlich wurden die Daten nach der Wortsegmentierung in einem Korpus organisiert. Da die Textinformationsmenge im Trainingssatz und Testsatz sehr groß ist (normalerweise Millionen Daten), ist auch die Datenmenge im Post-Wort-Segmentierungskorpus sehr groß (zig Millionen Daten). Obwohl diese Korpora in nummerierter Form im Korpus gespeichert werden können, ist es aufgrund der großen Datenmenge leicht, unter der Dimensionalitätskatastrophe zu leiden. Für die Modalpartikel, die in Textinformationen vorkommen, wie zum Beispiel: „le“, „的“, „我“ usw., kommen diese Wörter zwar sehr häufig vor, tragen aber kaum zur emotionalen Wirkung bei, daher werden wir eine Auswahl treffen Entfernen dieser Wörter aus dem Phrasenkorpus, um den Zweck der Dimensionsreduzierung zu erreichen.
Wir senden die vektorisierten Phrasen im Trainingssatz zum Lernen und Trainieren und erhalten das entsprechende Modell. Schließlich fügen wir die Daten im Testsatz in das Modell ein, um die entsprechenden Erkennungsergebnisse anzuzeigen Das Modell kann eine bessere Genauigkeit erzielen. Wenn die Genauigkeitsrate gut ist, wird das Modell mit der 5G-Bad-Management- und Kontrollplattform verbunden und der Benutzer sendet End-to-End-Informationen zum Filtern. Wenn während des Filtervorgangs schlechte Informationen gefunden werden, werden diese rechtzeitig abgefangen, wodurch das Abfangen schlechter Informationen durch das 5G-System zur Verwaltung und Kontrolle schlechter Informationen systematischer und umfassender wird.
Die spezifischen Schritte sind wie folgt:
- Crawlen Sie den Originaltextkorpus aus dem Internet und verarbeiten Sie den Originaltext vor, einschließlich: Entfernen von Modalpartikeln, Löschen von Satzzeichen, die in erscheinen Text: Löschen Sie im leeren Bereich Terminatoren, spärliche Wörter und bestimmte Wörter, die im Text vorkommen. Verwenden Sie die Jieba-Bibliothek zur Wortsegmentierung, um Textsätze genau nach Phrasen zu schneiden und sie in separate Phrasen zu unterteilen wird entsprechend einem bestimmten Verhältnis in einen Trainingssatz und einen Testsatz unterteilt, und die Textsätze im Trainingssatz werden manuell mit Anmerkungen versehen in: positive Emotionen, negative Emotionen und neutrale Emotionen. Und verwenden Sie die Jieba-Bibliothek, um die Textsätze im Trainingssatz bzw. Testsatz zu segmentieren und den segmentierten Trainingssatz in einen Korpus zu konstruieren.
- Vektorisieren Sie die Phrasen in Schritt 1, sodass jede Segmentierung einem mehrdimensionalen kontinuierlichen Wert zugeordnet wird Vektor: Erhalten Sie die Wortvektormatrix des gesamten Datensatzes.
- Reduzieren Sie die Komplexität des Satzes, indem Sie zuerst den Satz extrahieren, in dem sich das emotionale Wort befindet, dann anhand verschiedener Merkmale die Position des emotionalen Objekts im Satz vorhersagen und dann die Emotion aus der entsprechenden Position extrahieren. Bei der Emotionsextraktion geht es darum, wertvolle emotionale Informationen im Text zu erhalten und die Rolle eines Wortes oder einer Phrase beim emotionalen Ausdruck zu bestimmen, einschließlich Aufgaben wie der Identifizierung emotionaler Ausdrücke, der Identifizierung von Bewertungsobjekten und der Identifizierung von Wörtern aus emotionaler Sicht.
- Erhalten Sie ein Text-Emotionserkennungsmodell, indem Sie die durch die oben genannten Vorgänge erhaltenen Emotionsvektoren an das Deep-Learning-Netzwerk senden, dann die Emotionsvektoren im Testsatz an das Modell senden, die Testergebnisse anzeigen und die Daten weiterhin normal filtern Erkennungsergebnisse mit herkömmlichen Strategien, wie zum Beispiel: Textabgleich, Rich-Media-Erkennung usw. 5. Vorteile des mit Deep Learning integrierten 5G-Abhörsystems
-
Verwenden Sie Deep-Learning-Technologie, um eine effektive Identifizierung mit hoher Zuverlässigkeit und Authentizität zu gewährleisten.
Verwenden Sie Deep-Learning-Technologie zur Emotionserkennung mit weniger manuellem Eingriff und hoher Arbeitseffizienz
Mithilfe der Text-Emotionserkennung kann die Strategie automatisch aktualisiert und zeitnah mit neuen Eintragsinformationen ergänzt werden, um die Effizienz zu verbessern.
Am Ende geschrieben:
Der Anwendungsbereich von Deep Learning ist derzeit sehr breit. Durch wiederholtes Training und Selbstlernmethoden kann es den manuellen Arbeitsaufwand erheblich reduzieren und die Effizienz und Genauigkeit verbessern. Es ist nicht nur für das oben erwähnte System zum Abfangen schlechter Informationen geeignet, ich glaube auch, dass diese Technologie in naher Zukunft auch in anderen aufstrebenden Bereichen glänzen wird. Natürlich ist Deep Learning selbst nicht perfekt und kann nicht alle heiklen Probleme lösen. Aus diesem Grund sollten wir weiterhin in Deep-Learning-Technologie in neue Szenarien und neue Bereiche investieren, um neue Durchbrüche zu erzielen und ein besseres intelligentes Leben für die Zukunft zu schaffen.
Das obige ist der detaillierte Inhalt vonAnwendung der Text-Emotionserkennungstechnologie basierend auf Deep Learning in der 5G-Sicherheitsmanagement- und Kontrollplattform für schlechte Nachrichten. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!
