深層学習に基づくテキスト感情認識技術の5Gバッドニュースセキュリティ管理および制御プラットフォームへの応用
著者 | Sun Yue、部署: China Mobile (Hangzhou) Information Technology Co., Ltd. | China Mobile Hangzhou R&D Center
ラボ紹介
5G ネットワークの発展 普及が進むにつれて、多くのユーザーが 5G ネットワークに接触し、使用し始めています。 5G ネットワークは、従来のネットワークの音声、ビデオ、テキスト、その他の情報を送信できるだけでなく、戦場のライブ情報、衛星測位、ナビゲーション、等
# インターネット情報には、政治関連の情報、ポルノ情報、暴力団関連情報、詐欺情報、商業広告情報等、悪質な情報は年々増加しており、利用者に多大な嫌がらせを与えています。ネットワーク環境を浄化し、悪い情報の拡散を効果的に制御するために、チャイナモバイルの 5G 悪いニュースセキュリティ管理および制御プラットフォームが誕生しました。#データ ソース: 中国移動グループ情報セキュリティ センター
##複雑なネットワーク情報環境に直面した場合、このプラットフォームはテキスト メッセージ、音声メッセージ、ビデオ メッセージ、リッチ メディア メッセージなどを、政治関連、ポルノ、ギャング関連、詐欺関連、商業広告メッセージ、通常のメッセージなどに分類して傍受します。対応する戦略を通じてタイムリーに報復し、悪いニュースの重大度に応じてフォローアップの懲罰を実行し、ネットワーク環境を根本から浄化し、良好なネットワーク空間を作成します。
#2. 既存の 5G 不良情報管理および制御プラットフォーム技術重要なポイント
##プラットフォームは主に次の方法で悪質な情報を傍受します。
#①第 1 レベルのキーワードを設定する: 第 1 レベルのキーワードは通常、非常に機密性の高い単語に設定されます。ユーザーが第 1 レベルのキーワードの内容を含むメッセージを送信すると、メッセージはすぐに傍受されます。情報コンテンツは配信できず、ユーザーはマークされます。
② 共通キーワードの設定: 共通キーワードは、ユーザーが一定期間内に共通キーワードの内容を含むメッセージを送信した場合、よりセンシティブな単語に設定されます。一定期間内に、ユーザーが機密メッセージを送信した回数がシステムの事前設定された傍受しきい値を超えた場合、システムはユーザーをブラックリストに組み込み、一定期間内にユーザーはブラックリストに登録されなくなります。完全な5Gネットワークサービスを利用できるようになります。
#複雑なテキスト情報の監視を設定する: ユーザーがテキストと画像を含む PDF ファイルを送信した場合、ファイル内のテキストを抽出してフィルタリングします。高度なキーワードと通常のキーワードメカニズム、画像はリッチメディアメカニズムによってフィルタリングされ、テキストと画像のそれぞれのフィルタリング結果に従って、ファイルの処理結果として重い処理の原則が採用されます。
#3. 既存の 5G の悪い管理および制御プラットフォームの技術的弱点
既存の 5G 悪いニュースセキュリティ制御プラットフォームのフィルタリングメカニズムでは、指定された限られたフレーズや短い文章のみをフィルタリングできます。インターネットの普及に伴い、新しい単語が毎日大量に出現します。 、手動での追加のみが必要です。語彙に関しては、語彙ライブラリをタイムリーかつ迅速に更新することができなくなりました。さらに、今日多くのユーザーがテキスト メッセージを送信する場合、テキスト メッセージ全体に違法な単語が含まれていないとしても、表現される思考や感情には多くの否定的な感情的傾向が含まれる可能性があり、単語や短い文章だけでは否定的な感情的な内容をうまく遮断することはできません。 。したがって、テキスト感情分析を使用して、否定的な感情傾向に富んだ文章をレビューおよび傍受のために送信すると、悪い情報制御の効果をさらに強化し、スパム情報によるユーザーの浸食と汚染を軽減できます。 人気のインターネット フレーズやニュース メッセージを含むテキスト感情ライブラリを確立することにより、テキストに豊富に含まれる感情が、ポジティブな感情、ニュートラルな感情、ネガティブな感情の 3 つのカテゴリに分類されます。これら 3 つのカテゴリに従って各テキストに対応するラベルを作成し、深層学習ネットワークを使用して感情ライブラリ内のテキストをトレーニングします。トレーニングされたモデルは、5G の悪いニュース管理および制御プラットフォームで使用して、悪い感情的なメッセージを傍受できます。
##4. 深層学習に基づく 5G 欠陥管理および制御システムの技術実装の詳細
このテクノロジーには、jieba 単語分割システム、フレーズ ベクトル化、およびテキスト感情認識アルゴリズムという 3 つの主要な主題が含まれており、各主題間の相互作用は次のとおりです。
各モジュールの対話フローチャートクローラー技術を使用して、インターネット上の単語やニュースメッセージを原文としてクロールし、原文をトレーニングセットとテストセットに8:2の比率で分割し、トレーニングセット内のテキスト情報にラベルを付けて分割します。テスト セット内のテキスト。情報は jieba 単語分割ツールによって分割されます。例: 彼はモバイル ハンヤン ビルに来ました。 jieba 単語分割ツールによる単語分割後の結果は、彼/来た/移動/ハンヤン/建物となり、最終的に単語分割後のデータがコーパスに編成されました。トレーニング セットとテスト セット内のテキスト情報の量は非常に多いため (通常は数百万のデータ)、ポストワード セグメンテーション コーパス内のデータの量も非常に多くなります (数千万のデータ)。これらのコーパスは番号を付けてコーパスに保存できますが、データ量が膨大であるため、次元の災難に見舞われやすくなります。したがって、テキスト情報に出現する助詞「レ」、「的」、「我」などについては、出現頻度は高いものの、感情への寄与が少ないため、次元を削減するという目的を達成するために、コーパス フレーズからこれらの単語を削除します。
トレーニング セット内のベクトル化されたフレーズを学習とトレーニングのために深層学習ネットワークに送信し、対応するモデルを取得し、最後にテスト セット内のデータをモデルに入力して表示します。その結果、モデルがより高い精度を得ることができた場合、モデルは 5G 不良管理および制御プラットフォームに接続され、ユーザーはフィルタリングのためにエンドツーエンドの情報を送信します。フィルタリングプロセス中に悪い情報が見つかった場合、その情報は適時に傍受されるため、5Gの不正情報管理および制御システムによる悪い情報の傍受がより体系的かつ包括的になります。
#具体的な手順は次のとおりです。
- ## インターネットから元のテキスト コーパスをクロールし、モーダル助詞の削除、テキスト内に出現する句読点と空白領域の削除、ターミネータ、まばらな単語、テキスト内に出現する特定の単語の削除など、元のテキストを前処理します。 jieba ライブラリは単語の分割を実行し、テキスト文を個別のフレーズに正確に切り出します。
- クロールされたテキスト データ セットを特定の割合に従ってトレーニング セットとテスト セットに分割します。テキスト文は手動で注釈が付けられ、次のように分割されます。 : ポジティブな感情、ネガティブな感情、ニュートラルな感情。そして、jieba ライブラリを使用して、トレーニング セットとテスト セットのテキスト文をそれぞれセグメント化し、セグメント化されたトレーニング セットをコーパスに構築します。
- ステップ 1 でフレーズをベクトル化し、各セグメント化が次のようにマッピングされます。データセット全体のワードベクトル行列を取得するための多次元連続値ベクトル。
- まず感情語が含まれる文節を抽出することで文の複雑さを軽減し、その後さまざまな特徴に基づいて文節内で感情対象の位置を予測し、感情を抽出します対応する位置から。感情抽出とは、テキスト内の貴重な感情情報を取得し、感情表現において単語やフレーズが果たす役割を判断することであり、感情表現者の特定、評価対象の特定、感情的な観点の単語の特定などのタスクが含まれます。
- 上記の操作で取得した感情ベクトルを深層学習ネットワークに送信してテキスト感情認識モデルを取得し、次にテスト セット内の感情ベクトルをモデルに送信し、テスト結果を確認して、次の手順を続行します。正常な検出結果を持つデータ、テキスト マッチング、リッチ メディア認識などの定期的なポリシー フィルタリングを実行します。
- は感情認識に深層学習テクノロジーを使用しており、手動介入が少なく、高い作業効率を実現します。
- はテキスト感情認識を使用して重要な点を効果的に補います。単語インターセプトの割合;
- テキスト感情認識を使用すると、戦略を自動的に更新し、タイムリーに新しいエントリ情報を補足して、効率を向上させることができます。
最後に書いてください:
現在、深層学習の応用分野は、繰り返しの学習に依存して非常に広範囲に広がっています。手動の作業負荷を大幅に軽減し、効率と精度を向上させることができます。前述の悪質な情報傍受システムに適しているだけでなく、近い将来、他の新興分野でもこの技術が活躍すると信じています。もちろん、ディープラーニング自体は完璧ではなく、すべての厄介な問題を解決できるわけではありません。このため、新たなブレークスルーを達成し、より良い未来のスマートライフを生み出すために、私たちはディープラーニングテクノロジーを新たなシナリオや新たな分野に投資し続ける必要があります。
以上が深層学習に基づくテキスト感情認識技術の5Gバッドニュースセキュリティ管理および制御プラットフォームへの応用の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

ホットAIツール

Undresser.AI Undress
リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover
写真から衣服を削除するオンライン AI ツール。

Undress AI Tool
脱衣画像を無料で

Clothoff.io
AI衣類リムーバー

AI Hentai Generator
AIヘンタイを無料で生成します。

人気の記事

ホットツール

メモ帳++7.3.1
使いやすく無料のコードエディター

SublimeText3 中国語版
中国語版、とても使いやすい

ゼンドスタジオ 13.0.1
強力な PHP 統合開発環境

ドリームウィーバー CS6
ビジュアル Web 開発ツール

SublimeText3 Mac版
神レベルのコード編集ソフト(SublimeText3)

ホットトピック











BERT は、2018 年に Google によって提案された事前トレーニング済みの深層学習言語モデルです。正式名は BidirectionEncoderRepresentationsfromTransformers で、Transformer アーキテクチャに基づいており、双方向エンコードの特性を備えています。従来の一方向コーディング モデルと比較して、BERT はテキストを処理するときにコンテキスト情報を同時に考慮できるため、自然言語処理タスクで優れたパフォーマンスを発揮します。その双方向性により、BERT は文内の意味関係をより深く理解できるようになり、それによってモデルの表現能力が向上します。事前トレーニングおよび微調整方法を通じて、BERT は感情分析、命名などのさまざまな自然言語処理タスクに使用できます。

活性化関数は深層学習において重要な役割を果たしており、ニューラル ネットワークに非線形特性を導入することで、ネットワークが複雑な入出力関係をより適切に学習し、シミュレートできるようになります。活性化関数の正しい選択と使用は、ニューラル ネットワークのパフォーマンスとトレーニング結果に重要な影響を与えます。この記事では、よく使用される 4 つの活性化関数 (Sigmoid、Tanh、ReLU、Softmax) について、導入、使用シナリオ、利点、欠点と最適化ソリューション アクティベーション関数を包括的に理解できるように、次元について説明します。 1. シグモイド関数 シグモイド関数の公式の概要: シグモイド関数は、任意の実数を 0 と 1 の間にマッピングできる一般的に使用される非線形関数です。通常は統一するために使用されます。

以前に書きましたが、今日は、深層学習テクノロジーが複雑な環境におけるビジョンベースの SLAM (同時ローカリゼーションとマッピング) のパフォーマンスをどのように向上させることができるかについて説明します。ここでは、深部特徴抽出と深度マッチング手法を組み合わせることで、低照度条件、動的照明、テクスチャの弱い領域、激しいセックスなどの困難なシナリオでの適応を改善するように設計された多用途のハイブリッド ビジュアル SLAM システムを紹介します。当社のシステムは、拡張単眼、ステレオ、単眼慣性、ステレオ慣性構成を含む複数のモードをサポートしています。さらに、他の研究にインスピレーションを与えるために、ビジュアル SLAM と深層学習手法を組み合わせる方法も分析します。公開データセットと自己サンプリングデータに関する広範な実験を通じて、測位精度と追跡堅牢性の点で SL-SLAM の優位性を実証しました。

潜在空間埋め込み (LatentSpaceEmbedding) は、高次元データを低次元空間にマッピングするプロセスです。機械学習と深層学習の分野では、潜在空間埋め込みは通常、高次元の入力データを低次元のベクトル表現のセットにマッピングするニューラル ネットワーク モデルです。このベクトルのセットは、「潜在ベクトル」または「潜在ベクトル」と呼ばれることがよくあります。エンコーディング」。潜在空間埋め込みの目的は、データ内の重要な特徴をキャプチャし、それらをより簡潔でわかりやすい形式で表現することです。潜在空間埋め込みを通じて、低次元空間でデータの視覚化、分類、クラスタリングなどの操作を実行し、データをよりよく理解して活用できます。潜在空間埋め込みは、画像生成、特徴抽出、次元削減など、多くの分野で幅広い用途があります。潜在空間埋め込みがメイン

今日の急速な技術変化の波の中で、人工知能 (AI)、機械学習 (ML)、および深層学習 (DL) は輝かしい星のようなもので、情報技術の新しい波をリードしています。これら 3 つの単語は、さまざまな最先端の議論や実践で頻繁に登場しますが、この分野に慣れていない多くの探検家にとって、その具体的な意味や内部のつながりはまだ謎に包まれているかもしれません。そこで、まずはこの写真を見てみましょう。ディープラーニング、機械学習、人工知能の間には密接な相関関係があり、進歩的な関係があることがわかります。ディープラーニングは機械学習の特定の分野であり、機械学習

2006 年にディープ ラーニングの概念が提案されてから、ほぼ 20 年が経過しました。ディープ ラーニングは、人工知能分野における革命として、多くの影響力のあるアルゴリズムを生み出してきました。では、ディープラーニングのトップ 10 アルゴリズムは何だと思いますか?私の考えでは、ディープ ラーニングのトップ アルゴリズムは次のとおりで、いずれもイノベーション、アプリケーションの価値、影響力の点で重要な位置を占めています。 1. ディープ ニューラル ネットワーク (DNN) の背景: ディープ ニューラル ネットワーク (DNN) は、多層パーセプトロンとも呼ばれ、最も一般的なディープ ラーニング アルゴリズムです。最初に発明されたときは、コンピューティング能力のボトルネックのため疑問視されていました。最近まで長年にわたる計算能力、データの爆発的な増加によって画期的な進歩がもたらされました。 DNN は、複数の隠れ層を含むニューラル ネットワーク モデルです。このモデルでは、各層が入力を次の層に渡し、

畳み込みニューラル ネットワーク (CNN) と Transformer は、さまざまなタスクで優れたパフォーマンスを示した 2 つの異なる深層学習モデルです。 CNN は主に、画像分類、ターゲット検出、画像セグメンテーションなどのコンピューター ビジョン タスクに使用されます。畳み込み演算を通じて画像上の局所的な特徴を抽出し、プーリング演算を通じて特徴の次元削減と空間的不変性を実行します。対照的に、Transformer は主に、機械翻訳、テキスト分類、音声認識などの自然言語処理 (NLP) タスクに使用されます。セルフアテンション メカニズムを使用してシーケンス内の依存関係をモデル化し、従来のリカレント ニューラル ネットワークにおける逐次計算を回避します。これら 2 つのモデルは異なるタスクに使用されますが、シーケンス モデリングでは類似点があるため、

RMSprop は、ニューラル ネットワークの重みを更新するために広く使用されているオプティマイザーです。これは、2012 年に Geoffrey Hinton らによって提案され、Adam オプティマイザーの前身です。 RMSprop オプティマイザの登場は主に、勾配の消失や勾配の爆発など、SGD 勾配降下法アルゴリズムで発生するいくつかの問題を解決することを目的としています。 RMSprop オプティマイザーを使用すると、学習率を効果的に調整し、重みを適応的に更新できるため、深層学習モデルのトレーニング効果が向上します。 RMSprop オプティマイザの中心となるアイデアは、異なるタイム ステップでの勾配が重みの更新に異なる影響を与えるように、勾配の加重平均を実行することです。具体的には、RMSprop は各パラメータの 2 乗を計算します。
