コミュニティ
学ぶ
ツールライブラリ
AIツール
レジャー
検索
日本語
ホームページ データベース Redis Redis 分散ロックに基づいてタスク スケジューリングを実装する方法

Redis 分散ロックに基づいてタスク スケジューリングを実装する方法

WBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWB
WBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWB
May 28, 2023 pm 01:37 PM
redis

分散大規模データ収集のプロセスでは、情報ソースの管理が特に重要です。同じタスクを同時に 1 つのコレクタのみで処理できるようにするには、タスクのスケジューリングの一意性を確保する必要があります。通常、分散データ収集を実行する場合は、収集タスクを分散し、タスクの一意性を確保することが主な役割であるスケジューリング モジュールが存在します。

分散型であるため、複数のサーバー (複数のマシン) が関与し、各サーバーは複数のコレクター (複数のプロセス) に関与し、各コレクターには複数のスレッドが関与する可能性があります。したがって、タスク内のロック メカニズムはスケジューリングモジュールは特に重要です。アプリケーションの実装アーキテクチャに応じて、ロック実装メソッドは通常、次のタイプに分類できます。

  • ハンドラーが単一プロセスおよびマルチスレッドの場合、Python では、スレッド モジュールの Lock オブジェクトを使用して、共有変数への同期アクセスを制限し、スレッド セーフを実現できます。

  • 単一マシンと複数のプロセスの場合、Python ではマルチプロセッシングの Lock オブジェクトを使用して処理できます。

  • マルチマシンおよびマルチプロセス展開の場合、分散同期ロックを実装するには、サードパーティのコンポーネント (ストレージ ロック オブジェクト) に依存する必要があります。

スケジューリング モジュールはマルチマシン、マルチプロセス、マルチスレッドの処理メカニズムであるため、3 番目の方法と一致します。

#分散ロックの実装方法

現在主流の分散ロックの実装方法は次のとおりです。

  • Based on mysql などのデータベース

    • #redis などのキャッシュに基づく

    • #zookeeper に基づく

それぞれの実装方法にはそれぞれメリットがあり、総合的に検討した結果、Redis が最適です。主な理由は、

  • redis はメモリをベースに動作するため、データベースよりもアクセス速度が速く、同時実行性が高くてもロック後のパフォーマンスがそれほど低下しないためです

  • redis はキー値の生存時間 (TTL) を設定できます

  • redis は使いやすく、全体的な実装オーバーヘッドが低くなります

ただし、redis を使用して実装された分散ロックは、次の条件も満たす必要があります。

  1. 1 つのスレッドのみが占有できる他のスレッドはロックが解放されるまで待機する必要があります

  2. ロック操作はアトミック性を満たす必要があります

  3. デッドロックは発生しません。ロックを取得したときなど スレッドがロックを解放する前に突然異常終了し、他のスレッドがロックの解放をループで待機することになる

  4. ロックは同じスレッドによって設定する必要があります

データの一貫性を確保するために、redis を使用して分散同期ロックを実装します。これは次の特性を満たす必要があります。


  • 相互排他性を満たし、同時にロックを取得できるのは 1 つのスレッドのみです。

  • Redis の ttl を使用してデッドロックが発生しないようにします。が発生しますが、ロックの有効期限による問題も発生します。複数のスレッドが同時にロックを占有するという問題があるため、

  • 使用を避けるために、ロックの有効期限を合理的に設定する必要があります。ロックが誤って削除されないようにするためのロックの一意性


実際の操作プロセスでは、スケジューリング モジュールを分離しました。 Java クライアント Jredis (JRedis は、Redis 分散ハッシュ キー/値データベースに接続するために使用されるハイエンドの高性能 Java クライアントです。Spring Boot を使用して同期および非同期を実装する独立したサービス) に基づいて、コレクション システム全体から収集します。これにより、他のコレクターが HTTP 経由で処理される収集タスクをリクエストできるようになります。処理プロセスは大まかに次のとおりです:

  • コレクターは、HTTP 経由でタスク リクエストをディスパッチング センターに送信します。 ;

  • ディスパッチング センターはロックが存在するかどうかを判断し、存在する場合は空のセットが直接返されます。;

  • ロックが存在する場合は、空のセットが直接返されます。存在しない場合、リクエストはロックされ、ソース ルールに従って対応する収集タスクが取得されます。

  • 取得したタスクを返します (保留中のタスクがない場合は空を返します)

スケジューリング モジュールのコード実装は、大まかに次のとおりです:

public static List fetchTask(String lockKeyValue、RedisHashUtils redisHashUtils、HttpServletRequest request、

HashServiceInterface hif、ZSetServiceInterface zScoreSet、String dicName) {

List();

try {

String dicNameLock = "Dispatcher_Task_Lock";// タスク スケジュール ロック;


if (! redisHashUtils.keyIsExit(dicNameLock, lockKeyValue)) {// ロックが存在するかどうかを確認します

//ロックを追加します (タスクの一意性識別子をレコードに書き込みます);

redisHashUtils.addOneData(dicNameLock, lockKeyValue) ,

DateUtil.getYMDHMS());

// タスクロジックの処理

.......

「」」」」」」の '''''''''' アウト アウト アウト アウト アウト アウト アウト アウト スルー ‐‐‐‐‐‐‐‐hsdi.remove(redisHashUtils, dicNameLock, lockKeyValue);

申し訳ありませんが、書き換える必要がある元の単語が入力されていないため、書き換えは実行できません。 {

//ロックはすでに存在します

System.out.println("タスクの処理中、一時的に空のコレクションを返します....");

申し訳ありませんが、書き換える必要がある元の単語が指定されていないため、書き換えることはできません

} catch (

例外 e) {e.printStackTrace();

}

return result;

}

実際の操作中, ロックを追加するときは、ロックに 有効期限

を追加する必要があります。そうしないと、不明な例外が発生した場合にロックが解放されず、コレクタが収集タスクを取得できなくなる可能性があります。

以上がRedis 分散ロックに基づいてタスク スケジューリングを実装する方法の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

もっと見る

人気の記事

R.E.P.O.説明されたエネルギー結晶と彼らが何をするか（黄色のクリスタル）
3週間前 By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.最高のグラフィック設定
3週間前 By 尊渡假赌尊渡假赌尊渡假赌
アサシンのクリードシャドウズ：シーシェルリドルソリューション
2週間前 By DDD
R.E.P.O.誰も聞こえない場合はオーディオを修正する方法
3週間前 By 尊渡假赌尊渡假赌尊渡假赌
WWE 2K25：Myriseのすべてのロックを解除する方法
4週間前 By 尊渡假赌尊渡假赌尊渡假赌
もっと見る

ホットツール

メモ帳++7.3.1

メモ帳++7.3.1

使いやすく無料のコードエディター

SublimeText3 中国語版

SublimeText3 中国語版

中国語版、とても使いやすい

ゼンドスタジオ 13.0.1

ゼンドスタジオ 13.0.1

強力な PHP 統合開発環境

ドリームウィーバー CS6

ドリームウィーバー CS6

ビジュアル Web 開発ツール

SublimeText3 Mac版

SublimeText3 Mac版

神レベルのコード編集ソフト（SublimeText3）

もっと見る

ホットトピック

Gmailメールのログイン入り口はどこですか？
7470
15
CakePHP チュートリアル
1377
52
Steamのアカウント名の形式は何ですか
77
11
Win11 Activation Key Permanent
48
19
NYTの接続はヒントと回答です
19
29
もっと見る
Related knowledge
Redisクラスターモードの構築方法 Redisクラスターモードの構築方法 Apr 10, 2025 pm 10:15 PM

Redisクラスターモードは、シャードを介してRedisインスタンスを複数のサーバーに展開し、スケーラビリティと可用性を向上させます。構造の手順は次のとおりです。異なるポートで奇妙なRedisインスタンスを作成します。 3つのセンチネルインスタンスを作成し、Redisインスタンスを監視し、フェールオーバーを監視します。 Sentinel構成ファイルを構成し、Redisインスタンス情報とフェールオーバー設定の監視を追加します。 Redisインスタンス構成ファイルを構成し、クラスターモードを有効にし、クラスター情報ファイルパスを指定します。各Redisインスタンスの情報を含むnodes.confファイルを作成します。クラスターを起動し、CREATEコマンドを実行してクラスターを作成し、レプリカの数を指定します。クラスターにログインしてクラスター情報コマンドを実行して、クラスターステータスを確認します。作る

基礎となるRedisを実装する方法 基礎となるRedisを実装する方法 Apr 10, 2025 pm 07:21 PM

Redisはハッシュテーブルを使用してデータを保存し、文字列、リスト、ハッシュテーブル、コレクション、注文コレクションなどのデータ構造をサポートします。 Redisは、スナップショット（RDB）を介してデータを維持し、書き込み専用（AOF）メカニズムを追加します。 Redisは、マスタースレーブレプリケーションを使用して、データの可用性を向上させます。 Redisは、シングルスレッドイベントループを使用して接続とコマンドを処理して、データの原子性と一貫性を確保します。 Redisは、キーの有効期限を設定し、怠zyな削除メカニズムを使用して有効期限キーを削除します。

Redisのすべてのキーを表示する方法 Redisのすべてのキーを表示する方法 Apr 10, 2025 pm 07:15 PM

Redisのすべてのキーを表示するには、3つの方法があります。キーコマンドを使用して、指定されたパターンに一致するすべてのキーを返します。スキャンコマンドを使用してキーを繰り返し、キーのセットを返します。情報コマンドを使用して、キーの総数を取得します。

Redis-Serverが見つからない場合はどうすればよいですか Redis-Serverが見つからない場合はどうすればよいですか Apr 10, 2025 pm 06:54 PM

Redis-Serverが見つからない問題を解決するための手順：インストールを確認して、Redisが正しくインストールされていることを確認します。環境変数Redis_hostとredis_portを設定します。 Redis Server Redis-Serverを起動します。サーバーがRedis-Cli pingを実行しているかどうかを確認します。

Redisのバージョン番号を表示する方法 Redisのバージョン番号を表示する方法 Apr 10, 2025 pm 05:57 PM

Redisバージョン番号を表示するには、次の3つの方法を使用できます。（1）情報コマンドを入力し、（2） - versionオプションでサーバーを起動し、（3）構成ファイルを表示します。

Redis Zsetの使用方法 Redis Zsetの使用方法 Apr 10, 2025 pm 07:27 PM

Redis Orderedセット（ZSET）は、並べ替えられた要素を保存し、関連するスコアでソートするために使用されます。 zsetを使用する手順には次のものがあります。1。zsetを作成します。 2。メンバーを追加します。 3.メンバースコアを取得します。 4。ランキングを取得します。 5.ランキング範囲のメンバーを取得します。 6.メンバーを削除します。 7.要素の数を取得します。 8。スコア範囲のメンバーの数を取得します。

Redisのソースコードを読み取る方法 Redisのソースコードを読み取る方法 Apr 10, 2025 pm 08:27 PM

Redisソースコードを理解する最良の方法は、段階的に進むことです。Redisの基本に精通してください。開始点として特定のモジュールまたは機能を選択します。モジュールまたは機能のエントリポイントから始めて、行ごとにコードを表示します。関数コールチェーンを介してコードを表示します。 Redisが使用する基礎となるデータ構造に精通してください。 Redisが使用するアルゴリズムを特定します。

Redisコマンドの使用方法 Redisコマンドの使用方法 Apr 10, 2025 pm 08:45 PM

Redis指令を使用するには、次の手順が必要です。Redisクライアントを開きます。コマンド（動詞キー値）を入力します。必要なパラメーターを提供します（指示ごとに異なります）。 Enterを押してコマンドを実行します。 Redisは、操作の結果を示す応答を返します（通常はOKまたは-ERR）。

See all articles