Beego でのログ収集と処理に Flume を使用する-Golang-php.cn

Beego でのログ収集と処理に Flume を使用する

王林

リリース： 2023-06-22 21:33:08

オリジナル

624 人が閲覧しました

インターネットアプリケーションの規模と複雑さが増大し続けるにつれて、ログの管理と分析が非常に重要な問題となっています。分散型で信頼性が高く、可用性の高いログ収集および処理システムとして Flume は特に適しています。 -スケールインターネットアプリケーション。

この記事では、Beego フレームワークで Flume を使用してログの収集と処理を行う方法を主に紹介しますので、ログ管理が必要な開発者の参考になれば幸いです。

1. Beego フレームワークとは

Beego は Go 言語で開発された Web フレームワークで、高速、柔軟、シンプル、拡張が容易です。 MVC アーキテクチャを採用し、ORM、セッション、キャッシュなどの共通コンポーネントが付属し、ホットロードをサポートするため、開発効率が大幅に向上します。

2. Flume とは

Flume は、データの収集、集約、移動のための分散システムです。 Flume は主に、Web サーバーのログやトランザクションログなどの生成されたデータを収集し、収集したデータを処理と分析のために Hadoop クラスターに均一に送信するために使用されます。

Flume は、ソース、チャネル、シンクなどのデータ収集用の一連のコンポーネントを提供します。ソースはデータソースからデータを取得するために使用され、チャネルは主にデータのキャッシュと処理を実装し、シンクはターゲットシステムへのデータの保存を担当します。

3. Beego でのログ管理に Flume を使用する

Beego では、推奨ライブラリ beego/toolbox を導入することでログの収集と送信を実現できます。具体的な手順は次のとおりです。

beego/toolbox のインストール

ターミナルに次のコマンドを入力して beego/toolbox をインストールします:

go get github.com/astaxie/beego/toolbox

ログイン後にコピー

Flume 関連の構成ファイルを作成する

次の内容を含む、ローカルコンピューター上に flume.conf という名前のファイルを作成します。

a1.sources = r1
a1.channels = c1
a1.sinks = k1

a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /var/log/nginx/access.log

a1.channels.c1.type = memory

a1.sinks.k1.type = avro
a1.sinks.k1.hostname = localhost
a1.sinks.k1.port = 2004

a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

ログイン後にコピー

この構成ファイルは、3 つの主要コンポーネント、つまり Source 、チャネルとシンク。その中には次のものが含まれます:

Source: exec タイプを使用して、tail コマンドを通じて Nginx アクセスログをリアルタイムで取得します;
Channel: メモリタイプを使用してデータをメモリにキャッシュします。
Sink: avro タイプを使用して、ネットワーク経由で Flume エージェントプロセスにデータを送信します。

Beego のログ収集と送信コードの書き込み

次のコードを Beego プロジェクトの main.go ファイルに追加します:

package main

import (
  "github.com/astaxie/beego"
  "github.com/astaxie/beego/logs"
  "github.com/astaxie/beego/toolbox"
)

func main() {
  beego.SetLogger(logs.AdapterFile, `{"filename":"example.log","level":6,"maxlines":0,"maxsize":0,"daily":true,"maxdays":10}`)
  toolbox.AddTask("log", &toolbox.Task{
    TaskFunc: func() error {
      logs.GetBeeLogger().Flush()
      return nil
    },
    CronExpr: "0 0 */1 * * *",
   })
  toolbox.StartTask()
  defer toolbox.StopTask()
  beego.Run()
}

ログイン後にコピー

コード内:

beego.SetLogger メソッドを使用してログ出力をファイルに設定し、ログ関連の構成を定義します;
ツールボックスライブラリの AddTask メソッドを使用します名前を定義します「ログ」のスケジュールされたタスクです;
Cron 式を使用して、スケジュールされたタスクの実行頻度を設定します;
toolbox.StartTask メソッドを使用して、スケジュールされたタスクを開始します。アプリケーションがスケジュールされたタスクを終了するときに、defer ステートメントを使用して停止します。

4. 結論

この記事の導入を通じて、Beego フレームワークでのログ収集と処理に Flume を使用する方法について学びました。インターネットアプリケーションの継続的な開発とビッグデータテクノロジの継続的な成熟に伴い、ログ処理の重要性がますます顕著になっています。 Flume などの分散システムを使用することで、ログの収集、送信、処理がより効率的になり、アプリケーションの管理とパフォーマンスの最適化サポートが向上します。

以上がBeego でのログ収集と処理に Flume を使用するの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。