Go でレート制限と Redis を使用した URL Shortener を構築する-Golang-php.cn

Bitly や TinyURL などの URL 短縮ツールは非常に人気のあるツールですが、その構築に何が必要なのか疑問に思ったことはありますか?このブログでは、レート制限を備えたカスタム URL 短縮ツールと、データストレージと IP 追跡用の Redis データベースを Go で構築した方法について詳しく説明します。コア機能、技術スタック、その過程で遭遇した課題について説明します。

プロジェクト概要

この URL 短縮アプリケーションは、ユーザーから長い URL を受け入れ、より短い一意のリンクを生成し、ユーザーが必要に応じて短縮されたエイリアスをカスタマイズできるようにします。サーバーは、短縮 URL を使用する訪問者を元の長い URL にリダイレクトします。

主なコンポーネントの概要を次に示します。

WebServer: ファイバーフレームワークを使用してルーティングとリクエストを処理します。
レートリミッター: ユーザーリクエストを管理して悪用を防止し、特定の時間枠内に IP が実行できるリクエストの数を制限します。
URL バリデータ: URL が有効な形式であり、保存できる状態であることを確認します。
URL ジェネレーター: 長い URL ごとに一意の短いリンクを生成するか、ユーザーが提供するカスタムエイリアスを使用します。
Redis データベース: URL マッピングと IP レート制限を保存します。

これらの機能を念頭に置いて、実装を詳しく見てみましょう。

Building a URL Shortener with Rate Limiting and Redis in Go

技術スタック

Go: 高速かつ効率的な Go は、高性能 URL 短縮ツールの構築に最適です。
Fiber: 軽量のパフォーマンスとシンプルさのために選ばれた Go の Web フレームワーク。
Redis: URL マッピングと IP クォータを保存するために使用されるメモリ内データベースで、速度と永続性が得られます。
Docker: コンテナーを使用すると、Redis のセットアップが簡単になり、アプリケーションの移植性と拡張性が確保されます。

プロジェクトの構造

コアファイルとフォルダーは次のように構成されています:

.
├── main.go               # Entry point for the application
├── routes/
│   ├── shorten.go        # Handles URL shortening and redirects
├── database/
│   ├── redis.go          # Database connection logic
├── helpers/
│   ├── helper.go         # Utility functions for URL validation
├── .env                  # Environment variables
├── docker-compose.yml    # Docker setup for Redis

ログイン後にコピー

アプリケーションのセットアップ

1. メインサーバーロジック (main.go)

メインのアプリケーションファイルは、URL の短縮と解決のためのルートを設定します。コードスニペットは次のとおりです:

package main

import (
    "log"
    "os"

    "github.com/gofiber/fiber/v2"
    "github.com/gofiber/fiber/v2/middleware/logger"
    "github.com/joho/godotenv"

    "github.com/ravikisha/url-shortener/routes"
)

func setupRoutes(app *fiber.App) {
    app.Get("/:url", routes.ResolveURL)
    app.Post("/api/v1", routes.ShortenURL)
}

func main() {
    err := godotenv.Load()
    if err != nil {
        log.Fatal("Error loading .env file")
    }

    app := fiber.New()
    app.Use(logger.New())

    setupRoutes(app)

    log.Fatal(app.Listen(os.Getenv("APP_PORT")))
}

ログイン後にコピー

2. レート制限と URL 短縮 (shorten.go)

悪用を防ぐために、私たちは Redis を使用して各 IP アドレスを追跡し、許可されるリクエストの数を制限します。流れは次のとおりです:

レート制限の確認: リクエストが行われると、レートリミッターが Redis をチェックして、IP が行ったリクエストの数を確認します。
URL を処理: レート制限を超えていない場合、サーバーは URL を検証し、URL を短縮します。
エイリアスの生成または使用: ユーザーがカスタムエイリアスを提供した場合、それを保存します。それ以外の場合は、一意の ID が生成されます。

.
├── main.go               # Entry point for the application
├── routes/
│   ├── shorten.go        # Handles URL shortening and redirects
├── database/
│   ├── redis.go          # Database connection logic
├── helpers/
│   ├── helper.go         # Utility functions for URL validation
├── .env                  # Environment variables
├── docker-compose.yml    # Docker setup for Redis

ログイン後にコピー

3. Redis データベースのセットアップ (redis.go)

redis.go では、Redis に接続するためのヘルパー関数を定義します。この接続は、短い URL を保存し、レート制限を適用するために、さまざまなコンポーネント間で使用されます。 Redis の構成方法の簡単な例を次に示します。

package main

import (
    "log"
    "os"

    "github.com/gofiber/fiber/v2"
    "github.com/gofiber/fiber/v2/middleware/logger"
    "github.com/joho/godotenv"

    "github.com/ravikisha/url-shortener/routes"
)

func setupRoutes(app *fiber.App) {
    app.Get("/:url", routes.ResolveURL)
    app.Post("/api/v1", routes.ShortenURL)
}

func main() {
    err := godotenv.Load()
    if err != nil {
        log.Fatal("Error loading .env file")
    }

    app := fiber.New()
    app.Use(logger.New())

    setupRoutes(app)

    log.Fatal(app.Listen(os.Getenv("APP_PORT")))
}

ログイン後にコピー

ドッカーのセットアップ

Redis のセットアップを簡素化するために、Docker を使用しました。これにより、アプリケーションが移植可能になり、デプロイが容易になります。

package routes

import (
    "os"
    "strconv"
    "time"

    "github.com/asaskevich/govalidator"
    "github.com/go-redis/redis/v8"
    "github.com/gofiber/fiber/v2"

    "github.com/ravikisha/url-shortener/database"
    "github.com/ravikisha/url-shortener/helpers"
)

// Define structs for the request and response data
type request struct {
    URL         string        `json:"url"`
    CustomShort string        `json:"short"`
    Expiry      time.Duration `json:"expiry"`
}

type response struct {
    URL             string        `json:"url"`
    CustomShort     string        `json:"short"`
    Expiry          time.Duration `json:"expiry"`
    XRateRemaining  int           `json:"x-rate-remaining"`
    XRateLimitReset time.Duration `json:"x-rate-limit-reset"`
}

ログイン後にコピー

アプリケーションの実行

GitHub からリポジトリのクローンを作成します: URLShortener

Redis の Docker コンテナを実行します:

package database

import (
    "context"
    "github.com/go-redis/redis/v8"
)

var Ctx = context.Background()

func NewClient(dbNum int) *redis.Client {
    rdb := redis.NewClient(&redis.Options{
        Addr:     "localhost:6379",
        Password: "",
        DB:       dbNum,
    })
    return rdb
}

ログイン後にコピー

.env で環境変数を設定します:

version: '3'
services:
  redis:
    image: "redis:alpine"
    ports:
      - "6379:6379"

ログイン後にコピー

Go アプリケーションを実行します:
```
docker-compose up -d
```
ログイン後にコピー

これでアプリケーションが稼働し、URL の短縮を開始できるようになりました!

URL短縮機能のテスト

URLの短縮

次の JSON ペイロードを使用して POST リクエストを /api/v1 に送信します:

DB_ADDR="localhost:6379"
DB_PASSWORD=""
APP_PORT=":6767"
DOMAIN="localhost:6767"
APP_QUOTA=10

ログイン後にコピー

短縮URLへのアクセス

生成された短縮 URL (http://localhost:6767/exmpl など) を使用して、https://example.com にリダイレクトします。

重要な教訓

レート制限に Redis を使用する: Redis は信じられないほど高速で、URL ストレージとレート制限の両方に Redis を使用すると効率的かつ効果的でした。
Fiber を使用した REST API の構築: Fiber のシンプルさとパフォーマンスは、Go での API の構築に適しています。
エラー処理と検証: ユーザーフレンドリーなエクスペリエンスを提供するには、堅牢なエラー処理と URL 検証を確保することが不可欠でした。