Menghuraikan & Memuatkan Data daripada So DynamoDB dengan Fungsi Lambda

Banyak senario memerlukan anda bekerja dengan data yang diformatkan sebagai JSON, dan anda ingin mengekstrak serta memproses data kemudian menyimpannya ke dalam jadual untuk kegunaan masa hadapan

Dalam artikel ini kita akan membincangkan memuatkan data berformat JSON daripada baldi S3 ke dalam jadual DynamoDB menggunakan fungsi Lambda

Prasyarat

1. Pengguna IAM dengan kebenaran untuk memuat naik objek ke S3
2. Peranan Pelaksanaan Lambda dengan kebenaran untuk S3 & DynamoDB

Seni Bina & Komponen

Seni bina di bawah menunjukkan kami menggunakan 3 perkhidmatan AWS

1. Badi S3
2. Fungsi Lambda
3. Jadual DynamoDB

Penerangan ringkas tentang perkhidmatan di bawah sebagai penyegaran:

• S3 Baldi: Perkhidmatan storan objek dengan perkhidmatan berskala, keselamatan & berprestasi tinggi akan digunakan sebagai perkhidmatan storan kami untuk data
• Fungsi Lambda: Perkhidmatan pengiraan tanpa pelayan yang membolehkan anda menjalankan kod anda tanpa perlu risau tentang infrastruktur, mudah untuk menyediakan dan menyokong banyak bahasa pengaturcaraan, kami akan menggunakannya untuk menjalankan kod kami dan menggunakan logik kami.
• DynamoDB: Pangkalan data NoSQL tanpa pelayan digunakan untuk menyimpan data kami dalam jadual, kami akan menggunakannya untuk menyimpan data yang diproses oleh fungsi Lambda

Aliran

1. Pengguna akan memuat naik fail JSON ke baldi S3 melalui konsol atau CLI yang di sebalik tabir PutObject API
2. Objek berjaya dimuat naik, Acara S3 akan dicetuskan untuk menggunakan fungsi lambda untuk memuatkan & memproses fail
3. Lambda akan memproses data dan memuatkannya ke dalam jadual DynamoDB

Langkah-langkah Pelaksanaan

Kami akan melalui langkah & konfigurasi untuk menggunakan rajah di atas

1- Buat Fungsi Lambda dengan Konfigurasi di bawah

Pengarang dari Scratch
Nama Fungsi: ParserDemo
Masa jalan: Python 3.1x

Biarkan selebihnya sebagai lalai
Selepas Lambda dibuat, anda perlu mengubah suai konfigurasi tamat masa & peranan Pelaksanaan seperti di bawah:

Saya menulis kod python ini untuk melaksanakan logik

import json
import boto3

s3_client = boto3.client('s3')
dynamodb = boto3.resource('dynamodb')

def lambda_handler(event, context):



    bucket_name = event['Records'][0]['s3']['bucket']['name'] # Getting the bucket name from the event triggered by S3
    object_key = event['Records'][0]['s3']['object']['key'] # Getting the Key of the item when the data is uploaded to S3
    print(f"Bucket: {bucket_name}, Key: {object_key}")


    response = s3_client.get_object(
    Bucket=bucket_name,
    Key=object_key
)


    # We will convert the streamed data into bytes
    json_data = response['Body'].read()
    string_formatted = json_data.decode('UTF-8') #Converting data into string

    dict_format_data = json.loads(string_formatted) #Converting Data into Dictionary 


    # Inserting Data Into DynamoDB

    table = dynamodb.Table('DemoTable')
    if isinstance(dict_format_data, list): #check if the file contains single record
        for record in dict_format_data:
            table.put_item(Item=record)

    elif isinstance(dict_format_data, dict): # check if the file contains multiple records 
        table.put_item(Item=data)

    else:  
        raise ValueError("Not Supported Format") # Raise error if nothing matched

2- Cipta baldi S3

Nama Baldi: gunakan nama unik

biarkan selebihnya konfigurasi sebagai lalai

Tambah baldi S3 yang dibuat sebagai pencetus kepada fungsi lambda seperti di bawah:

3- Cipta Jadual dalam DynamoDB dengan konfigurasi di bawah

Nama Jadual: DemoTable
Kunci Pemisahan: UserId
Tetapan Jadual: Disesuaikan
Mod Kapasiti: Diperuntukkan

Untuk Menjimatkan kos konfigurasikan unit kapasiti yang diperuntukkan untuk baca/tulis dengan nilai rendah (1 atau 2 unit)

Sekarang persediaan sudah sedia, anda boleh mengujinya dengan memuat naik fail ke S3, kemudian anda akan menemui item yang dibuat pada jadual DynamoDB dengan rekod yang telah anda muat naik ke dalam fail.

Log CloudWatch untuk Fungsi Lambda

Item DynamoDB

Saya harap anda mendapati ini menarik dan sila beritahu saya jika anda mempunyai sebarang komen.

Rujukan

API S3
DynamoDB API
amalan boto3 untuk perkhidmatan AWS

Atas ialah kandungan terperinci Menghuraikan & Memuatkan Data daripada So DynamoDB dengan Fungsi Lambda. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!