


Golang dan RabbitMQ merealisasikan reka bentuk dan pelaksanaan sistem pemprosesan data berskala besar yang dipacu peristiwa
Golang dan RabbitMQ melaksanakan reka bentuk dan pelaksanaan sistem pemprosesan data berskala besar dipacu peristiwa
Kata Pengantar:
Dengan data besar kedatangan zaman, pemprosesan sejumlah besar data telah menjadi cabaran yang dihadapi oleh banyak perusahaan. Untuk memproses data ini dengan cekap, selalunya perlu menggunakan seni bina dipacu peristiwa untuk membina sistem pemprosesan data. Artikel ini memperkenalkan cara menggunakan Golang dan RabbitMQ untuk mereka bentuk dan melaksanakan sistem pemprosesan data berskala besar dipacu peristiwa dan menyediakan contoh kod khusus.
1. Analisis keperluan sistem
Katakan kita perlu membina sistem pemprosesan log masa nyata yang boleh menerima sejumlah besar data log dan melaksanakan pemprosesan dan analisis masa nyata. Untuk memenuhi permintaan ini, kami boleh membahagikan sistem kepada modul berikut:
- Modul pengumpulan data: bertanggungjawab untuk mengumpul data daripada setiap sumber log dan menghantarnya ke baris gilir mesej.
- Modul pemprosesan data: Dapatkan data daripada baris gilir mesej dan lakukan pemprosesan dan analisis masa nyata.
- Modul storan data: Simpan data yang diproses dalam pangkalan data untuk pertanyaan dan analisis seterusnya.
2. Reka bentuk sistem
- Modul pengumpulan data
Modul pengumpulan data ditulis dalam Golang, dan melalui tugas atau pemantauan yang dijadualkan mekanisme, daripada Dapatkan data daripada setiap sumber log dan hantar ke baris gilir mesej RabbitMQ. Berikut ialah kod contoh mudah:
package main import ( "log" "time" "github.com/streadway/amqp" ) func main() { // 连接RabbitMQ conn, err := amqp.Dial("amqp://guest:guest@localhost:5672/") if err != nil { log.Fatalf("Failed to connect to RabbitMQ: %s", err) } defer conn.Close() // 创建一个通道 ch, err := conn.Channel() if err != nil { log.Fatalf("Failed to open a channel: %s", err) } defer ch.Close() // 声明一个队列 q, err := ch.QueueDeclare( "logs_queue", // 队列名称 false, // 是否持久化 false, // 是否自动删除非持久化的队列 false, // 是否具有排他性 false, // 是否等待服务器确认 nil, // 额外参数 ) if err != nil { log.Fatalf("Failed to declare a queue: %s", err) } // 模拟日志数据 logData := []string{"log1", "log2", "log3"} // 将日志数据发送到队列中 for _, data := range logData { err = ch.Publish( "", // 交换器名称,使用默认交换器 q.Name, // 队列名称 false, // 是否立即发送 false, // 是否等待服务器确认 amqp.Publishing{ ContentType: "text/plain", Body: []byte(data), }) if err != nil { log.Fatalf("Failed to publish a message: %s", err) } log.Printf("Sent %s", data) time.Sleep(1 * time.Second) } log.Println("Finished sending log data") }
- Modul pemprosesan data
Modul pemprosesan data juga ditulis dalam Golang, dengan melanggan data dalam mesej RabbitMQ baris gilir, dalam masa nyata Proses dan analisis. Berikut ialah kod contoh mudah:
package main import ( "log" "github.com/streadway/amqp" ) func main() { // 连接RabbitMQ conn, err := amqp.Dial("amqp://guest:guest@localhost:5672/") if err != nil { log.Fatalf("Failed to connect to RabbitMQ: %s", err) } defer conn.Close() // 创建一个通道 ch, err := conn.Channel() if err != nil { log.Fatalf("Failed to open a channel: %s", err) } defer ch.Close() // 声明一个队列 q, err := ch.QueueDeclare( "logs_queue", // 队列名称 false, // 是否持久化 false, // 是否自动删除非持久化的队列 false, // 是否具有排他性 false, // 是否等待服务器确认 nil, // 额外参数 ) if err != nil { log.Fatalf("Failed to declare a queue: %s", err) } // 消费队列中的数据 msgs, err := ch.Consume( q.Name, // 队列名称 "", // 消费者标识符,由RabbitMQ自动生成 true, // 是否自动应答 false, // 是否具有每个消息的排他性 false, // 是否阻塞直到有消息返回 false, // 是否等待服务器确认 nil, // 额外参数 ) if err != nil { log.Fatalf("Failed to register a consumer: %s", err) } // 消费消息 forever := make(chan bool) go func() { for d := range msgs { log.Printf("Received a message: %s", d.Body) } }() log.Println("Waiting for log data...") <-forever }
- Modul Penyimpanan Data
Modul penyimpanan data boleh menggunakan mana-mana pangkalan data yang sesuai untuk menyimpan data yang diproses. Di sini, kami menggunakan MySQL sebagai enjin penyimpanan data. Berikut ialah kod contoh mudah:
package main import ( "database/sql" "log" _ "github.com/go-sql-driver/mysql" ) func main() { // 连接MySQL db, err := sql.Open("mysql", "username:password@tcp(localhost:3306)/database") if err != nil { log.Fatalf("Failed to connect to MySQL: %s", err) } defer db.Close() // 创建日志数据表 _, err = db.Exec("CREATE TABLE IF NOT EXISTS logs (id INT AUTO_INCREMENT PRIMARY KEY, message TEXT)") if err != nil { log.Fatalf("Failed to create table: %s", err) } // 模拟处理后的数据 processedData := []string{"processed log1", "processed log2", "processed log3"} // 将处理后的数据存储到数据库中 for _, data := range processedData { _, err = db.Exec("INSERT INTO logs (message) VALUES (?)", data) if err != nil { log.Fatalf("Failed to insert data into table: %s", err) } log.Printf("Inserted %s", data) } log.Println("Finished storing processed data") }
3 Pelaksanaan dan operasi sistem
- Pasang RabbitMQ dan MySQL, dan pastikan perkhidmatan tersebut. berjalan seperti biasa.
- Kompil dan jalankan modul pengumpulan data, modul pemprosesan data dan modul storan data masing-masing, memastikan semuanya berjalan dengan teratur.
- Modul pengumpulan data akan mensimulasikan penjanaan beberapa data log dan kemudian menghantarnya ke baris gilir mesej RabbitMQ.
- Modul pemprosesan data akan melanggan data daripada baris gilir mesej RabbitMQ dan memproses serta menganalisisnya dalam masa nyata.
- Modul penyimpanan data akan menyimpan data yang diproses ke dalam pangkalan data MySQL.
Ringkasan:
Dengan menggunakan Golang dan RabbitMQ, kami boleh mereka bentuk dan melaksanakan sistem pemprosesan data berskala besar yang dipacu peristiwa dengan mudah. Mekanisme serentak Golang dan prestasi cekap, serta keupayaan pemesejan RabbitMQ yang berkuasa, memberikan kami penyelesaian yang boleh dipercayai dan cekap. Saya harap artikel ini akan membantu anda memahami cara menggunakan Golang dan RabbitMQ untuk membina sistem pemprosesan data berskala besar.
Atas ialah kandungan terperinci Golang dan RabbitMQ merealisasikan reka bentuk dan pelaksanaan sistem pemprosesan data berskala besar yang dipacu peristiwa. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Alat AI Hot

Undresser.AI Undress
Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover
Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool
Gambar buka pakaian secara percuma

Clothoff.io
Penyingkiran pakaian AI

Video Face Swap
Tukar muka dalam mana-mana video dengan mudah menggunakan alat tukar muka AI percuma kami!

Artikel Panas

Alat panas

Notepad++7.3.1
Editor kod yang mudah digunakan dan percuma

SublimeText3 versi Cina
Versi Cina, sangat mudah digunakan

Hantar Studio 13.0.1
Persekitaran pembangunan bersepadu PHP yang berkuasa

Dreamweaver CS6
Alat pembangunan web visual

SublimeText3 versi Mac
Perisian penyuntingan kod peringkat Tuhan (SublimeText3)

Topik panas

Membaca dan menulis fail dengan selamat dalam Go adalah penting. Garis panduan termasuk: Menyemak kebenaran fail Menutup fail menggunakan tangguh Mengesahkan laluan fail Menggunakan tamat masa konteks Mengikuti garis panduan ini memastikan keselamatan data anda dan keteguhan aplikasi anda.

Bagaimana untuk mengkonfigurasi pengumpulan sambungan untuk sambungan pangkalan data Go? Gunakan jenis DB dalam pakej pangkalan data/sql untuk membuat sambungan pangkalan data untuk mengawal bilangan maksimum sambungan serentak;

Perbezaan antara rangka kerja GoLang dan rangka kerja Go ditunjukkan dalam seni bina dalaman dan ciri luaran. Rangka kerja GoLang adalah berdasarkan perpustakaan standard Go dan meluaskan fungsinya, manakala rangka kerja Go terdiri daripada perpustakaan bebas untuk mencapai tujuan tertentu. Rangka kerja GoLang lebih fleksibel dan rangka kerja Go lebih mudah digunakan. Rangka kerja GoLang mempunyai sedikit kelebihan dalam prestasi dan rangka kerja Go lebih berskala. Kes: gin-gonic (rangka Go) digunakan untuk membina REST API, manakala Echo (rangka kerja GoLang) digunakan untuk membina aplikasi web.

Data JSON boleh disimpan ke dalam pangkalan data MySQL dengan menggunakan perpustakaan gjson atau fungsi json.Unmarshal. Pustaka gjson menyediakan kaedah kemudahan untuk menghuraikan medan JSON dan fungsi json.Unmarshal memerlukan penuding jenis sasaran kepada data JSON unmarshal. Kedua-dua kaedah memerlukan penyediaan pernyataan SQL dan melaksanakan operasi sisipan untuk mengekalkan data ke dalam pangkalan data.

Fungsi FindStringSubmatch mencari subrentetan pertama dipadankan dengan ungkapan biasa: fungsi mengembalikan hirisan yang mengandungi subrentetan yang sepadan, dengan elemen pertama ialah keseluruhan rentetan dipadankan dan elemen berikutnya ialah subrentetan individu. Contoh kod: regexp.FindStringSubmatch(teks,corak) mengembalikan sekeping subrentetan yang sepadan. Kes praktikal: Ia boleh digunakan untuk memadankan nama domain dalam alamat e-mel, contohnya: e-mel:="user@example.com", pattern:=@([^\s]+)$ untuk mendapatkan padanan nama domain [1].

Laluan Pembelajaran Backend: Perjalanan Eksplorasi dari Front-End ke Back-End sebagai pemula back-end yang berubah dari pembangunan front-end, anda sudah mempunyai asas Nodejs, ...

Menggunakan zon waktu yang dipratentukan dalam Go termasuk langkah berikut: Import pakej "masa". Muatkan zon waktu tertentu melalui fungsi LoadLocation. Gunakan zon waktu yang dimuatkan dalam operasi seperti mencipta objek Masa, menghuraikan rentetan masa dan melaksanakan penukaran tarikh dan masa. Bandingkan tarikh menggunakan zon waktu yang berbeza untuk menggambarkan aplikasi ciri zon waktu yang telah ditetapkan.

Soalan Lazim pembangunan rangka kerja Go: Pemilihan rangka kerja: Bergantung pada keperluan aplikasi dan pilihan pembangun, seperti Gin (API), Echo (boleh berskala), Beego (ORM), Iris (prestasi). Pemasangan dan penggunaan: Gunakan arahan gomod untuk memasang, mengimport rangka kerja dan menggunakannya. Interaksi pangkalan data: Gunakan perpustakaan ORM, seperti gorm, untuk mewujudkan sambungan dan operasi pangkalan data. Pengesahan dan kebenaran: Gunakan pengurusan sesi dan perisian tengah pengesahan seperti gin-contrib/sesi. Kes praktikal: Gunakan rangka kerja Gin untuk membina API blog ringkas yang menyediakan POST, GET dan fungsi lain.
