Pika: Tambah senario yang berkenaan untuk storan Redis berkapasiti besar

Pengenalan

Kami memperkenalkan kelahiran pika, ciri-ciri pika, teras pika dan penggunaan pika dalam "Large Capacity Redis Storage - Everything About Pika". Artikel itu menganalisis fail penting dalam logik penyegerakan pika dengan terperinci: kaedah penyimpanan data dan prinsip pelaksanaan "write2file", yang sangat berbaloi untuk dibaca!

pika

pika ialah storan seperti Redis berkapasiti besar yang dibangunkan bersama oleh Jabatan Platform Web 360 DBA dan pasukan infrastruktur Kemunculan pika bukan untuk menggantikan Redis, tetapi untuk melengkapkan senario Redis. Pika berusaha untuk menyelesaikan masalah Redis dalam senario berkapasiti besar melalui storan berterusan pada premis yang serasi sepenuhnya dengan protokol Redis dan mewarisi reka bentuk operasi dan penyelenggaraan yang mudah bagi Redis, seperti masa pemulihan yang perlahan, kos tinggi bagi tuan-hamba. penyegerakan, benang tunggal yang agak rapuh, dan kapasiti galas beban Data adalah terhad, kos memori tinggi, dsb.

binlog prinsip replikasi tuan-hamba pika

Fail berkaitan Binlog mengandungi dua bahagian: manifes dan write2file merekodkan maklumat meta log, termasuk nombor fail log semasa dan fail log semasa write2file+num merekodkan semua arahan dan parameter tulis redis yang diterima oleh pika.

Format fail

Format fail nyata:

Log offset (8 bait)|con_offset (8 bait, tidak digunakan)|Bilangan elemen (4 bait, tidak digunakan)|Log nombor fail (4 bait).

Format fail binlog:

Saiz tetap fail Binlog ialah 100MB Setiap fail Binlog terdiri daripada berbilang Blok Saiz setiap Blok ditetapkan pada 64KB Setiap arahan tulis redis. Rekod boleh diedarkan dalam berbilang Blok, tetapi ia hanya akan diedarkan dalam satu fail Binlog, jadi fail Binlog mungkin lebih besar daripada 100MB.

Format rekod: Pengepala|Cmd

Tajuk: Panjang Rekod (3 bait) |.

Cmd: sebahagian atau semua arahan redis, bergantung pada sama ada ruang yang tinggal pada Blok semasa boleh menyimpan Rekod.

Kelas pelaksanaan

Kelas asas

Versi: Kelas maklumat meta, dipetakan melalui mmap dan fail manifes.

Binlog: Kelas log, dipetakan melalui fail mmap dan write2file.

PikaBinlogSenderThread: Kelas penggunaan log, membaca kandungan fail log secara berurutan dan menggunakan log.

Operasi asas

Construct Binlog

//file_size boleh ditentukan dalam fail konfigurasi, lalai ialah 100MB

Binlog::Binlog(const std::string& binlog_path, const int file_size)

1.1 Buat direktori fail binlog.

1.2 Semak sama ada fail manifes dalam direktori log wujud Jika ia tidak wujud, buat yang baharu.

1.3 Mulakan kelas Versi mengikut fail manifes.

1.4 Cari fail log yang sepadan mengikut nombor fail dalam manifes, cari kedudukan tambah fail mengikut pro_offset, mulakan penuding log, rekod panjang kandungan log dan bilangan blok Blok.

Kemas kini status pengeluaran log semasa

//pro_num: Nombor fail log

//pro_offset: fail log offset

// Digunakan untuk mengemas kini maklumat binlog yang sepadan dengan contoh hamba apabila penyegerakan penuh diperlukan

Status Binlog::SetProducerStatus(uint32_t pro_num, uint64_t pro_offset)

2.1 Padam write2file0.

2.2 Padam write2file+pro_num.

2.3 Bina fail write2file+pro_num baharu, isikan ruang pro_offset, mulakan versi->pro_num kepada pro_num, versi->pro_offset kepada pro_offset dan muat semulanya ke fail manifes.

2.4 Mulakan saiz fail semasa dan block_offset.

Kemas kini status pengeluaran log semasa

//nombor fail: nombor log semasa

//pro_offset: offset log semasa

Status Binlog::GetProducerStatus(uint32_t* filenum, uint64_t* pro_offset)

3.1 Baca pro_num dan pro_offset dalam versi dan kembalikan.

Log pengeluaran

//Put->Produce->EmitPhysicalRecord

Status Binlog::Put(const std::string &item)

4.1 Semak sama ada fail log semasa memenuhi syarat pemotongan, dan jika ya, potong.

4.1.1 pro_num meningkat sebanyak 1 dan memulakan fail log baharu, version->pro_num=pro_num, version->pro_offset = 0, binlog->filesize = 0, binlog->block_offset = 0.

4.1.2 Jika baki saiz blok semasa ialah

4.1.3 Produce ialah gelung, yang memastikan bahawa apabila saiz item melebihi kBlockSize, berbilang EmitPhysicalRecord boleh dilakukan untuk melengkapkan semua data item yang jatuh ke dalam fail binlog Syarat untuk gelung keluar seperti biasa dibiarkan==0.

4.1.3.1 Jika dibiarkan

4.1.3.2 Jika dibiarkan > avail, ini bermakna berbilang Blok diperlukan untuk menyimpan item, kemudian Type=kFirstType buat kali pertama dan EmitPhysicalRecord dipanggil berbilang kali.

4.1.3.3 Jika dibiarkan > memanfaatkan, dan ini bukan kali pertama untuk EmitPhysicalRecord, kemudian Taip=kMiddleType, hubungi EmitPhysicalRecord beberapa kali.

4.1.4PancarkanRekod Fizikal.

4.1.4.1 Splice RecordHeader (panjang 3-bait + masa 4-bait + Jenis 1-bait), tulis data dan kemas kini block_offset dan pro_offset.

Log Penggunaan

// calar: Hasil penggunaan mengembalikan cmd redis yang lengkap

//Consume->ReadPhysicalRecord, ReadPhysicalRecord membaca Rekod lengkap setiap kali, berbilang Rekod membentuk cmd redis lengkap

Status PikaBinlogSenderThread::Consume(std::string &calar)

5.1Consume ialah gelung, yang boleh memanggil ReadPhysicalRecord beberapa kali Syarat untuk keluar gelung ialah read_type==kFullType atau record_type==kLastType.

5.1.1 Jika kBlockSize-last_record_offset_ <= kHeaderSize yang dibaca bermakna hujung Blok telah dibaca dan ia diisi dengan data, langkau ia.

5.1.2 Baca data, kemas kini last_record_offset_, con_offset.

Atas ialah kandungan terperinci Pika: Tambah senario yang berkenaan untuk storan Redis berkapasiti besar. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!