Kurangkan penggunaan memori apabila melaksanakan transaksi besar

Editor PHP Youzi akan memperkenalkan anda kepada teknik penting hari ini - bagaimana untuk mengurangkan penggunaan memori apabila melaksanakan transaksi besar. Penggunaan memori boleh menjadi masalah serius apabila memproses sejumlah besar data atau menjalankan operasi yang kompleks. Untuk menyelesaikan masalah ini, kita perlu mengambil beberapa langkah pengoptimuman untuk meningkatkan kecekapan dan prestasi kod. Artikel ini akan memperkenalkan anda secara terperinci beberapa kaedah dan teknik untuk mengurangkan penggunaan memori dan membantu anda menggunakan sumber memori dengan lebih cekap apabila memproses transaksi besar.

Kandungan soalan

Saya mengikuti contoh di internet dan menggunakan parameter sqlite berikut untuk meningkatkan kelajuan pertanyaan sisipan:

pragma journal_mode = off;
pragma synchronous = 0;
pragma cache_size = 1000000;
pragma locking_mode = exclusive;
pragma temp_store = memory;

Ini kod saya:

tx, err := db.begin()
if err != nil {
    log.fatal(err)
}
pr, err := tx.prepare("insert into table (p1, p2, p3, p4, p5) values (?, ?, ?, ?, ?)")
if err != nil {
    log.fatal(err)
}
defer pr.close()
for i := 0; i < maxi; i++ {
    for j := 0; j < maxj; j++ {
        ...
        _, err = pr.exec(param1, param2, param3, param4, param5)
        if err != nil {
            log.fatal(err)
        }
    }
}
err = tx.commit()
if err != nil {
    log.fatal(err)
}

Kini pertanyaan berjalan pantas tetapi menggunakan terlalu banyak ram. Kerana data disimpan dalam ram, ia hanya disimpan ke fail pangkalan data pada akhir pelaksanaan.

Saya fikir adalah mungkin untuk menyimpan data ke fail pangkalan data secara berkala, yang akan meningkatkan sedikit masa pelaksanaan tetapi mengurangkan penggunaan memori. Dengan setiap perubahan "i", urus niaga bermula dan apabila semua "j" selesai, urus niaga tamat:

for i := 0; i < maxI; i++ {
    tx, err := db.Begin()
    if err != nil {
        log.Fatal(err)
    }
    pr, err := tx.Prepare("INSERT INTO Table (p1, p2, p3, p4, p5) VALUES (?, ?, ?, ?, ?)")
    if err != nil {
        log.Fatal(err)
    }
    defer pr.Close()
    for j := 0; j < maxJ; j++ {
        ...
        _, err = pr.Exec(param1, param2, param3, param4, param5)
        if err != nil {
            log.Fatal(err)
        }
    }
    err = tx.Commit()
    if err != nil {
        log.Fatal(err)
    }
}

Saya rasa sekarang data harus ditulis ke fail dalam ketulan dan hanya ada satu ketulan data dalam ram.

Tetapi semasa pelaksanaan, data tidak disimpan ke fail, dan ram terus diisi. Iaitu, tiada perbezaan dalam pelaksanaan pilihan kod pertama dan kedua.

Saya rasa apabila "komit" transaksi dipanggil, data harus disimpan ke fail dan ram harus dikosongkan. Tolong beritahu saya apa salah saya.

Penyelesaian

PRAGMAcache_sizeParameter ialah bilangan halaman (biasanya 4k bait setiap halaman).

PRAGMA cache_size = 1000000;Maksimum 4GB RAM akan diperuntukkan kepada cache halaman. Cache halaman diperuntukkan apabila diperlukan, sehingga saiz maksimum, tetapi tidak dikeluarkan sehingga sambungan ditutup.

Memandangkan anda memasukkan sebilangan besar baris, ia akan berakhir pada halaman yang berbeza, jadi anda akhirnya akan menyimpan dalam cache semua halaman yang telah ditulis ke cakera sehingga cache diisi.

Jika anda ingin mengurangkan penggunaan memori, cuma kurangkan nilai kepada 1000 (bersamaan dengan 4 MB), atau padamkan sahaja. Cache lalai ialah 2 MB, yang cukup jika anda hanya memasukkan baris.

Juga ambil perhatian bahawa data akan ditulis ke cakera apabila anda memanggil COMMIT (atau bahkan sebelum melakukan jika tidak ada cache yang mencukupi). Tetapi Sqlite menyimpan salinan dalam cache sekiranya ia diperlukan kemudian untuk mengelakkan membaca semula dari cakera.

Atas ialah kandungan terperinci Kurangkan penggunaan memori apabila melaksanakan transaksi besar. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!