redis - Bagaimana untuk membuat cache untuk program dan skrip python ringan?

Question

Saya seorang pemula dalam operasi dan penyelenggaraan Selepas baru-baru ini melakukan pemprosesan mudah log syarikat, saya menambah jumlah tertentu pada senarai, dan kemudian menggunakan antara muka ES untuk menambah data dalam kelompok ke ElasticSearch yang lain, dan kemudian memaparkannya dalam beberapa. cara. Terdapat masalah di sini Jika data dimasukkan, pengecualian berlaku. Contohnya, hos es yang akan dimasukkan ranap, dsb., tetapi tiada masalah dengan sumber data. Ini sepatutnya memindahkan data yang diproses ke cache dan kemudian menghentikan program. (Sumber data adalah kafka. Walaupun program dihentikan, ia masih boleh digunakan selepas dimulakan semula.)
Jadi saya ingin bertanya, untuk program atau skrip python yang agak ringan, bagaimana kita harus menyimpan pengecualian ini apabila ia berlaku? tentang data yang disimpan dahulu?

Answer 1

Apabila es tidak normal, selepas skrip py menangkap pengecualian, anda boleh menggunakan cPickle或者pickle 将处理好的数据序列化后保存到一个文件上(你可以理解成写入一个文件, 不同在于cPickle和pickle untuk terus menulis objek seperti kamus atau senarai ke fail), dan kemudian tunggu es anda pulih dan mulakan semula skrip py , kemudian Skrip ini mula-mula menyemak sama ada fail sementara ini wujud Jika ia wujud dan tidak kosong, data di dalamnya dikeluarkan dan ditulis ke dalam es

.