Bagaimana untuk mencapai pelaksanaan selari \'cat | perintah zgrep\' menggunakan subproses dalam Python?

Pelaksanaan Selari bagi Subproses 'kucing' dalam Python

Coretan kod di bawah menunjukkan pelaksanaan berurutan berbilang 'cat | perintah zgrep' pada pelayan jauh, mengumpul outputnya secara individu.

<code class="python">import multiprocessing as mp

class MainProcessor(mp.Process):
    def __init__(self, peaks_array):
        super(MainProcessor, self).__init__()
        self.peaks_array = peaks_array

    def run(self):
        for peak_arr in self.peaks_array:
            peak_processor = PeakProcessor(peak_arr)
            peak_processor.start()

class PeakProcessor(mp.Process):
    def __init__(self, peak_arr):
        super(PeakProcessor, self).__init__()
        self.peak_arr = peak_arr

    def run(self):
        command = 'ssh remote_host cat files_to_process | zgrep --mmap "regex" '
        log_lines = (subprocess.check_output(command, shell=True)).split('\n')
        process_data(log_lines)</code>

Walau bagaimanapun, pendekatan ini menghasilkan pelaksanaan berurutan bagi arahan 'ssh ... cat ...'. Isu ini boleh diselesaikan dengan mengubah suai kod untuk menjalankan subproses secara selari sambil masih mengumpul outputnya secara individu.

Penyelesaian

Untuk mencapai pelaksanaan selari subproses dalam Python, anda boleh menggunakan kelas 'Popen' daripada modul 'subproses'. Berikut ialah kod yang diubah suai:

<code class="python">from subprocess import Popen
import multiprocessing as mp

class MainProcessor(mp.Process):
    def __init__(self, peaks_array):
        super(MainProcessor, self).__init__()
        self.peaks_array = peaks_array

    def run(self):
        processes = []
        for peak_arr in self.peaks_array:
            command = 'ssh remote_host cat files_to_process | zgrep --mmap "regex" '
            process = Popen(command, shell=True, stdout=PIPE)
            processes.append(process)

        for process in processes:
            log_lines = process.communicate()[0].split('\n')
            process_data(log_lines)</code>

Kod ini mencipta berbilang proses 'Popen', setiap satu menjalankan salah satu daripada 'kucing | perintah zgrep'. Kaedah 'communicate()' digunakan untuk mengumpul output daripada setiap proses, yang kemudiannya dihantar ke fungsi 'process_data'.

Nota: Menggunakan kelas 'Popen' secara langsung tidak tidak memerlukan mekanisme threading atau multiprocessing yang jelas untuk mencapai keselarian. Ia mengendalikan penciptaan dan pelaksanaan berbilang subproses secara serentak dalam urutan yang sama.

Atas ialah kandungan terperinci Bagaimana untuk mencapai pelaksanaan selari \'cat | perintah zgrep\' menggunakan subproses dalam Python?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!