python爬蟲執行緒和進程的使用（附程式碼）

這篇文章帶給大家的內容是關於python爬蟲線程和進程的使用（附程式碼），有一定的參考價值，有需要的朋友可以參考一下，希望對你有幫助。

進程

使用

• 匯入類別庫

import multiprocessing

• #建立進程

p1 = multiprocessing.Process(target=test1)

Process參數：group=None,target=None, name=None, args=(), kwargs={})

• #全域變數

import time, os
import multiprocessing

nums = [11, 22, 33]
def test():
    nums.append(44)
    print('在进程1中nums=%s' % str(nums),id(nums))
    time.sleep(3)
def test2():
    print('在进程2中nums=%s' % str(nums),id(nums))
def main():
    print('----in 主进程 pid=%d----父进程pid=%d----' % (os.getpid(), os.getppid()))
    p = multiprocessing.Process(target=test)
    p.start()

    p2 = multiprocessing.Process(target=test2)
    p2.start()   
     # test()    
     # test2()
     if __name__ == '__main__':
    main()

進程間全域變數不共享，因為行程是複製出來的

執行緒

使用

• 匯入類別庫

import threading

• 建立執行緒

t1 = threading.Thread(target=test1,args=(1000000,))

Thread參數：group=None,target= None, name=None,args=(), kwargs=None, *, daemon=None

• 全域變數

import time,threading

g_num = 0
mutex = threading.Lock()
def test1(num):    
global g_num    
# mutex.acquire()     
    for i in range(num):
        mutex.acquire()
        g_num += 1
        mutex.release()    
        # mutex.release()
    print('-------in test1 g_num=%d-----' % g_num)
def test2(num):    
global g_num    
# mutex.acquire()     
    for i in range(num):
        mutex.acquire()
        g_num += 1
        mutex.release()    
        # mutex.release()
    print('-------in test2 g_num=%d-----' % g_num)
def main():
    t1 = threading.Thread(target=test1,args=(1000000,))
    t2 = threading.Thread(target=test2,args=(1000000,))
    t1.start()
    t2.start()
    time.sleep(3)
    print('-------------in main Thread g_num = %d----' % g_num)
 if __name__ == '__main__':
    main()

臨界區，在同一時間只有一個程式進入程式碼區塊執行，一般括住改變的地方

如果其他執行緒呼叫acquire，當前執行緒則進入等待

threading.RLock() 遞歸鎖threading.Condition信號量或條件鎖定

• 生產者消費者模式

#生產者消費者模式是執行緒間通訊的一種應用

在使用資料結構的時候確定是否是線程安全，Queue本身是線程安全的，列表list([])、字典dic({})都不是線程安全的

def set_value(q):
    index = 0    
    while True:
        q.put(index)
        index += 1
        q.put(index)
        index += 1
        time.sleep(2)
def get_value(q):    
while True:
        print('消费者获取数据：',q.get())   #若队列为空就sleep休眠，直到队列有数据def main():
    q = Queue(4)
    t1 = threading.Thread(target=set_value,args=[q])
    t2 = threading.Thread(target=get_value,args=[q])
    t1.start()
    t2.start()

以上是python爬蟲執行緒和進程的使用（附程式碼）的詳細內容。更多資訊請關注PHP中文網其他相關文章！