Une introduction au multi-threading en Python

Le multithreading peut être simplement compris comme l'exécution de plusieurs tâches en même temps. Cet article partagera avec vous des exemples détaillés de didacticiels Python multi-threading pour débutants. Les amis intéressés peuvent apprendre ensemble

1.1 Qu'est-ce que le multi-threading

Le multithreading peut simplement être compris comme l'exécution de plusieurs tâches en même temps.

Le multi-processus et le multi-threading peuvent effectuer plusieurs tâches, et les threads font partie du processus. La caractéristique des threads est qu'ils peuvent partager de la mémoire et des variables entre les threads et consommer moins de ressources (cependant, dans l'environnement Unix, la différence de consommation de planification des ressources entre multi-processus et multi-thread n'est pas évidente, et la planification Unix est plus rapide ). L'inconvénient est la synchronisation et l'accélération entre les threads. Le verrouillage est plus gênant.

1.2 Ajouter un fil de discussion

Module d'importation

import threading

Numéro obtenu de fils de discussion activés

threading.active_count()

Afficher toutes les informations sur les fils de discussion

threading.enumerate()

Afficher les fils de discussion en cours d'exécution

threading.current_thread()

Ajouter un fil de discussion,

reçoit le paramètre target pour représenter la tâche à accomplir par ce fil de discussion, vous devez le définir vous-même threading.Thread()

def thread_job():
  print('This is a thread of %s' % threading.current_thread())
def main():
  thread = threading.Thread(target=thread_job,)  # 定义线程 
  thread.start() # 让线程开始工作
  if __name__ == '__main__':
  main()

Fonction de jointure 1.3

Étant donné que les threads s'exécutent en même temps, l'utilisation de la fonction de jointure permet au fil pour terminer l'étape suivante avant de passer à l'opération suivante, c'est-à-dire bloquer. Le thread appelant attend que toutes les tâches de la file d'attente aient été traitées.

import threading
import time
def thread_job():
  print('T1 start\n')
  for i in range(10):
    time.sleep(0.1)
  print('T1 finish\n')
def T2_job():
  print('T2 start\n')
  print('T2 finish\n')
def main():
  added_thread=threading.Thread(target=thread_job,name='T1')
  thread2=threading.Thread(target=T2_job,name='T2')
  added_thread.start()
  #added_thread.join()
  thread2.start()
  #thread2.join()
  print('all done\n')
if __name__=='__main__':
   main()

L'exemple est présenté ci-dessus Lorsque la fonction de jointure n'est pas utilisée, le résultat est le suivant :

<🎜. >Lorsque la fonction de jointure est exécutée, T2 ne sera exécuté qu'une fois que T1 aura fini de s'exécuter, puis exécutera print (« tout est terminé »)

1.4 File d'attente pour stocker les résultats du processus la file d'attente est une implémentation de file d'attente thread-safe (FIFO) dans la bibliothèque standard python, fournissant un premier arrivé méthode du premier sorti adaptée à la programmation multithread Les structures de données, à savoir les files d'attente, sont utilisées pour transférer des informations entre les threads producteur et consommateur

(1) File d'attente FIFO de base

maxsize est un entier, indiquant la limite supérieure du nombre de données pouvant être stockées dans la file d'attente. Lorsque la limite supérieure est atteinte, l'insertion provoquera un blocage jusqu'à ce que les données de la file d'attente soient consommées. est inférieur ou égal à 0, il n'y a pas de limite sur la taille de la file d'attente

 class queue.Queue(maxsize=0)

(2) file d'attente LIFO dernier entré, premier sorti

( 3) File d'attente prioritaire

class queue.LifoQueue(maxsize=0)

Le code dans la vidéo n'est pas très clair

class queue.PriorityQueue(maxsize=0)

Le le résultat en cours d'exécution est le suivant

import threading
import time
from queue import Queue
def job(l,q):
  for i in range(len(l)):
    l[i]=l[i]**2
  q.put(l)
def multithreading():
  q=Queue()
  threads=[]
  data=[[1,2,3],[3,4,5],[4,5,6],[5,6,7]]
  for i in range(4):
    t=threading.Thread(target=job,args=(data[i],q))
    t.start()
    threads.append(t)
  for thread in threads:
    thread.join()
  results=[]
  for _ in range(4):
    results.append(q.get())
  print(results)
if __name__=='__main__':
   multithreading()

1.5 GIL peut ne pas être efficace

Global Interpreter Lock, python est exécuté par le contrôle de la machine virtuelle python (également connu sous le nom de boucle principale de l'interpréteur), GIL contrôle l'accès à la machine virtuelle python, garantissant qu'un seul thread est en cours d'exécution dans l'interpréteur à tout moment. Dans un environnement multithread, la machine virtuelle python s'exécute de la manière suivante :

1. Définissez GIL

2. Basculez vers un thread pour exécuter

3. :

a. Spécifiez le nombre d'instructions de bytecode, ou

b. Le thread abandonne activement le contrôle (time.sleep(0) peut être appelé)

4. Définissez le fil pour l'état de veille

5. Déverrouillez GIL

6. Répétez 1-5

Lors de l'appel de code externe (tel que les fonctions d'extension C/C++), le GIL sera verrouillé jusqu'à la fin de cette fonction (puisqu'aucun bytecode python n'est exécuté pendant cette période, aucun changement de thread ne sera effectué).

Ce qui suit est l'exemple de code dans la vidéo. Il agrandit un nombre de 4 fois, le divise en méthode normale et l'attribue à 4 threads. On constate que la consommation de temps n'est en réalité pas très différente.

Le résultat en cours d'exécution est :

import threading
from queue import Queue
import copy
import time
def job(l, q):
  res = sum(l)
  q.put(res)
def multithreading(l):
  q = Queue()
  threads = []
  for i in range(4):
    t = threading.Thread(target=job, args=(copy.copy(l), q), name='T%i' % i)
    t.start()
    threads.append(t)
  [t.join() for t in threads]
  total = 0
  for _ in range(4):
    total += q.get()
  print(total)
def normal(l):
  total = sum(l)
  print(total)
if __name__ == '__main__':
  l = list(range(1000000))
  s_t = time.time()
  normal(l*4)
  print('normal: ',time.time()-s_t)
  s_t = time.time()
  multithreading(l)
  print('multithreading: ', time.time()-s_t)

1.6 线程锁 Lock

如果线程1得到了结果，想要让线程2继续使用1的结果进行处理，则需要对1lock，等到1执行完，再开始执行线程2。一般来说对share memory即对共享内存进行加工处理时会用到lock。

import threading
def job1():
  global A, lock #全局变量
  lock.acquire() #开始lock
  for i in range(10):
    A += 1
    print('job1', A)
  lock.release() #释放
def job2(): 
  global A, lock
  lock.acquire()
  for i in range(10):
    A += 10
    print('job2', A)
  lock.release()
if __name__ == '__main__':
  lock = threading.Lock()
  A = 0
  t1 = threading.Thread(target=job1)
  t2 = threading.Thread(target=job2)
  t1.start()
  t2.start()
  t1.join()
  t2.join()

运行结果如下所示：

总结

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!