在Python中测试访问同一数据的竞争条件的方法-Python教程-PHP中文网

首页

后端开发

Python教程

在Python中测试访问同一数据的竞争条件的方法

WBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWB

Jun 10, 2016 pm 03:14 PM

python

当你有多个进程或线程访问相同的数据时，竞争条件是一个威胁。本文探讨了在发现竞争条件后如何测试它们。

Incrmnt

你在一个名为“Incrmnt”的火热新创公司工作，该公司只做一件事情，并且做得比较好。

你展示一个全局计数器和一个加号，用户可以点击加号，此时计数器加一。这太简单了，而且容易使人上瘾。毫无疑问这就是接下来的大事情。

投资者们争先恐后的进入了董事会，但你有一个大问题。

竞争条件

在你的内测中，Abraham和Belinda是如此的兴奋，以至于每个人都点了100次加号按钮。你的服务器日志显示了200次请求，但计数器却显示为173。很明显，有一些请求没有被加上。

先将“Incrmnt变成了一坨屎”的新闻抛到脑后，你检查下代码（本文用到的所有代码都能在Github上找到）。

# incrmnt.py
import db
 
def increment():
  count = db.get_count()
 
  new_count = count + 1
  db.set_count(new_count)
 
  return new_count

登录后复制

你的Web服务器使用多进程处理流量请求，所以这个函数能在不同的线程中同时执行。如果你没掌握好时机，将会发生：

# 线程1和线程2在不同的进程中同时执行
# 为了展示的目的，在这里并排放置
# 在垂直方向分开它们，以说明在每个时间点上执行什么代码
# Thread 1（线程1）         # Thread 2（线程2）
def increment():
                  def increment():
  # get_count returns 0
  count = db.get_count()
                    # get_count returns 0 again
                    count = db.get_count()
  new_count = count + 1
  # set_count called with 1
  db.set_count(new_count)
                    new_count = count + 1
                    # set_count called with 1 again
                    db.set_count(new_count)

登录后复制

所以尽管增加了两次计数，但最终只增加了1。

你知道你可以修改这个代码，变为线程安全的，但是在你那么做之前，你还想写一个测试证明竞争的存在。

重现竞争

在理想情况下，测试应该尽可能的重现上面的场景。竞争的关键因素是：

?两个 get_count 调用必须在两个 set_count 调用之前执行，从而使得两个线程中的计数具有相同的值。

set_count 调用，什么时候执行都没关系，只要它们都在 get_count 调用之后即可。

简单起见，我们试着重现这个嵌套的情形。这里整个Thread 2 在 Thread 1 的首个 get_count 调用之后执行：

# Thread 1             # Thread 2
def increment():
  # get_count returns 0
  count = db.get_count()
                  def increment():
                    # get_count returns 0 again
                    count = db.get_count()
 
                    # set_count called with 1
                    new_count = count + 1
                    db.set_count(new_count)
  # set_count called with 1 again
  new_count = count + 1
  db.set_count(new_count)

登录后复制

before_after 是一个库，它提供了帮助重现这种情形的工具。它可以在一个函数之前或之后插入任意代码。

before_after 依赖于 mock 库，它用来补充一些功能。如果你不熟悉 mock，我建议阅读一些优秀的文档。文档中特别重要的部分是 Where To Patch。

我们希望，Thread 1 调用 get_count 后，执行全部的 Thread 2 ，之后恢复执行 Thread 1。

我们的测试代码如下：

# test_incrmnt.py
 
import unittest
 
import before_after
 
import db
import incrmnt
 
class TestIncrmnt(unittest.TestCase):
  def setUp(self):
    db.reset_db()
 
  def test_increment_race(self):
    # after a call to get_count, call increment
    with before_after.after('incrmnt.db.get_count', incrmnt.increment):
      # start off the race with a call to increment
      incrmnt.increment()
 
    count = db.get_count()
    self.assertEqual(count, 2)

登录后复制

在首次 get_count 调用之后，我们使用 before_after 的上下文管理器 after 来插入另外一个 increment 的调用。

在默认情况下，before_after只调用一次 after 函数。在这个特殊的情况下这是很有用的，因为否则的话堆栈会溢出（increment调用get_count，get_coun t也调用 increment，increment 又调用get_count…）。

这个测试失败了，因为计数等于1，而不是2。现在我们有一个重现了竞争条件的失败测试，一起来修复。

防止竞争

我们将要使用一个简单的锁机制来减缓竞争。这显然不是理想的解决方案，更好的解决方法是使用原子更新进行数据存储——但这种方法能更好地示范 before_after 在测试多线程应用程序上的作用。

在 incrmnt.py 中添加一个新函数：

# incrmnt.py
 
def locking_increment():
  with db.get_lock():
    return increment()

登录后复制

它保证在同一时间只有一个线程对计数进行读写操作。如果一个线程试图获取锁，而锁被另外一个线程保持，将会引发 CouldNotLock 异常。

现在我们增加这样一个测试：

# test_incrmnt.py
 
def test_locking_increment_race(self):
  def erroring_locking_increment():
    # Trying to get a lock when the other thread has it will cause a
    # CouldNotLock exception - catch it here or the test will fail
    with self.assertRaises(db.CouldNotLock):
      incrmnt.locking_increment()
 
  with before_after.after('incrmnt.db.get_count', erroring_locking_increment):
    incrmnt.locking_increment()
 
  count = db.get_count()
  self.assertEqual(count, 1)

登录后复制

现在在同一时间，就只有一个线程能够增加计数了。

减缓竞争

我们这里还有一个问题，通过上边这种方式，如果两个请求冲突，一个不会被登记。为了缓解这个问题，我们可以让 increment 重新链接服务器（有一个简洁的方式，就是用类似 funcy retry 的东西）：

# incrmnt.py
 
def retrying_locking_increment():
  @retry(tries=5, errors=db.CouldNotLock)
  def _increment():
    return locking_increment()
 
  return _increment()

登录后复制

当我们需要比这种方法提供的更大规模的操作时，可以将 increment 作为一个原子更新或事务转移到我们的数据库中，让其在远离我们的应用程序的地方承担责任。

总结

Incrmnt 现在不存在竞争了，人们可以愉快地点击一整天，而不用担心自己不被计算在内。

这是一个简单的例子，但是 before_after 可以用于更复杂的竞争条件，以确保你的函数能正确地处理所有情形。能够在单线程环境中测试和重现竞争条件是一个关键，它能让你更确定你正在正确地处理竞争条件。

本站声明

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn

热AI工具

热工具

热门话题

gmail邮箱登陆入口在哪里

7546

CakePHP 教程

1382

steam的账户名称是什么格式

win11激活密钥永久

NYT连接提示和答案

显示更多

Related knowledge

PHP和Python：代码示例和比较 Apr 15, 2025 am 12:07 AM

PHP和Python各有优劣，选择取决于项目需求和个人偏好。1.PHP适合快速开发和维护大型Web应用。2.Python在数据科学和机器学习领域占据主导地位。

CentOS上PyTorch的GPU支持情况如何 Apr 14, 2025 pm 06:48 PM

在CentOS系统上启用PyTorchGPU加速，需要安装CUDA、cuDNN以及PyTorch的GPU版本。以下步骤将引导您完成这一过程：CUDA和cuDNN安装确定CUDA版本兼容性:使用nvidia-smi命令查看您的NVIDIA显卡支持的CUDA版本。例如，您的MX450显卡可能支持CUDA11.1或更高版本。下载并安装CUDAToolkit:访问NVIDIACUDAToolkit官网，根据您显卡支持的最高CUDA版本下载并安装相应的版本。安装cuDNN库:前

docker原理详解 Apr 14, 2025 pm 11:57 PM

Docker利用Linux内核特性，提供高效、隔离的应用运行环境。其工作原理如下：1. 镜像作为只读模板，包含运行应用所需的一切；2. 联合文件系统（UnionFS）层叠多个文件系统，只存储差异部分，节省空间并加快速度；3. 守护进程管理镜像和容器，客户端用于交互；4. Namespaces和cgroups实现容器隔离和资源限制；5. 多种网络模式支持容器互联。理解这些核心概念，才能更好地利用Docker。

Python vs. JavaScript：社区，图书馆和资源 Apr 15, 2025 am 12:16 AM

Python和JavaScript在社区、库和资源方面的对比各有优劣。1)Python社区友好，适合初学者，但前端开发资源不如JavaScript丰富。2)Python在数据科学和机器学习库方面强大，JavaScript则在前端开发库和框架上更胜一筹。3)两者的学习资源都丰富，但Python适合从官方文档开始，JavaScript则以MDNWebDocs为佳。选择应基于项目需求和个人兴趣。

minio安装centos兼容性 Apr 14, 2025 pm 05:45 PM

MinIO对象存储：CentOS系统下的高性能部署MinIO是一款基于Go语言开发的高性能、分布式对象存储系统，与AmazonS3兼容。它支持多种客户端语言，包括Java、Python、JavaScript和Go。本文将简要介绍MinIO在CentOS系统上的安装和兼容性。CentOS版本兼容性MinIO已在多个CentOS版本上得到验证，包括但不限于：CentOS7.9:提供完整的安装指南，涵盖集群配置、环境准备、配置文件设置、磁盘分区以及MinI

CentOS上PyTorch的分布式训练如何操作 Apr 14, 2025 pm 06:36 PM

在CentOS系统上进行PyTorch分布式训练，需要按照以下步骤操作：PyTorch安装:前提是CentOS系统已安装Python和pip。根据您的CUDA版本，从PyTorch官网获取合适的安装命令。对于仅需CPU的训练，可以使用以下命令：pipinstalltorchtorchvisiontorchaudio如需GPU支持，请确保已安装对应版本的CUDA和cuDNN，并使用相应的PyTorch版本进行安装。分布式环境配置:分布式训练通常需要多台机器或单机多GPU。所

CentOS上PyTorch版本怎么选 Apr 14, 2025 pm 06:51 PM

在CentOS系统上安装PyTorch，需要仔细选择合适的版本，并考虑以下几个关键因素：一、系统环境兼容性:操作系统:建议使用CentOS7或更高版本。CUDA与cuDNN:PyTorch版本与CUDA版本密切相关。例如，PyTorch1.9.0需要CUDA11.1，而PyTorch2.0.1则需要CUDA11.3。cuDNN版本也必须与CUDA版本匹配。选择PyTorch版本前，务必确认已安装兼容的CUDA和cuDNN版本。Python版本:PyTorch官方支

centos如何安装nginx Apr 14, 2025 pm 08:06 PM

CentOS 安装 Nginx 需要遵循以下步骤：安装依赖包，如开发工具、pcre-devel 和 openssl-devel。下载 Nginx 源码包，解压后编译安装，并指定安装路径为 /usr/local/nginx。创建 Nginx 用户和用户组，并设置权限。修改配置文件 nginx.conf，配置监听端口和域名/IP 地址。启动 Nginx 服务。需要注意常见的错误，如依赖问题、端口冲突和配置文件错误。性能优化需要根据具体情况调整，如开启缓存和调整 worker 进程数量。

See all articles

在Python中测试访问同一数据的竞争条件的方法

热AI工具

Undresser.AI Undress

AI Clothes Remover

Undress AI Tool

Clothoff.io

AI Hentai Generator

热门文章

热工具

记事本++7.3.1

SublimeText3汉化版

禅工作室 13.0.1

Dreamweaver CS6

SublimeText3 Mac版

热门话题