在Python中测试访问同一数据的竞争条件的方法
当你有多个进程或线程访问相同的数据时，竞争条件是一个威胁。本文探讨了在发现竞争条件后如何测试它们。
Incrmnt
你在一个名为“Incrmnt”的火热新创公司工作，该公司只做一件事情，并且做得比较好。
你展示一个全局计数器和一个加号，用户可以点击加号，此时计数器加一。这太简单了，而且容易使人上瘾。毫无疑问这就是接下来的大事情。
投资者们争先恐后的进入了董事会，但你有一个大问题。
竞争条件
在你的内测中，Abraham和Belinda是如此的兴奋，以至于每个人都点了100次加号按钮。你的服务器日志显示了200次请求，但计数器却显示为173。很明显，有一些请求没有被加上。
先将“Incrmnt变成了一坨屎”的新闻抛到脑后，你检查下代码（本文用到的所有代码都能在Github上找到）。
# incrmnt.py import db def increment(): count = db.get_count() new_count = count + 1 db.set_count(new_count) return new_count
你的Web服务器使用多进程处理流量请求，所以这个函数能在不同的线程中同时执行。如果你没掌握好时机，将会发生：
# 线程1和线程2在不同的进程中同时执行
# 为了展示的目的，在这里并排放置
# 在垂直方向分开它们，以说明在每个时间点上执行什么代码
# Thread 1（线程1） # Thread 2（线程2）
def increment():
def increment():
# get_count returns 0
count = db.get_count()
# get_count returns 0 again
count = db.get_count()
new_count = count + 1
# set_count called with 1
db.set_count(new_count)
new_count = count + 1
# set_count called with 1 again
db.set_count(new_count)
所以尽管增加了两次计数，但最终只增加了1。
你知道你可以修改这个代码，变为线程安全的，但是在你那么做之前，你还想写一个测试证明竞争的存在。
重现竞争
在理想情况下，测试应该尽可能的重现上面的场景。竞争的关键因素是：
?两个 get_count 调用必须在两个 set_count 调用之前执行，从而使得两个线程中的计数具有相同的值。
set_count 调用，什么时候执行都没关系，只要它们都在 get_count 调用之后即可。
简单起见，我们试着重现这个嵌套的情形。这里整 个Thread 2 在 Thread 1 的首个 get_count 调用之后执行：
# Thread 1 # Thread 2
def increment():
# get_count returns 0
count = db.get_count()
def increment():
# get_count returns 0 again
count = db.get_count()
# set_count called with 1
new_count = count + 1
db.set_count(new_count)
# set_count called with 1 again
new_count = count + 1
db.set_count(new_count)
before_after 是一个库，它提供了帮助重现这种情形的工具。它可以在一个函数之前或之后插入任意代码。
before_after 依赖于 mock 库，它用来补充一些功能。如果你不熟悉 mock，我建议阅读一些优秀的文档。文档中特别重要的部分是 Where To Patch。
我们希望，Thread 1 调用 get_count 后，执行全部的 Thread 2 ，之后恢复执行 Thread 1。
我们的测试代码如下：
# test_incrmnt.py
import unittest
import before_after
import db
import incrmnt
class TestIncrmnt(unittest.TestCase):
def setUp(self):
db.reset_db()
def test_increment_race(self):
# after a call to get_count, call increment
with before_after.after('incrmnt.db.get_count', incrmnt.increment):
# start off the race with a call to increment
incrmnt.increment()
count = db.get_count()
self.assertEqual(count, 2)
在首次 get_count 调用之后，我们使用 before_after 的上下文管理器 after 来插入另外一个 increment 的调用。
在默认情况下，before_after只调用一次 after 函数。在这个特殊的情况下这是很有用的，因为否则的话堆栈会溢出（increment调用get_count，get_coun t也调用 increment，increment 又调用get_count…）。
这个测试失败了，因为计数等于1，而不是2。现在我们有一个重现了竞争条件的失败测试，一起来修复。
防止竞争
我们将要使用一个简单的锁机制来减缓竞争。这显然不是理想的解决方案，更好的解决方法是使用原子更新进行数据存储——但这种方法能更好地示范 before_after 在测试多线程应用程序上的作用。
在 incrmnt.py 中添加一个新函数：
# incrmnt.py
def locking_increment():
with db.get_lock():
return increment()
它保证在同一时间只有一个线程对计数进行读写操作。如果一个线程试图获取锁，而锁被另外一个线程保持，将会引发 CouldNotLock 异常。
现在我们增加这样一个测试：
# test_incrmnt.py
def test_locking_increment_race(self):
def erroring_locking_increment():
# Trying to get a lock when the other thread has it will cause a
# CouldNotLock exception - catch it here or the test will fail
with self.assertRaises(db.CouldNotLock):
incrmnt.locking_increment()
with before_after.after('incrmnt.db.get_count', erroring_locking_increment):
incrmnt.locking_increment()
count = db.get_count()
self.assertEqual(count, 1)
现在在同一时间，就只有一个线程能够增加计数了。
减缓竞争
我们这里还有一个问题，通过上边这种方式，如果两个请求冲突，一个不会被登记。为了缓解这个问题，我们可以让 increment 重新链接服务器（有一个简洁的方式，就是用类似 funcy retry 的东西）：
# incrmnt.py
def retrying_locking_increment():
@retry(tries=5, errors=db.CouldNotLock)
def _increment():
return locking_increment()
return _increment()
当我们需要比这种方法提供的更大规模的操作时，可以将 increment 作为一个原子更新或事务转移到我们的数据库中，让其在远离我们的应用程序的地方承担责任。
总结
Incrmnt 现在不存在竞争了，人们可以愉快地点击一整天，而不用担心自己不被计算在内。
这是一个简单的例子，但是 before_after 可以用于更复杂的竞争条件，以确保你的函数能正确地处理所有情形。能够在单线程环境中测试和重现竞争条件是一个关键，它能让你更确定你正在正确地处理竞争条件。
핫 AI 도구
Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱
AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.
Undress AI Tool
무료로 이미지를 벗다
Clothoff.io
AI 옷 제거제
AI Hentai Generator
AI Hentai를 무료로 생성하십시오.
인기 기사
뜨거운 도구
메모장++7.3.1
사용하기 쉬운 무료 코드 편집기
SublimeText3 중국어 버전
중국어 버전, 사용하기 매우 쉽습니다.
스튜디오 13.0.1 보내기
강력한 PHP 통합 개발 환경
드림위버 CS6
시각적 웹 개발 도구
SublimeText3 Mac 버전
신 수준의 코드 편집 소프트웨어(SublimeText3)
뜨거운 주제
7439
15
1369
52
76
11
32
19
C 언어 합계의 기능은 무엇입니까?
Apr 03, 2025 pm 02:21 PM
C 언어에는 내장 합계 기능이 없으므로 직접 작성해야합니다. 합계는 배열 및 축적 요소를 가로 질러 달성 할 수 있습니다. 루프 버전 : 루프 및 배열 길이를 사용하여 계산됩니다. 포인터 버전 : 포인터를 사용하여 배열 요소를 가리키며 효율적인 합계는 자체 증가 포인터를 통해 달성됩니다. 동적으로 배열 버전을 할당 : 배열을 동적으로 할당하고 메모리를 직접 관리하여 메모리 누출을 방지하기 위해 할당 된 메모리가 해제되도록합니다.
별개의 구별이 관련되어 있습니까?
Apr 03, 2025 pm 10:30 PM
구별되고 구별되는 것은 구별과 관련이 있지만, 다르게 사용됩니다. 뚜렷한 (형용사)는 사물 자체의 독창성을 묘사하고 사물 사이의 차이를 강조하는 데 사용됩니다. 뚜렷한 (동사)는 구별 행동이나 능력을 나타내며 차별 과정을 설명하는 데 사용됩니다. 프로그래밍에서 구별은 종종 중복 제거 작업과 같은 컬렉션에서 요소의 독창성을 나타내는 데 사용됩니다. 홀수 및 짝수 숫자를 구별하는 것과 같은 알고리즘이나 함수의 설계에 별개가 반영됩니다. 최적화 할 때 별도의 작업은 적절한 알고리즘 및 데이터 구조를 선택해야하며, 고유 한 작업은 논리 효율성의 구별을 최적화하고 명확하고 읽을 수있는 코드 작성에주의를 기울여야합니다.
누가 더 많은 파이썬이나 자바 스크립트를 지불합니까?
Apr 04, 2025 am 12:09 AM
기술 및 산업 요구에 따라 Python 및 JavaScript 개발자에 대한 절대 급여는 없습니다. 1. 파이썬은 데이터 과학 및 기계 학습에서 더 많은 비용을 지불 할 수 있습니다. 2. JavaScript는 프론트 엔드 및 풀 스택 개발에 큰 수요가 있으며 급여도 상당합니다. 3. 영향 요인에는 경험, 지리적 위치, 회사 규모 및 특정 기술이 포함됩니다.
이해하는 방법! x는?
Apr 03, 2025 pm 02:33 PM
! x 이해! x는 C 언어로 된 논리적 비 운영자입니다. 그것은 x의 값, 즉 실제 변경, 거짓, 잘못된 변경 사항을 부수합니다. 그러나 C의 진실과 거짓은 부울 유형보다는 숫자 값으로 표시되며, 0이 아닌 것은 참으로 간주되며 0만이 거짓으로 간주됩니다. 따라서! x는 음수를 양수와 동일하게 처리하며 사실로 간주됩니다.
C 언어에서 합계는 무엇을 의미합니까?
Apr 03, 2025 pm 02:36 PM
합에 대한 C에는 내장 합계 기능이 없지만 다음과 같이 구현할 수 있습니다. 루프를 사용하여 요소를 하나씩 축적합니다. 포인터를 사용하여 요소를 하나씩 액세스하고 축적합니다. 큰 데이터 볼륨의 경우 병렬 계산을 고려하십시오.
H5 페이지 생산에는 지속적인 유지 보수가 필요합니까?
Apr 05, 2025 pm 11:27 PM
코드 취약점, 브라우저 호환성, 성능 최적화, 보안 업데이트 및 사용자 경험 개선과 같은 요소로 인해 H5 페이지를 지속적으로 유지해야합니다. 효과적인 유지 관리 방법에는 완전한 테스트 시스템 설정, 버전 제어 도구 사용, 페이지 성능을 정기적으로 모니터링하고 사용자 피드백 수집 및 유지 관리 계획을 수립하는 것이 포함됩니다.
58.com 작업 페이지에서 실시간 응용 프로그램 및 뷰어 데이터를 얻는 방법은 무엇입니까?
Apr 05, 2025 am 08:06 AM
크롤링하는 동안 58.com 작업 페이지의 동적 데이터를 얻는 방법은 무엇입니까? Crawler 도구를 사용하여 58.com의 작업 페이지를 크롤링 할 때는이 문제가 발생할 수 있습니다.
사랑 코드 복사 및 붙여 넣기 복사하여 사랑 코드를 무료로 붙여 넣으십시오.
Apr 04, 2025 am 06:48 AM
코드 복사 및 붙여 넣기는 불가능하지는 않지만주의해서 처리해야합니다. 코드의 환경, 라이브러리, 버전 등과 같은 종속성은 현재 프로젝트와 일치하지 않으므로 오류 또는 예측할 수없는 결과를 초래할 수 있습니다. 파일 경로, 종속 라이브러리 및 Python 버전을 포함하여 컨텍스트가 일관되게 유지하십시오. 또한 특정 라이브러리의 코드를 복사 및 붙여 넣을 때 라이브러리 및 해당 종속성을 설치해야 할 수도 있습니다. 일반적인 오류에는 경로 오류, 버전 충돌 및 일관되지 않은 코드 스타일이 포함됩니다. 성능 최적화는 코드의 원래 목적 및 제약에 따라 재 설계 또는 리팩토링되어야합니다. 복사 코드를 이해하고 디버그하고 맹목적으로 복사하여 붙여 넣지 않는 것이 중요합니다.
