BlockBuster 소개: 내 asyncio 이벤트 루프가 차단되나요?

Python 3.5에서는 동시성을 처리하기 위해 스레드 대신 비동기 I/O를 도입했습니다. Python의 비동기 I/O 및 asyncio 구현의 장점은 메모리 집약적인 운영 체제 스레드를 생성하지 않음으로써 시스템이 더 적은 리소스를 사용하고 확장성이 높다는 것입니다. 게다가, asyncio에서는 스케줄링 포인트가 await 구문을 통해 명확하게 정의되는 반면, 스레드 기반 동시성에서는 GIL이 예측할 수 없는 코드 포인트에서 해제될 수 있습니다. 결과적으로 asyncio 기반 동시성 시스템은 이해하고 디버깅하기가 더 쉽습니다. 마지막으로 asyncio 작업을 취소할 수 있는데, 이는 스레드를 사용할 때 쉽지 않습니다.

그러나 이러한 이점을 실제로 활용하려면 비동기 코루틴에서 호출을 차단하지 않는 것이 중요합니다. 차단 호출은 네트워크 호출, 파일 시스템 호출, sleep 호출 등이 될 수 있습니다. 이러한 차단 호출은 내부적으로 asyncio가 단일 스레드 이벤트 루프를 사용하여 코루틴을 동시에 실행하기 때문에 해롭습니다. 따라서 코루틴에서 차단 호출을 수행하면 전체 이벤트 루프와 모든 코루틴이 차단되어 애플리케이션의 전반적인 성능에 영향을 미칩니다.

다음은 코드가 동시에 실행되는 것을 방지하는 차단 호출의 예입니다.

import asyncio
import datetime
import time

async def example(name):
    print(f"{datetime.datetime.now()}: {name} start")
    time.sleep(1)  # time.sleep 是一个阻塞函数
    print(f"{datetime.datetime.now()}: {name} stop")

async def main():
    await asyncio.gather(example("1"), example("2"))

asyncio.run(main())

실행 결과는 다음과 유사합니다.

<code>2025-01-07 18:50:15.327677: 1 start
2025-01-07 18:50:16.328330: 1 stop
2025-01-07 18:50:16.328404: 2 start
2025-01-07 18:50:17.333159: 2 stop</code>

보시다시피 두 코루틴은 동시에 실행되지 않습니다.

이 문제를 극복하려면 비차단 기능을 사용하거나 스레드 풀에 대한 실행을 연기해야 ​​합니다.

import asyncio
import datetime
import time

async def example(name):
    print(f"{datetime.datetime.now()}: {name} start")
    await asyncio.sleep(1)  # 将阻塞的 time.sleep 调用替换为非阻塞的 asyncio.sleep 协程
    print(f"{datetime.datetime.now()}: {name} stop")

async def main():
    await asyncio.gather(example("1"), example("2"))

asyncio.run(main())

실행 결과는 다음과 유사합니다.

<code>2025-01-07 18:53:53.579738: 1 start
2025-01-07 18:53:53.579797: 2 start
2025-01-07 18:53:54.580463: 1 stop
2025-01-07 18:53:54.580572: 2 stop</code>

여기서 두 개의 코루틴이 동시에 실행됩니다.

이제 문제는 메서드가 차단되는지 여부를 식별하는 것이 항상 쉬운 것은 아니라는 것입니다. 특히 코드 베이스가 크거나 타사 라이브러리를 사용하는 경우에는 더욱 그렇습니다. 때로는 코드의 깊은 부분에서 차단 호출이 이루어지기도 합니다.

예를 들어 이 코드는 차단되나요?

import blockbuster
from importlib.metadata import version

async def get_version():
    return version("blockbuster")

Python은 시작 시 패키지 메타데이터를 메모리에 로드합니까? blockbuster 모듈이 로드되면 완료되나요? 아니면 version()에 전화할 때? 결과가 캐시되고 후속 호출이 차단되지 않습니까? 설치된 패키지의 METADATA 파일을 읽는 version()을 호출하면 정답이 완성됩니다. 그리고 결과는 캐시되지 않습니다. 따라서 version()은 차단 호출이므로 항상 스레드로 연기되어야 합니다. importlib의 코드를 파헤쳐보지 않고는 이 사실을 알기가 어렵습니다.

차단 호출을 감지하는 한 가지 방법은 asyncio의 디버그 모드를 활성화하여 너무 오래 걸리는 차단 호출을 기록하는 것입니다. 그러나 트리거 제한 시간보다 짧은 차단 시간이 많으면 여전히 성능이 저하되고 테스트/개발의 차단 시간이 프로덕션의 차단 시간과 다를 수 있으므로 이는 가장 효율적인 접근 방식이 아닙니다. 예를 들어, 데이터베이스가 많은 양의 데이터를 가져와야 하는 경우 프로덕션 환경에서는 데이터베이스 호출이 더 오래 걸릴 수 있습니다.

여기서 블록버스터가 등장합니다! 활성화되면 BlockBuster는 asyncio 이벤트 루프에서 호출될 경우 오류를 발생시키는 여러 차단 Python 프레임워크 메서드를 패치합니다. 기본 패치 방법에는 os, io, time, socket, sqlite 모듈의 방법이 포함됩니다. BlockBuster가 감지한 전체 메소드 목록을 보려면 프로젝트 Readme를 참조하세요. 그런 다음 단위 테스트 또는 개발 모드에서 BlockBuster를 활성화하여 차단 호출을 포착하고 수정할 수 있습니다. JVM용 멋진 BlockHound 라이브러리를 알고 있다면 원칙은 동일하지만 Python의 경우입니다. BlockHound는 제작자 덕분에 BlockBuster에 대한 훌륭한 영감의 원천이었습니다.

위의 차단 코드 조각에서 BlockBuster를 사용하는 방법을 살펴보겠습니다.

먼저 blockbuster 패키지

를 설치해야 합니다.

import asyncio
import datetime
import time

async def example(name):
    print(f"{datetime.datetime.now()}: {name} start")
    time.sleep(1)  # time.sleep 是一个阻塞函数
    print(f"{datetime.datetime.now()}: {name} stop")

async def main():
    await asyncio.gather(example("1"), example("2"))

asyncio.run(main())

그런 다음 pytest 픽스처와 blockbuster_ctx() 메서드를 사용하여 각 테스트 시작 시 BlockBuster를 활성화하고 분해 중에 비활성화할 수 있습니다.

<code>2025-01-07 18:50:15.327677: 1 start
2025-01-07 18:50:16.328330: 1 stop
2025-01-07 18:50:16.328404: 2 start
2025-01-07 18:50:17.333159: 2 stop</code>

pytest로 실행하면

import asyncio
import datetime
import time

async def example(name):
    print(f"{datetime.datetime.now()}: {name} start")
    await asyncio.sleep(1)  # 将阻塞的 time.sleep 调用替换为非阻塞的 asyncio.sleep 协程
    print(f"{datetime.datetime.now()}: {name} stop")

async def main():
    await asyncio.gather(example("1"), example("2"))

asyncio.run(main())

참고: 일반적으로 실제 프로젝트에서 blockbuster() 픽스처는 conftest.py 파일에 설정됩니다.

결론

BlockBuster는 asyncio 프로젝트에 매우 유용하다고 생각합니다. 이는 제가 작업한 프로젝트에서 많은 통화 차단 문제를 감지하는 데 도움이 되었습니다. 하지만 만병통치약은 아닙니다. 특히 일부 타사 라이브러리는 Python 프레임워크 방법을 사용하여 네트워크 또는 파일 시스템과 상호 작용하지 않고 대신 C 라이브러리를 래핑합니다. 이러한 라이브러리의 경우 테스트 설정에 규칙을 추가하여 해당 라이브러리에 대한 차단 호출을 트리거할 수 있습니다. BlockBuster는 오픈 소스이기도 합니다. 핵심 프로젝트에서 즐겨 사용하는 라이브러리에 대한 규칙을 추가하려면 기여를 환영합니다. 문제와 개선이 필요한 부분이 있으면 프로젝트 문제 추적기를 통해 피드백을 받고 싶습니다.

일부 링크:

• GitHub 프로젝트
• 질문
• Pypi의 패키지

위 내용은 BlockBuster 소개: 내 asyncio 이벤트 루프가 차단되나요?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!