디버깅 구세주! 복잡한 Python 프로젝트에서 효율적인 코드 이해 및 디버깅을 위해 ObjWatch 활용

소스 코드 링크

아아아아아아 / objwatch

?️ ObjWatch는 객체 속성과 메소드 호출을 추적하고 모니터링하는 Python 라이브러리입니다.

ObjWatch

[ 한국어 | 중국어 ]

개요

ObjWatch는 복잡한 프로젝트의 디버깅 및 모니터링을 간소화하도록 설계된 강력한 Python 라이브러리입니다. ObjWatch는 객체 속성 및 메소드 호출에 대한 실시간 추적을 제공함으로써 개발자가 코드베이스에 대한 더 깊은 통찰력을 얻을 수 있도록 지원하여 문제 식별, 성능 최적화 및 전반적인 코드 품질 향상을 촉진합니다.

⚠️ 성능 경고

ObjWatch는 애플리케이션 성능에 영향을 미칠 수 있습니다. 디버깅 환경에서만 사용을 권장합니다.

특징

• 중첩 구조 추적: 명확한 계층적 로깅을 통해 중첩 함수 호출과 개체 상호 작용을 시각화하고 모니터링합니다.

• 향상된 로깅 지원: 간단하고 세부적인 형식에 대한 지원을 포함하여 구조화되고 사용자 정의 가능한 로그 출력을 위해 Python의 내장 로깅 모듈을 활용합니다. 또한 로거가 외부 라이브러리에 의해 비활성화되거나 제거된 경우에도 로그가 캡처되도록 하려면 level="force"를 설정할 수 있습니다. level이 "force"로 설정되면 ObjWatch는 표준 로깅 처리기를 우회하고 print()를 사용하여…

GitHub에서 보기

현재 디버깅 문제

복잡한 프로젝트를 읽고 디버깅할 때 최대 12개의 레이어가 포함된 중첩 호출이 발생하는 경우가 많아 실행 순서를 결정하기가 어렵습니다. 가장 실망스러운 점은 다중 프로세스 환경에서 디버깅하는 것입니다. 단일 프로세스를 디버깅하면 다른 프로세스가 대기하고 시간 초과되는 경우가 많아 디버깅 프로그램을 지속적으로 다시 시작해야 합니다. print 문을 사용하면 함수 호출이 누락되는 경우가 많아 시간이 많이 걸리고 힘든 일이 됩니다. 현재 단순성과 포괄성을 겸비한 디버깅 라이브러리가 없어서 주말을 들여 이 문제점을 해결하는 도구를 개발했습니다.

ObjWatch란 무엇입니까?

ObjWatch는 복잡한 프로젝트의 디버깅 및 모니터링을 단순화하도록 특별히 설계되었습니다. 객체 속성 및 메소드 호출에 대한 실시간 추적을 제공하고 개발자가 코드베이스에 대해 더 깊은 통찰력을 얻을 수 있도록 사용자 정의 후크를 허용합니다.

빠른 사용 예

pip install objwatch를 사용하여 직접 설치할 수 있습니다. 시연을 위해 소스 코드를 복제해야 합니다.

git clone https://github.com/aeeeeeep/objwatch
cd objwatch
pip install .
python3 examples/example_usage.py

위 코드를 실행하면 다음과 같은 통화 정보가 생성됩니다.

[2025-01-04 19:15:13] [DEBUG] objwatch: Processed targets:
>>>>>>>>>>
examples/example_usage.py
<<<<<<<<<<
[2025-01-04 19:15:13] [WARNING] objwatch: wrapper 'BaseLogger' loaded
[2025-01-04 19:15:13] [INFO] objwatch: Starting ObjWatch tracing.
[2025-01-04 19:15:13] [INFO] objwatch: Starting tracing.
[2025-01-04 19:15:13] [DEBUG] objwatch: run main <-
[2025-01-04 19:15:13] [DEBUG] objwatch: | run SampleClass.__init__ <- '0':(type)SampleClass, '1':10
[2025-01-04 19:15:13] [DEBUG] objwatch: | end SampleClass.__init__ -> None
[2025-01-04 19:15:13] [DEBUG] objwatch: | run SampleClass.increment <- '0':(type)SampleClass
[2025-01-04 19:15:13] [DEBUG] objwatch: | | upd SampleClass.value None -> 10
[2025-01-04 19:15:13] [DEBUG] objwatch: | | upd SampleClass.value 10 -> 11
[2025-01-04 19:15:13] [DEBUG] objwatch: | end SampleClass.increment -> None
[2025-01-04 19:15:13] [DEBUG] objwatch: | run SampleClass.increment <- '0':(type)SampleClass
[2025-01-04 19:15:13] [DEBUG] objwatch: | | upd SampleClass.value 11 -> 12
[2025-01-04 19:15:13] [DEBUG] objwatch: | end SampleClass.increment -> None
[2025-01-04 19:15:13] [DEBUG] objwatch: | run SampleClass.increment <- '0':(type)SampleClass
[2025-01-04 19:15:13] [DEBUG] objwatch: | | upd SampleClass.value 12 -> 13
[2025-01-04 19:15:13] [DEBUG] objwatch: | end SampleClass.increment -> None
[2025-01-04 19:15:13] [DEBUG] objwatch: | run SampleClass.increment <- '0':(type)SampleClass
[2025-01-04 19:15:13] [DEBUG] objwatch: | | upd SampleClass.value 13 -> 14
[2025-01-04 19:15:13] [DEBUG] objwatch: | end SampleClass.increment -> None
[2025-01-04 19:15:13] [DEBUG] objwatch: | run SampleClass.increment <- '0':(type)SampleClass
[2025-01-04 19:15:13] [DEBUG] objwatch: | | upd SampleClass.value 14 -> 15
[2025-01-04 19:15:13] [DEBUG] objwatch: | end SampleClass.increment -> None
[2025-01-04 19:15:13] [DEBUG] objwatch: | run SampleClass.decrement <- '0':(type)SampleClass
[2025-01-04 19:15:13] [DEBUG] objwatch: | | upd SampleClass.value 15 -> 14
[2025-01-04 19:15:13] [DEBUG] objwatch: | end SampleClass.decrement -> None
[2025-01-04 19:15:13] [DEBUG] objwatch: | run SampleClass.decrement <- '0':(type)SampleClass
[2025-01-04 19:15:13] [DEBUG] objwatch: | | upd SampleClass.value 14 -> 13
[2025-01-04 19:15:13] [DEBUG] objwatch: | end SampleClass.decrement -> None
[2025-01-04 19:15:13] [DEBUG] objwatch: | run SampleClass.decrement <- '0':(type)SampleClass
[2025-01-04 19:15:13] [DEBUG] objwatch: | | upd SampleClass.value 13 -> 12
[2025-01-04 19:15:13] [DEBUG] objwatch: | end SampleClass.decrement -> None
[2025-01-04 19:15:13] [DEBUG] objwatch: end main -> None
[2025-01-04 19:15:13] [INFO] objwatch: Stopping ObjWatch tracing.
[2025-01-04 19:15:13] [INFO] objwatch: Stopping tracing.

코드에서 가장 중요한 부분은 다음과 같습니다.

# Using as a Context Manager with Detailed Logging
with objwatch.ObjWatch(['examples/example_usage.py']):
    main()

# Using the API with Simple Logging
obj_watch = objwatch.watch(['examples/example_usage.py'])
main()
obj_watch.stop()

컨텍스트 관리자와 API 호출을 통해 도구를 사용할 수 있습니다. 예제에서는 예제/example_usage.py 파일에 대한 추적을 지정합니다. 즉, 예제/example_usage.py 내의 모든 함수, 메서드 또는 변수가 도구에 의해 기록됩니다. 이 명확한 계층적 로깅은 중첩된 함수 호출과 개체 상호 작용을 시각화하고 모니터링하는 데 도움이 됩니다. 인쇄된 로그에는 다음과 같은 실행 유형이 포함됩니다.

• run: 함수 또는 클래스 메서드 실행의 시작을 나타냅니다.
• end: 함수 또는 클래스 메서드 실행의 끝을 나타냅니다.
• upd: 새 변수 생성을 나타냅니다.
• apd: 목록, 세트 또는 사전과 같은 데이터 구조에 요소가 추가됨을 나타냅니다.
• pop: 목록, 세트 또는 사전과 같은 데이터 구조에서 요소 제거를 표시합니다.

예제는 비교적 간단하지만 이 기능은 대규모 프로젝트를 실행하는 데 매우 유용합니다.

전반적인 특징

ObjWatch는 다음 인터페이스를 제공합니다.

• 대상(목록): 모니터링할 파일 또는 모듈입니다.
• 제외_대상(목록, 선택): 모니터링에서 제외할 파일 또는 모듈.
• 순위(목록, 선택 사항): torch.distributed를 사용할 때 추적할 GPU 순위.
• 출력(str, 선택): 로그 작성을 위한 파일 경로
• output_xml(str, 선택 사항): 구조화된 로그를 작성하기 위한 XML 파일의 경로입니다. 지정하면 추적 정보가 중첩된 XML 형식으로 저장되어 쉽게 찾아보고 분석할 수 있습니다.
• level (str, 선택사항): 로깅 수준(예: login.DEBUG, login.INFO, force 등).
• simple(bool, 선택 사항): "DEBUG: {msg}" 형식으로 단순 로깅 모드를 활성화합니다.
• 래퍼(FunctionWrapper, 선택 사항): 추적 및 로깅 기능을 확장하기 위한 사용자 정의 래퍼입니다.
• with_locals(부울, 선택 사항): 실행 중에 함수 내에서 지역 변수의 추적 및 로깅을 활성화합니다.
• with_module_path(부울, 선택 사항): 로그의 함수 이름 앞에 모듈 경로를 추가할지 여부를 제어합니다.

주요 기능: 사용자 정의 래퍼 확장

ObjWatch는 FunctionWrapper 추상 기본 클래스를 제공하므로 사용자는 사용자 정의 래퍼를 생성하여 라이브러리의 추적 및 로깅 기능을 확장하고 사용자 정의할 수 있습니다. FunctionWrapper를 상속함으로써 개발자는 특정 프로젝트 요구 사항에 맞는 사용자 정의 동작을 구현할 수 있습니다. 이러한 동작은 함수 호출 및 반환 중에 실행되어 보다 전문적인 모니터링을 제공합니다.

FunctionWrapper 클래스

FunctionWrapper 클래스는 구현해야 하는 두 가지 핵심 메서드를 정의합니다.

• wrap_call(self, func_name: str, 프레임: FrameType) -> 문자열:

이 메서드는 함수 호출 시작 시 호출됩니다. 함수 이름과 지역 변수 및 호출 스택을 포함한 실행 컨텍스트가 포함된 현재 프레임 개체를 수신합니다. 함수가 실행되기 전에 정보를 추출, 기록, 수정하려면 이 방법을 구현하세요.

• wrap_return(self, func_name: str, result: Any) -> 문자열:

이 메서드는 함수 반환 시 호출됩니다. 함수 이름과 함수가 반환한 결과를 받습니다. 함수 실행이 완료된 후 정보를 기록, 분석 또는 변경하려면 이 방법을 사용하세요.

• wrap_upd(self, old_value: Any, current_value: Any) -> 튜플[str, str]:

이 메서드는 변수가 업데이트될 때 트리거되어 이전 값과 현재 값을 받습니다. 변수 변경 사항을 기록하는 데 사용할 수 있으므로 변수 상태 전환을 추적하고 디버깅할 수 있습니다.

프레임 객체에 대한 자세한 내용은 공식 Python 설명서를 참조하세요.

TensorShapeLogger

이것은 내 사용 시나리오를 기반으로 구현한 사용자 정의 래퍼의 예입니다. 코드는 objwatch/wrappers.py 파일에 있습니다. 이 래퍼는 지정된 모듈 내의 모든 함수 메서드 호출에서 입력 및 출력의 텐서 형태와 변수 상태를 자동으로 기록합니다. 이는 복잡한 분산 프레임워크의 실행 로직을 이해하는 데 매우 유용합니다.

git clone https://github.com/aeeeeeep/objwatch
cd objwatch
pip install .
python3 examples/example_usage.py

딥 러닝 프로젝트에서는 텐서의 모양과 크기가 중요합니다. 작은 차원 오류로 인해 전체 모델이 올바르게 훈련되거나 예측되지 않을 수 있습니다. 각 텐서의 형태를 수동으로 확인하는 것은 지루하고 오류가 발생하기 쉽습니다. TensorShapeLogger는 텐서 형태 기록을 자동화하여 개발자가 다음을 수행하도록 돕습니다.

• 치수 불일치 문제를 신속하게 식별: 형상 정보를 자동으로 기록하여 치수 오류를 신속하게 감지하고 수정합니다.
• 모델 아키텍처 최적화: 텐서 형태의 변화를 추적하여 네트워크 구조를 최적화하여 모델 성능을 향상시킵니다.
• 디버깅 효율성 향상: 텐서 형태를 수동으로 확인하는 데 소요되는 시간을 줄여 핵심 모델 개발에 집중할 수 있습니다.

사용자 정의 래퍼 사용 예

tests/test_torch_train.py 파일을 참고하는 것이 좋습니다. 이 파일에는 모니터링 및 로깅을 위해 ObjWatch를 통합하는 방법을 보여주는 PyTorch 교육 프로세스의 전체 예가 포함되어 있습니다.

메모

⚠️ 성능 경고
ObjWatch는 디버깅 환경에서 사용될 때 프로그램 성능에 영향을 미칠 수 있습니다. 따라서 디버깅 및 개발 단계에서만 사용하는 것을 권장합니다.

이 글은 초기 작성일 뿐입니다. 시간이 지나면 더 추가할 계획입니다. 유용하다고 생각하시면 별점을 주세요.

라이브러리는 계속 업데이트되고 있습니다. 질문이나 제안 사항이 있으면 댓글을 남기거나 저장소에서 이슈를 열어주세요.

위 내용은 디버깅 구세주! 복잡한 Python 프로젝트에서 효율적인 코드 이해 및 디버깅을 위해 ObjWatch 활용의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!