ソースコードリンク

現(xiàn)在のデバッグの問(wèn)題點(diǎn)

複雑なプロジェクトを読み取ってデバッグする場(chǎng)合、最大 12 層のネストされた呼び出しが発生することがよくあり、実行順序を決定することが困難になります。最もイライラするのは、マルチプロセス環(huán)境でのデバッグです。単一のプロセスをデバッグすると、多くの場(chǎng)合、他のプロセスが待機(jī)してタイムアウトになり、デバッグ プログラムを常に再起動(dòng)する必要があります。 print ステートメントを使用すると関數(shù)呼び出しが失われることが多く、時(shí)間と労力がかかります?，F(xiàn)在のところ、シンプルさと包括性を兼ね備えたデバッグ ライブラリは存在しないため、私は週末を費(fèi)やしてこの問(wèn)題點(diǎn)に対処するツールを開(kāi)発しました。

ObjWatchとは何ですか?

ObjWatch は、複雑なプロジェクトのデバッグと監(jiān)視を簡(jiǎn)素化するために特別に設(shè)計(jì)されています。これにより、オブジェクト プロパティとメソッド呼び出しのリアルタイム追跡が可能になり、開(kāi)発者がコードベースについてより深い洞察を得るのに役立つカスタム フックが可能になります。

簡(jiǎn)単な使用例

pip install objwatch を使用して直接インストールできます。デモンストレーションの目的で、ソース コードのクローンを作成する必要があります:

git clone https://github.com/aeeeeeep/objwatch
cd objwatch
pip install .
python3 examples/example_usage.py

上記のコードを?qū)g行すると、次の呼び出し情報(bào)が生成されます:

[2025-01-04 19:15:13] [DEBUG] objwatch: Processed targets:
>>>>>>>>>>
examples/example_usage.py
<<<<<<<<<<
[2025-01-04 19:15:13] [WARNING] objwatch: wrapper 'BaseLogger' loaded
[2025-01-04 19:15:13] [INFO] objwatch: Starting ObjWatch tracing.
[2025-01-04 19:15:13] [INFO] objwatch: Starting tracing.
[2025-01-04 19:15:13] [DEBUG] objwatch: run main <-
[2025-01-04 19:15:13] [DEBUG] objwatch: | run SampleClass.__init__ <- '0':(type)SampleClass, '1':10
[2025-01-04 19:15:13] [DEBUG] objwatch: | end SampleClass.__init__ -> None
[2025-01-04 19:15:13] [DEBUG] objwatch: | run SampleClass.increment <- '0':(type)SampleClass
[2025-01-04 19:15:13] [DEBUG] objwatch: | | upd SampleClass.value None -> 10
[2025-01-04 19:15:13] [DEBUG] objwatch: | | upd SampleClass.value 10 -> 11
[2025-01-04 19:15:13] [DEBUG] objwatch: | end SampleClass.increment -> None
[2025-01-04 19:15:13] [DEBUG] objwatch: | run SampleClass.increment <- '0':(type)SampleClass
[2025-01-04 19:15:13] [DEBUG] objwatch: | | upd SampleClass.value 11 -> 12
[2025-01-04 19:15:13] [DEBUG] objwatch: | end SampleClass.increment -> None
[2025-01-04 19:15:13] [DEBUG] objwatch: | run SampleClass.increment <- '0':(type)SampleClass
[2025-01-04 19:15:13] [DEBUG] objwatch: | | upd SampleClass.value 12 -> 13
[2025-01-04 19:15:13] [DEBUG] objwatch: | end SampleClass.increment -> None
[2025-01-04 19:15:13] [DEBUG] objwatch: | run SampleClass.increment <- '0':(type)SampleClass
[2025-01-04 19:15:13] [DEBUG] objwatch: | | upd SampleClass.value 13 -> 14
[2025-01-04 19:15:13] [DEBUG] objwatch: | end SampleClass.increment -> None
[2025-01-04 19:15:13] [DEBUG] objwatch: | run SampleClass.increment <- '0':(type)SampleClass
[2025-01-04 19:15:13] [DEBUG] objwatch: | | upd SampleClass.value 14 -> 15
[2025-01-04 19:15:13] [DEBUG] objwatch: | end SampleClass.increment -> None
[2025-01-04 19:15:13] [DEBUG] objwatch: | run SampleClass.decrement <- '0':(type)SampleClass
[2025-01-04 19:15:13] [DEBUG] objwatch: | | upd SampleClass.value 15 -> 14
[2025-01-04 19:15:13] [DEBUG] objwatch: | end SampleClass.decrement -> None
[2025-01-04 19:15:13] [DEBUG] objwatch: | run SampleClass.decrement <- '0':(type)SampleClass
[2025-01-04 19:15:13] [DEBUG] objwatch: | | upd SampleClass.value 14 -> 13
[2025-01-04 19:15:13] [DEBUG] objwatch: | end SampleClass.decrement -> None
[2025-01-04 19:15:13] [DEBUG] objwatch: | run SampleClass.decrement <- '0':(type)SampleClass
[2025-01-04 19:15:13] [DEBUG] objwatch: | | upd SampleClass.value 13 -> 12
[2025-01-04 19:15:13] [DEBUG] objwatch: | end SampleClass.decrement -> None
[2025-01-04 19:15:13] [DEBUG] objwatch: end main -> None
[2025-01-04 19:15:13] [INFO] objwatch: Stopping ObjWatch tracing.
[2025-01-04 19:15:13] [INFO] objwatch: Stopping tracing.

コードの最も重要な部分は次のとおりです:

# Using as a Context Manager with Detailed Logging
with objwatch.ObjWatch(['examples/example_usage.py']):
    main()

# Using the API with Simple Logging
obj_watch = objwatch.watch(['examples/example_usage.py'])
main()
obj_watch.stop()

このツールは、コンテキスト マネージャーと API 呼び出しの両方で使用できます。この例では、example_usage.py ファイルの追跡を指定しています。これは、example_usage.py 內(nèi)の関數(shù)、メソッド、または変數(shù)がツールによってログに記録されることを意味します。この明確な階層ログは、入れ子になった関數(shù)呼び出しとオブジェクトの相互作用を視覚化し、監(jiān)視するのに役立ちます。出力されるログには、次の種類の実行が含まれます:

• run: 関數(shù)またはクラス メソッドの実行の開(kāi)始を示します。
• end: 関數(shù)またはクラス メソッドの実行の終了を示します。
• upd: 新しい変數(shù)の作成を表します。
• apd: リスト、セット、辭書(shū)などのデータ構(gòu)造への要素の追加を示します。
• pop: リスト、セット、辭書(shū)などのデータ構(gòu)造からの要素の削除をマークします。

この例は比較的単純ですが、この機(jī)能は大規(guī)模なプロジェクトを?qū)g行する場(chǎng)合に非常に役立ちます。

全體的な特徴

ObjWatch は次のインターフェイスを提供します:

• ターゲット (リスト): 監(jiān)視するファイルまたはモジュール。
• exclude_targets (リスト、オプション): 監(jiān)視から除外するファイルまたはモジュール。
• ランク (リスト、オプション): torch.distributed.
を使用するときに追跡する GPU ランク。
• 出力 (文字列、オプション): ログを書(shū)き込むためのファイルへのパス。
• Output_xml (文字列、オプション): 構(gòu)造化ログを書(shū)き込むための XML ファイルへのパス。指定した場(chǎng)合、トレース情報(bào)はネストされた XML 形式で保存され、簡(jiǎn)単に參照および分析できるようになります。
• level (str、オプション): ログレベル (logging.DEBUG、logging.INFO、force など)。
• simple (bool、オプション): "DEBUG: {msg}" という形式で簡(jiǎn)易ロギング モードを有効にします。
• ラッパー (FunctionWrapper、オプション): トレースおよびロギング機(jī)能を拡張するためのカスタム ラッパー。
• with_locals (ブール値、オプション): 実行中の関數(shù)內(nèi)のローカル変數(shù)のトレースとロギングを有効にします。
• with_module_path (ブール値、オプション): ログ內(nèi)の関數(shù)名の先頭にモジュール パスを追加するかどうかを制御します。

主な機(jī)能: カスタム ラッパー拡張機(jī)能

ObjWatch は FunctionWrapper 抽象基本クラスを提供し、ユーザーがカスタム ラッパーを作成してライブラリの追跡およびログ機(jī)能を拡張およびカスタマイズできるようにします。 FunctionWrapper から継承することにより、開(kāi)発者は特定のプロジェクト要件に合わせてカスタマイズされた動(dòng)作を?qū)g裝できます。これらの動(dòng)作は関數(shù)の呼び出し時(shí)と戻り時(shí)に実行され、より専門(mén)的な監(jiān)視が可能になります。

FunctionWrapper クラス

FunctionWrapper クラスは、実裝する必要がある 2 つのコア メソッドを定義します。

• wrap_call(self, func_name: str, Frame: FrameType) -> str:

このメソッドは関數(shù)呼び出しの開(kāi)始時(shí)に呼び出されます。これは、関數(shù)名と、ローカル変數(shù)や呼び出しスタックを含む実行コンテキストを含む現(xiàn)在のフレーム オブジェクトを受け取ります。関數(shù)を?qū)g行する前に情報(bào)を抽出、記録、または変更するには、このメソッドを?qū)g裝します。

• wrap_return(self, func_name: str, result: Any) -> str:

このメソッドは関數(shù)が返されたときに呼び出されます。関數(shù)名と関數(shù)から返された結(jié)果を受け取ります。関數(shù)の実行完了後に情報(bào)をログ、分析、または変更するには、このメソッドを使用します。

• wrap_upd(self, old_value: 任意、current_value: 任意) ->タプル[str, str]:

このメソッドは、変數(shù)が更新されるときにトリガーされ、古い値と現(xiàn)在の値を受け取ります。これを使用して変數(shù)への変更をログに記録し、変數(shù)の狀態(tài)遷移の追跡とデバッグが可能になります。

フレーム オブジェクトの詳細(xì)については、Python の公式ドキュメントを參照してください。

TensorShapeLogger

これは、私の使用シナリオに基づいて実裝したカスタム ラッパーの例です。コードは objwatch/wrappers.py ファイルにあります。このラッパーは、指定されたモジュール內(nèi)のすべての関數(shù)メソッド呼び出しの入力と出力のテンソル形狀と変數(shù)の狀態(tài)を自動(dòng)的に記録します。これは、複雑な分散フレームワークの実行ロジックを理解するのに非常に役立ちます。

git clone https://github.com/aeeeeeep/objwatch
cd objwatch
pip install .
python3 examples/example_usage.py

深層學(xué)習(xí)プロジェクトでは、テンソルの形狀と次元が重要です。寸法誤差が小さいと、モデル全體が正しくトレーニングまたは予測(cè)できなくなる可能性があります。各テンソルの形狀を手動(dòng)で確認(rèn)するのは面倒で、エラーが発生しやすくなります。 TensorShapeLogger はテンソル形狀の記録を自動(dòng)化し、開(kāi)発者が次のことを行えるようにします。

• 寸法の不一致の問(wèn)題を迅速に特定: 形狀情報(bào)を自動(dòng)的に記録し、寸法エラーを迅速に検出して修正します。
• モデル アーキテクチャの最適化: テンソル形狀の変化を追跡することで、ネットワーク構(gòu)造を最適化し、モデルのパフォーマンスを向上させます。
• デバッグ効率の向上: テンソル形狀の手動(dòng)チェックに費(fèi)やす時(shí)間を削減し、コア モデルの開(kāi)発に集中できるようにします。

カスタムラッパーの使用例

tests/test_torch_train.py ファイルを參照することをお?jiǎng)幛幛筏蓼?。このファイルには、PyTorch トレーニング プロセスの完全な例が含まれており、監(jiān)視とログ記録のために ObjWatch を統(tǒng)合する方法を示しています。

注意事項(xiàng)

??パフォーマンスに関する警告
ObjWatch をデバッグ環(huán)境で使用すると、プログラムのパフォーマンスに影響を與える可能性があります。したがって、デバッグ段階と開(kāi)発段階でのみ使用することをお?jiǎng)幛幛筏蓼埂?/p>

これは単なる最初の記事です。時(shí)間をかけてさらに追加する予定です。役立つと思われた場(chǎng)合は、お?dú)葺Xにスターを付けてください。

ライブラリは現(xiàn)在も積極的に更新されています。ご質(zhì)問(wèn)やご提案がございましたら、コメントを殘すか、リポジトリで問(wèn)題を開(kāi)いてください。

以上がデバッグの救世主！ ObjWatch を活用して複雑な Python プロジェクトの効率的なコード理解とデバッグを行うの詳細(xì)內(nèi)容です。詳細(xì)については、PHP 中國(guó)語(yǔ) Web サイトの他の関連記事を參照してください。