Pythonでマルチスレッドではなくマルチプロセスを使用することが推奨されるのはなぜですか? --同僚の記事から転載

最近、Pythonのマルチスレッドについて読んでいます。「Pythonのマルチスレッドは役に立たない、マルチプロセスが推奨されている！」というベテランの意見(jiàn)をよく聞きます。なんでそんなこというの？

あなたはそれがどのように起こるのかを知らなければなりません、そしてなぜそうなるのかも知っていなければなりません。そこで、以下の詳細(xì)な調(diào)査を行います:

まず第一に、背景を強(qiáng)調(diào)します:

1. GIL とは何ですか? GIL の正式名稱は Global Interpreter Lock (グローバル インタープリター ロック) で、そのソースは Python 設(shè)計(jì)の開(kāi)始時(shí)に考慮され、データ セキュリティのために行われた決定です。

2. 各 CPU は同時(shí)に 1 つのスレッドのみを?qū)g行できます (シングルコア CPU でのマルチスレッドは、実際には同時(shí)実行のみであり、並列処理ではありません。同時(shí)実行と並列処理はどちらも、マクロからの複數(shù)のリクエストを同時(shí)に処理するという概念です)ただし、同時(shí)実行と並列処理には違いがあります。並列処理とは、2 つ以上のイベントが同時(shí)に発生することを意味します。同時(shí)実行とは、2 つ以上のイベントが同じ時(shí)間間隔で発生することを意味します。)


イベントが発生します。 スレッドの実行方法:
1. GIL を取得します。
2. スリープするか、Python 仮想マシンが一時(shí)停止するまでコードを?qū)g行します。
3. GIL を解放する

スレッドが実行したい場(chǎng)合は、まず GIL を取得する必要があることがわかります。Python プロセスには GIL が 1 つだけあります。 。パスを取得できないスレッドは、実行のために CPU に入ることができません。

Python2 では、このカウントは sys.setcheckinterval) を通じて調(diào)整して解放できます。

GIL ロックが解放されるたびに、スレッドがロックを奪い合ってスレッドを切り替え、リソースを消費(fèi)します。また、GIL ロックのため、Python のプロセスは同時(shí)に 1 つのスレッドしか実行できません (GIL を取得したスレッドが実行できます)。これが、マルチコア CPU 上で Python のマルチスレッド効率が高くない理由です。

では、Python のマルチスレッドはまったく役に立たないのでしょうか?

ここで機(jī)密事項(xiàng)を説明します:

1. CPU を大量に使用するコード (さまざまなループ処理、カウントなど) この場(chǎng)合、大量の計(jì)算作業(yè)により、ティック數(shù)がすぐにしきい値に達(dá)します。 GIL の解放と再競(jìng)合をトリガーします (複數(shù)のスレッド間での切り替えは確実にリソースを消費(fèi)します)。そのため、Python でのマルチスレッドは CPU を集中的に使用するコードには適していません。

2. IO 集中型のコード (ファイル処理、Web クローラーなど) の場(chǎng)合、マルチスレッドは効率を効果的に向上させることができます (単一スレッドで IO 操作がある場(chǎng)合、IO 待機(jī)が発生し、不必要な時(shí)間の無(wú)駄が発生します)。マルチスレッドを有効にすると、スレッド A の効率が効果的に向上します。待機(jī)中は自動(dòng)的にスレッド B に切り替わり、CPU リソースを無(wú)駄にせず、プログラムの実行効率が向上します。したがって、Python のマルチスレッドは IO 集中型のコードに適しています。

python3では、同時(shí)に実行できるスレッドが1つしかないという問(wèn)題が発生し、効率がまだ不十分です。

注意: マルチコア マルチスレッドはシングルコア マルチスレッドよりも劣ります。その理由は、マルチスレッドが単一コアで実行されると、GIL が解放されるたびにスレッドがウェイクアップするためです。 up は GIL ロックを取得できるため、シームレスに実行できますが、マルチコアでは、CPU0 が GIL を解放した後、他の CPU 上のスレッドが競(jìng)合しますが、CPU0 によってすぐに GIL が取得されるため、他のいくつかの CPU でスレッドが起動(dòng)される可能性があります。切り替え時(shí)刻まで起きてからスタンバイ狀態(tài)に移行すると、スレッドのスラッシングが発生し、効率が低下します

元の質(zhì)問(wèn)に戻ります?！窹ython でマルチコア CPU を最大限に活用したい場(chǎng)合は、マルチプロセスを使用する必要があります?！工趣いΕ佶匹楗螭温暏颏瑜劋蓼埂￥饯卫碛嗓虾韦扦工?

その理由は、各プロセスが獨(dú)立したGILを持ち、互いに干渉しないため、本當(dāng)の意味で並列実行できるため、Pythonではマルチプロセスの方が実行効率が良いからです。マルチスレッドの（マルチコア CPU のみ）。

結(jié)論は次のとおりです。マルチコアで並列処理を?qū)g行して効率を向上させたい場(chǎng)合、より一般的な方法は複數(shù)のプロセスを使用することです。これにより、実行効率が効果的に向上します