如何解決Flink提交PyFlink作業(yè)到Y(jié)arn Application時找不到Python任務(wù)腳本的問題？
Apr 19, 2025 pm 05:21 PM
Flink提交PyFlink作業(yè)到Y(jié)arn時找不到Python腳本的解決方案
在使用Flink提交PyFlink作業(yè)到Y(jié)arn時，如果遇到找不到Python腳本的錯誤，通常是由于Python腳本路徑配置錯誤或Python環(huán)境設(shè)置問題導(dǎo)致的。本文將分析并解決此問題。
您使用了以下命令提交PyFlink作業(yè)：
./flink run-application -t yarn-application \ -dyarn.application.name=flinkcdctestpython \ -dyarn.provided.lib.dirs="hdfs://nameservice1/pyflink/flink-dist-181" \ -pyarch hdfs://nameservice1/pyflink/pyflink181.zip \ -pyclientexec pyflink181.zip/pyflink181/bin/python \ -pyexec pyflink181.zip/pyflink181/bin/python \ -py hdfs://nameservice1/pyflink/wc2.py
錯誤信息如下：
<code>2024-05-24 16:38:02,030 info org.apache.flink.client.python.pythondriver [] - pyflink181.zip/pyflink181/bin/python: can't open file 'hdfs://nameservice1/pyflink/wc2.py': [errno 2] no such file or directory</code>
該錯誤表明Flink找不到指定的Python腳本wc2.py。然而，提交Java作業(yè)時HDFS配置正常，說明HDFS配置本身沒有問題。
問題可能出在以下幾個方面：
-
Python腳本路徑: 仔細檢查
hdfs://nameservice1/pyflink/wc2.py路徑是否正確，以及wc2.py文件是否存在于該路徑下。使用HDFS命令驗證：hdfs dfs -ls hdfs://nameservice1/pyflink/wc2.py
-
Python環(huán)境配置:
-pyclientexec和-pyexec參數(shù)指定了Python執(zhí)行環(huán)境。確保pyflink181.zip中的Python環(huán)境配置正確，并且可以訪問HDFS。建議將參數(shù)直接指向HDFS上的Python環(huán)境路徑：-pyclientexec hdfs://nameservice1/pyflink/pyflink181.zip/pyflink181/bin/python -pyexec hdfs://nameservice1/pyflink/pyflink181.zip/pyflink181/bin/python
-
權(quán)限問題: 確保Flink作業(yè)具有訪問HDFS上Python腳本文件的權(quán)限。檢查文件權(quán)限：
hdfs dfs -ls -h hdfs://nameservice1/pyflink/wc2.py
-
Flink和PyFlink版本兼容性: 確認Flink版本與PyFlink版本兼容。版本不匹配可能導(dǎo)致問題。
通過以上步驟排查，您應(yīng)該能夠找到并解決Flink提交PyFlink作業(yè)時找不到Python腳本的問題。如果問題仍然存在，請檢查Flink和PyFlink的日志文件，尋找更多線索。
以上是如何解決Flink提交PyFlink作業(yè)到Y(jié)arn Application時找不到Python任務(wù)腳本的問題？的詳細內(nèi)容。更多信息請關(guān)注PHP中文網(wǎng)其他相關(guān)文章！
熱AI工具
Undress AI Tool
免費脫衣服圖片
Undresser.AI Undress
人工智能驅(qū)動的應(yīng)用程序，用于創(chuàng)建逼真的裸體照片
AI Clothes Remover
用于從照片中去除衣服的在線人工智能工具。
Clothoff.io
AI脫衣機
Video Face Swap
使用我們完全免費的人工智能換臉工具輕松在任何視頻中換臉！
熱門文章
熱工具
記事本++7.3.1
好用且免費的代碼編輯器
SublimeText3漢化版
中文版，非常好用
禪工作室 13.0.1
功能強大的PHP集成開發(fā)環(huán)境
Dreamweaver CS6
視覺化網(wǎng)頁開發(fā)工具
SublimeText3 Mac版
神級代碼編輯軟件(SublimeText3)
如何處理Python中的API身份驗證
Jul 13, 2025 am 02:22 AM
處理API認證的關(guān)鍵在于理解并正確使用認證方式。1.APIKey是最簡單的認證方式，通常放在請求頭或URL參數(shù)中；2.BasicAuth使用用戶名和密碼進行Base64編碼傳輸，適合內(nèi)部系統(tǒng)；3.OAuth2需先通過client_id和client_secret獲取Token，再在請求頭中帶上BearerToken；4.為應(yīng)對Token過期，可封裝Token管理類自動刷新Token；總之，根據(jù)文檔選擇合適方式，并安全存儲密鑰信息是關(guān)鍵。
如何在Python中解析大型JSON文件？
Jul 13, 2025 am 01:46 AM
如何在Python中高效處理大型JSON文件？1.使用ijson庫流式處理，通過逐項解析避免內(nèi)存溢出；2.若為JSONLines格式，可逐行讀取并用json.loads()處理；3.或先將大文件拆分為小塊再分別處理。這些方法有效解決內(nèi)存限制問題，適用于不同場景。
python循環(huán)在元組上
Jul 13, 2025 am 02:55 AM
在Python中，用for循環(huán)遍歷元組的方法包括直接迭代元素、同時獲取索引和元素、以及處理嵌套元組。1.直接使用for循環(huán)可依次訪問每個元素，無需管理索引；2.使用enumerate()可同時獲取索引和值，默認索引起始為0，也可指定start參數(shù)；3.對嵌套元組可在循環(huán)中解包，但需確保子元組結(jié)構(gòu)一致，否則會引發(fā)解包錯誤；此外，元組不可變，循環(huán)中不能修改內(nèi)容，可用\_忽略不需要的值，且建議遍歷前檢查元組是否為空以避免錯誤。
如何在Python中制作異步API
Jul 13, 2025 am 02:01 AM
Python實現(xiàn)異步API調(diào)用首選async/await搭配aiohttp。使用async定義協(xié)程函數(shù)并通過asyncio.run驅(qū)動執(zhí)行，例如：asyncdeffetch_data():awaitasyncio.sleep(1)；通過aiohttp發(fā)起異步HTTP請求，需用asyncwith創(chuàng)建ClientSession并await響應(yīng)結(jié)果；并發(fā)多個請求可使用asyncio.gather打包任務(wù)列表；注意事項包括：避免阻塞操作、不混用同步代碼、Jupyter需特殊處理事件循環(huán)。掌握eventl
什么是python中的純粹功能
Jul 14, 2025 am 12:18 AM
純函數(shù)在Python中是指給定相同輸入始終返回相同輸出且沒有副作用的函數(shù)。其特點包括：1.確定性，即相同輸入總是產(chǎn)生相同輸出；2.無副作用，即不修改外部變量、不改變輸入數(shù)據(jù)、不與外界交互。例如，defadd(a,b):returna b是純函數(shù)，因為無論調(diào)用多少次add(2,3)，都始終返回5，且不更改程序中的其他內(nèi)容。相較而言，修改全局變量或改變輸入?yún)?shù)的函數(shù)則是非純函數(shù)。純函數(shù)的優(yōu)勢有：更容易測試、更適合并發(fā)執(zhí)行、可緩存結(jié)果提升性能，并能良好配合函數(shù)式編程工具如map()和filter()。
Apache的默認Web根目錄是什么？
Jul 15, 2025 am 01:51 AM
Apache的默認網(wǎng)頁根目錄在大多數(shù)Linux發(fā)行版中是/var/www/html。這是因為Apache服務(wù)器從特定的文檔根目錄提供文件，若未自定義配置，則Ubuntu、CentOS和Fedora等系統(tǒng)使用/var/www/html，而macOS（使用Homebrew）通常為/usr/local/var/www，Windows（XAMPP）則為C:\xampp\htdocs；要確認當前路徑，可檢查Apache配置文件如httpd.conf或apache2.conf，或創(chuàng)建含phpinfo()的P
如果還有其他在Python
Jul 13, 2025 am 02:48 AM
ifelse是Python中用于條件判斷的基礎(chǔ)結(jié)構(gòu)，通過條件的真假執(zhí)行不同代碼塊。它支持多條件判斷時使用elif添加分支，且縮進是語法關(guān)鍵；如num=15時，程序輸出“這個數(shù)字大于10”；若需簡化賦值邏輯，可用三元運算符如status="成年人"ifage>=18else"未成年人"。1.ifelse根據(jù)條件真假選擇執(zhí)行路徑；2.elif可添加多個條件分支；3.縮進決定代碼歸屬，錯誤會導(dǎo)致異常；4.三元運算符適用于簡單賦值場景。
Python類可以有多個構(gòu)造函數(shù)嗎？
Jul 15, 2025 am 02:54 AM
Yes,aPythonclasscanhavemultipleconstructorsthroughalternativetechniques.1.Usedefaultargumentsinthe__init__methodtoallowflexibleinitializationwithvaryingnumbersofparameters.2.Defineclassmethodsasalternativeconstructorsforclearerandscalableobjectcreati
