Spark job對應的執行日志保存在哪里?
更新時間 2023-12-05 17:43:25
最近更新時間: 2023-12-05 17:43:25
分享文章
本章節主要介紹翼MapReduce組件Spark日志保存問題。
Spark job沒有完成的任務日志保存在dirver節點的nodemanager 的 containerlogs中。
Spark job完成的任務日志保存在HDFS的/tmp/logs/ 用戶名 /logs。