webdevqa.jp.net

「spark.yarn.executor.memoryOverhead」設定の値は?

Spark YARNを含むジョブのspark.yarn.executor.memoryOverheadの値は、Appに割り当てられるべきですか、それとも最大値だけですか?

17
liyong
spark.yarn.executor.memoryOverhead

最大値です。目標は、RDDおよびDataFrameで使用される、実際のエグゼキューターメモリの割合としてOVERHEADを計算することです。

--executor-memory/spark.executor.memory

エグゼキュータヒープサイズを制御しますが、JVMは、たとえばインターンされた文字列やダイレクトバイトバッファなど、ヒープ以外のメモリも使用できます。

spark.yarn.executor.memoryOverheadプロパティの値がエグゼキューターメモリに追加され、各エグゼキューターのYARNへの完全なメモリリクエストが決定されます。デフォルトはmax(executorMemory * 0.10、最小384)です。

エグゼキュータは、spark.executor.memoryのプロパティに基づいたメモリ割り当てと、spark.yarn.executor.memoryOverheadで定義されるオーバーヘッドを使用します。

25
Indrajit Swain

spark yarnを使用したexecutorメモリレイアウトの詳細な説明は here

3
seiya