横長の帯が A40 の GPU のメモリ全体(46,068MiB)です。スイッチで、π0.5 を動かす JAX の設定を切り替えます。初期設定では起動した瞬間に全体の75%を確保し、切り替えると使う分だけを確保します。
XLA_PYTHON_CLIENT_PREALLOCATE を 設定しない(初期設定)
数値の単位はすべて MiB。初期設定のときの「実際に使った量」は直接は測れないため、設定を切り替えて測った 8,486MiB を重ねて表示しています。点線は GPU のメモリが 8・12・16・24GB の GPU の位置の目安で、それらの GPU で実際に動かしたわけではありません。
GPU の記録(gpu.csv)の、使用中のメモリ(太線)と GPU の使用率(細い棒)です。スライダーか再生ボタンで、時刻を動かせます。