[LOG ] ターミナルの出力を残します → /Volumes/KIOXIA/r2r2r-data/lab/Log17/train/lab_train_20261031_220221.txt [LAB ] 2026-10-31 22:02:21 学習 GPU=NVIDIA A40 (借りられなければ NVIDIA RTX A6000 NVIDIA L40S) pi05_mecharm_trim_corr_lora --exp-name=trim_corr_v3 steps=1500 init=/workspace/ckpt/3999/params 上限 5 時間 記録 /Volumes/KIOXIA/r2r2r-data/lab/Log17/train === 0. 送るものと Mac の道具を確かめる (22:02:21) [DATA ] tar 96670208 バイト (/Volumes/KIOXIA/r2r2r-data/datasets/mecharm_redblock_box_teach_v1_trim2_corr_v3/mecharm_redblock_box_teach_v1_trim2_corr_v3_raw_episodes.tar) [MAC ] 終わるまでスリープしないようにした (caffeinate pid 54405). ふたは閉じない (0 秒) === 1. Pod を作る (22:02:21) [POD ] NVIDIA A40 を借ります (空きがなければ 30 秒おきに 5 回まで) [POD ] 作った: id e2bkjq722a33a1 GPU=NVIDIA A40 1時間 0.59 ドル (記録 /Volumes/KIOXIA/r2r2r-data/lab/Log17/train/lab_pod.json) [POD ] 上限: 11-01 03:02 (5 時間) を過ぎたら, ログを持ち帰って消します (2 秒) === 2. Pod が立ち上がるまで待つ (22:02:23) [POD ] SSH の IP とポートを API から受け取った (:) [POD ] 入れた: 2b07075eed8d NVIDIA A40, 46068 MiB [WATCH ] Pod 側の見張りを置いた: 11-01 04:02 を過ぎたら Pod が自分を消す (Pod 用の鍵. Mac の鍵は送っていない) (641 秒) === 3a. スクリプトを送る (22:13:04) (58 秒) === 3b. huggingface_hub を入れ, 鍵を渡す (22:14:02) WARNING: Running pip as the 'root' user can result in broken permissions and conflicting behaviour with the system package manager, possibly rendering your system unusable. It is recommended to use a virtual environment instead: https://pip.pypa.io/warnings/venv. Use the --root-user-action option if you know what you are doing and want to suppress this warning. Hint: The `hf-cli` skill is not installed. Run `hf skills add -g` to teach your AI agents how to use the `hf` CLI. ✓ Logged in user: PixelstoMotors (15 秒) === 3c. 続きから学習するモデルを取る (PixelstoMotors/pi05-mecharm-trim-lora-v1 → /workspace/ckpt/3999) (22:14:17) Fetching 33 files: 0%| | 0/33 [00:00&1 | tee /workspace/logs/train_trim_corr_v3.log (45 秒) === 5. 学習を始める (22:20:06) [TRAIN ] 学習を始めました (Pod の中で setsid nohup. Mac とのつながりが切れても続く) ログ /workspace/logs/train_trim_corr_v3.log GPU /workspace/logs/gpu_train.csv (30 秒おき) (6 秒) === 6. 学習を見守る (5 分おき) (22:20:12) [TRAIN ] 22:20 step -/1500 loss - 経過 0:00 上限まで 4:42 ======================================================================== 学習は Pod の中で回っています. ここまで来れば寝てかまいません. このターミナルは閉じない・Mac のふたは閉じない (電源につないだまま). 終わると通知が出ます. まとめは /Volumes/KIOXIA/r2r2r-data/lab/Log17/train/result_*.txt ======================================================================== [TRAIN ] 22:25 step -/1500 loss - 経過 0:05 上限まで 4:37 [TRAIN ] 22:30 step -/1500 loss - 経過 0:10 上限まで 4:31 [TRAIN ] 22:35 step -/1500 loss - 経過 0:15 上限まで 4:26 [TRAIN ] 22:40 step -/1500 loss - 経過 0:20 上限まで 4:21 [TRAIN ] 22:45 step -/1500 loss - 経過 0:25 上限まで 4:16 [TRAIN ] 22:50 step -/1500 loss - 経過 0:30 上限まで 4:11 [TRAIN ] 22:55 step -/1500 loss - 経過 0:35 上限まで 4:06 [TRAIN ] 23:00 step -/1500 loss - 経過 0:40 上限まで 4:01 [TRAIN ] 23:05 step -/1500 loss - 経過 0:45 上限まで 3:56 [TRAIN ] 23:10 step -/1500 loss - 経過 0:50 上限まで 3:51 [TRAIN ] 23:16 step -/1500 loss - 経過 0:55 上限まで 3:46 [TRAIN ] 23:21 step -/1500 loss - 経過 1:00 上限まで 3:41 [TRAIN ] 23:26 step -/1500 loss - 経過 1:05 上限まで 3:36 [TRAIN ] 23:31 step -/1500 loss - 経過 1:10 上限まで 3:31 [TRAIN ] 23:36 step -/1500 loss - 経過 1:16 上限まで 3:26 [TRAIN ] 23:41 step -/1500 loss - 経過 1:21 上限まで 3:21 [TRAIN ] 23:46 step -/1500 loss - 経過 1:26 上限まで 3:16 [TRAIN ] 23:51 step -/1500 loss - 経過 1:31 上限まで 3:10 [TRAIN ] 23:56 step -/1500 loss - 経過 1:36 上限まで 3:05 [TRAIN ] 00:01 step -/1500 loss - 経過 1:41 上限まで 3:00 [TRAIN ] 00:06 step -/1500 loss - 経過 1:46 上限まで 2:55 [TRAIN ] 00:11 step -/1500 loss - 経過 1:51 上限まで 2:50 [TRAIN ] 00:16 step -/1500 loss - 経過 1:56 上限まで 2:45 [TRAIN ] 00:21 step -/1500 loss - 経過 2:01 上限まで 2:40 [TRAIN ] 00:26 step -/1500 loss - 経過 2:06 上限まで 2:35 [TRAIN ] 00:31 step -/1500 loss - 経過 2:11 上限まで 2:30 [TRAIN ] 00:37 step -/1500 loss - 経過 2:16 上限まで 2:25 [TRAIN ] 00:42 step -/1500 loss - 経過 2:21 上限まで 2:20 [TRAIN ] 00:47 step -/1500 loss - 経過 2:26 上限まで 2:15 [TRAIN ] 00:52 step -/1500 loss - 経過 2:32 上限まで 2:10 [TRAIN ] 00:57 step -/1500 loss - 経過 2:37 上限まで 2:05 [TRAIN ] 01:02 step -/1500 loss - 経過 2:42 上限まで 2:00 [TRAIN ] 01:07 step -/1500 loss - 経過 2:47 上限まで 1:54 [TRAIN ] 01:12 step -/1500 loss - 経過 2:52 上限まで 1:49 [TRAIN ] 01:17 step -/1500 loss - 経過 2:57 上限まで 1:44 [TRAIN ] 01:22 step 1450/1500 loss 0.0028 (Step 1450 の行) 経過 3:02 上限まで 1:39 (10947 秒) [TRAIN ] 学習が終わりました (最後のチェックポイント 1499, loss 0.0028) [WATCH ] Pod 側の見張りを 04:22 まで延ばした (上げる・持ち帰る間に消えないように) === 7a. Pod 側の一覧 (1499) (01:22:42) [LIST ] 37 ファイル 6335841169 バイト (train_state なし) → /Volumes/KIOXIA/r2r2r-data/lab/Log17/train/pod_files_1499.tsv (4 秒) === 7b. Hugging Face へ上げる (PixelstoMotors/pi05-mecharm-trim-corr-lora-v1・非公開) (01:22:46) [HF ] 上げるもの: 37 ファイル 6,335,841,169 バイト (train_state/ は上げない) HFUP ok PixelstoMotors/pi05-mecharm-trim-corr-lora-v1 に 37 ファイル 6,335,841,169 バイトを上げ, 名前・バイト数が全部合うのを確かめた (23 秒) === 7d. ログを持ち帰る (01:23:09) [LOG ] train_trim_corr_v3.log を持ち帰った → /Volumes/KIOXIA/r2r2r-data/lab/Log17/train/train_trim_corr_v3.log (982 行) [LOG ] gpu_train.csv を持ち帰った → /Volumes/KIOXIA/r2r2r-data/lab/Log17/train/gpu_train.csv (368 行) [LOG ] train_run.log を持ち帰った → /Volumes/KIOXIA/r2r2r-data/lab/Log17/train/train_run.log (2 行) [LOG ] prep_trim_corr.log を持ち帰った → /Volumes/KIOXIA/r2r2r-data/lab/Log17/train/prep_trim_corr.log (3622 行) [LOG ] watchdog.log は Pod にない (持ち帰れなかった) [LOG ] Pod 側のチェックポイントの一覧 → /Volumes/KIOXIA/r2r2r-data/lab/Log17/train/pod_checkpoints.tsv (134 ファイル) (42 秒) === Pod を消す (id e2bkjq722a33a1) (01:23:51) [STOP ] 削除 (Terminate) を送った (01:23:53) [STOP ] Pod (id e2bkjq722a33a1) が消えたことを API で確かめた [COST ] 借りていた時間 201 分 30 秒 (3.36 時間) × 1時間 0.59 ドル = 約 1.98 ドル (約 313 円. 1ドル=158円) GPU=NVIDIA A40 === 7e. KIOXIA へ Hugging Face から取る (01:23:53) [KIOXIA] Hugging Face (PixelstoMotors/pi05-mecharm-trim-corr-lora-v1) から取ります → /Volumes/KIOXIA/r2r2r-data/checkpoints/pi05_mecharm_trim_corr_lora_v1/.incoming_1499_20261101_012353_54379 Fetching 38 files: 3%|▎ | 1/38 [00:00<00:17, 2.08it/s] Fetching 38 files: 8%|▊ | 3/38 [00:00<00:06, 5.35it/s] Fetching 38 files: 24%|██▎ | 9/38 [00:01<00:02, 10.22it/s] Fetching 38 files: 34%|███▍ | 13/38 [00:01<00:02, 8.94it/s] Fetching 38 files: 39%|███▉ | 15/38 [00:02<00:03, 7.21it/s] Fetching 38 files: 45%|████▍ | 17/38 [00:10<00:24, 1.16s/it] Fetching 38 files: 47%|████▋ | 18/38 [00:56<02:38, 7.94s/it] Fetching 38 files: 50%|█████ | 19/38 [00:57<02:05, 6.61s/it] Fetching 38 files: 53%|█████▎ | 20/38 [00:57<01:36, 5.35s/it] Fetching 38 files: 55%|█████▌ | 21/38 [00:57<01:11, 4.21s/it] Fetching 38 files: 58%|█████▊ | 22/38 [00:58<00:51, 3.25s/it] Fetching 38 files: 61%|██████ | 23/38 [00:58<00:37, 2.49s/it] Fetching 38 files: 63%|██████▎ | 24/38 [01:02<00:42, 3.02s/it] Fetching 38 files: 66%|██████▌ | 25/38 [01:06<00:41, 3.19s/it] Fetching 38 files: 68%|██████▊ | 26/38 [01:12<00:48, 4.05s/it] Fetching 38 files: 71%|███████ | 27/38 [01:17<00:46, 4.24s/it] Fetching 38 files: 74%|███████▎ | 28/38 [01:18<00:32, 3.20s/it] Fetching 38 files: 76%|███████▋ | 29/38 [01:18<00:21, 2.42s/it] Fetching 38 files: 79%|███████▉ | 30/38 [01:19<00:15, 1.90s/it] Fetching 38 files: 82%|████████▏ | 31/38 [01:19<00:10, 1.50s/it] Fetching 38 files: 84%|████████▍ | 32/38 [01:25<00:16, 2.74s/it] Fetching 38 files: 89%|████████▉ | 34/38 [01:27<00:07, 1.84s/it] Fetching 38 files: 92%|█████████▏| 35/38 [01:43<00:16, 5.53s/it] Fetching 38 files: 95%|█████████▍| 36/38 [01:49<00:11, 5.67s/it] Fetching 38 files: 97%|█████████▋| 37/38 [01:50<00:04, 4.42s/it] Fetching 38 files: 100%|██████████| 38/38 [01:54<00:00, 4.23s/it] Fetching 38 files: 100%|██████████| 38/38 [01:54<00:00, 3.02s/it] ✓ Downloaded path: /Volumes/KIOXIA/r2r2r-data/checkpoints/pi05_mecharm_trim_corr_lora_v1/.incoming_1499_20261101_012353_54379 mv: /Volumes/KIOXIA/r2r2r-data/checkpoints/pi05_mecharm_trim_corr_lora_v1/.incoming_1499_20261101_012353_54379/.__CHECKPOINT_METADATA: No such file or directory [KIOXIA] /Volumes/KIOXIA/r2r2r-data/checkpoints/pi05_mecharm_trim_corr_lora_v1/.incoming_1499_20261101_012353_54379 から /Volumes/KIOXIA/r2r2r-data/checkpoints/pi05_mecharm_trim_corr_lora_v1/1499 へ移せない (途中まで移したかもしれない) (117 秒) === かかった時間 0. 送るものと Mac の道具を確かめる 0 秒 1. Pod を作る 2 秒 2. Pod が立ち上がるまで待つ 641 秒 3a. スクリプトを送る 58 秒 3b. huggingface_hub を入れ, 鍵を渡す 15 秒 3c. 続きから学習するモデルを取る (PixelstoMotors/pi05-mecharm-trim-lora-v1 → /workspace/ckpt/3999) 13 秒 3d. openpi を取る (215abfb) 22 秒 3e. uv sync 23 秒 3f. addon・設定・assets 3 秒 4a. tar を送る 243 秒 4b. pod_prep_trim_corr.sh 1500 /workspace/ckpt/3999/params 45 秒 5. 学習を始める 6 秒 6. 学習を見守る (5 分おき) 10947 秒 7a. Pod 側の一覧 (1499) 4 秒 7b. Hugging Face へ上げる (PixelstoMotors/pi05-mecharm-trim-corr-lora-v1・非公開) 23 秒 7d. ログを持ち帰る 42 秒 7e. KIOXIA へ Hugging Face から取る 117 秒 [RESULT] 学習は終わりました (step 1499) が, KIOXIA に置けなかった (/Volumes/KIOXIA/r2r2r-data/checkpoints/pi05_mecharm_trim_corr_lora_v1/.incoming_1499_20261101_012353_54379 から /Volumes/KIOXIA/r2r2r-data/checkpoints/pi05_mecharm_trim_corr_lora_v1/1499 へ移せない (途中まで移したかもしれない)). Pod は消しました. [RESULT] まとめ → /Volumes/KIOXIA/r2r2r-data/lab/Log17/train/result_20261031_220221.txt