commit e8079be4ce4a9b26f4278afa7411759ab32e9001 Author: Eiichi Shimazu Date: Tue Nov 17 06:19:53 2026 +0900 浅さの線を電源 5A の本は 50px に直して作った mecharm_redblock_box_split10_v2 (案F の 10 本) で π0.5 base から学習する lab_train.sh --model split2 を足す (split1 と同じ LoRA・batch 32・warmup 300・peak 5e-5・decay_lr 5e-6・decay_steps はステップ数と同じ・3000 ステップ. 設定 pi05_mecharm_split10_v2_lora・exp split10_v2・上げる先 PixelstoMotors/pi05-mecharm-split10-lora-v2・Pod の /workspace/ckpt/split10_v2_2999). add_deep_config.py と pod_prep_deep.sh に --variant split2 (本数 10) を足す. テストを足す・直す (依頼 229) Co-Authored-By: Claude Opus 5.5 diff --git a/lab_lib.sh b/lab_lib.sh index ca20f5b..824ba9f 100644 --- a/lab_lib.sh +++ b/lab_lib.sh @@ -284,7 +284,9 @@ lab_cmd_addon() { # 3f. 何度流しても同じ結果 (install_addon. # deep_even10_v1, ほかは trim2 (依頼 135) # split1 (依頼 228) は deep1b と同じ値 (LoRA・batch 32・学習率の予定・decay_steps = ステップ数) で, 案F で撮った # mecharm_redblock_box_split10_v1 だけで π0.5 base から学習するもの (設定 pi05_mecharm_split10_lora). 安全範囲はこのデータから -LAB_MODELS="trim corr corr2 corr3 deep1 deep1b split1" +# split2 (依頼 229) は split1 と同じ値で, 浅さの線を電源 5A の本は 50px に直して作った mecharm_redblock_box_split10_v2 (10 本) で +# 学習するもの (設定 pi05_mecharm_split10_v2_lora). 安全範囲はこのデータから +LAB_MODELS="trim corr corr2 corr3 deep1 deep1b split1 split2" LAB_CORR_STEPS=1500 LAB_CORR_INIT=/workspace/ckpt/3999/params LAB_CORR2_STEPS=1500 @@ -294,6 +296,7 @@ LAB_CORR3_INIT=/workspace/ckpt/corr_v2_1499/params LAB_DEEP1_STEPS=3000 # 依頼 133. add_deep_config.py の --steps (推論では使わないが, 学習と同じ値で入れる) LAB_DEEP1B_STEPS=3000 # 依頼 135. deep1b の学習の既定のステップ数 (lab_train.sh) と, 推論で入れる設定の --steps LAB_SPLIT1_STEPS=3000 # 依頼 228. deep_even10_lora_v1 (deep1) と同じステップ数 +LAB_SPLIT2_STEPS=3000 # 依頼 229. split1 と同じステップ数 lab_model_def() { # lab_model_def trim|corr|... → MODEL_REPO MODEL_CKPT MODEL_CONFIG MODEL_DATA MODEL_DESC MODEL_RANGE_DATA. 知らない名前なら 1 MODEL_RANGE_DATA=mecharm_redblock_box_teach_v1_trim2 # 安全範囲を作るデータ (依頼 135. deep1・deep1b だけ下で変える) case "$1" in @@ -342,6 +345,13 @@ lab_model_def() { # lab_model_def trim|corr|... → MODEL_REPO MODEL_C MODEL_DATA=mecharm_redblock_box_split10_v1 # 依頼 228: 11-16 に案F で撮った本 (浅い本を外して 5 本) MODEL_RANGE_DATA=$MODEL_DATA MODEL_DESC="π0.5 base から split10_v1 (案F で撮った本) で学習した $((LAB_SPLIT1_STEPS - 1)) (依頼 228)" ;; + split2) + MODEL_REPO=PixelstoMotors/pi05-mecharm-split10-lora-v2 + MODEL_CKPT=/workspace/ckpt/split10_v2_$((LAB_SPLIT2_STEPS - 1)) + MODEL_CONFIG=pi05_mecharm_split10_v2_lora + MODEL_DATA=mecharm_redblock_box_split10_v2 # 依頼 229: split10_v1 と同じ 10 本 (5A の本の線 50px で 10 本とも入った) + MODEL_RANGE_DATA=$MODEL_DATA + MODEL_DESC="π0.5 base から split10_v2 (案F で撮った 10 本) で学習した $((LAB_SPLIT2_STEPS - 1)) (依頼 229)" ;; *) return 1 ;; esac } @@ -355,6 +365,7 @@ lab_cmd_addon_model() { # lab_cmd_addon_model trim|corr|corr2|corr3|deep1|de [ "$1" = deep1 ] && add="add_deep_config.py /workspace/openpi --steps $LAB_DEEP1_STEPS --variant v1" # 依頼 133 (decay_steps 5000) [ "$1" = deep1b ] && add="add_deep_config.py /workspace/openpi --steps $LAB_DEEP1B_STEPS --variant b" # 依頼 135 [ "$1" = split1 ] && add="add_deep_config.py /workspace/openpi --steps $LAB_SPLIT1_STEPS --variant split1" # 依頼 228 + [ "$1" = split2 ] && add="add_deep_config.py /workspace/openpi --steps $LAB_SPLIT2_STEPS --variant split2" # 依頼 229 # assets は hf download が置いたモデルの assets/local/<データ名> を, openpi の assets/<設定>/local/ に写す # (trim の 3f が assets/pi05_mecharm_trim_lora/local/ に写すのと同じ形. corr〜corr3 は trim2 と同じ正規化の値, # deep1 は deep_even10_v1 で測り直した値) @@ -367,7 +378,7 @@ lab_cmd_addon_model() { # lab_cmd_addon_model trim|corr|corr2|corr3|deep1|de # TRAIN_DECAY: 学習率を下げきるステップ (decay_steps). 「steps」は --steps と同じ (依頼 135). 由来に残すのは deep1・deep1b だけ # TRAIN_RETIRED: 1 なら新しくは学習しない (--stop で片付けるときだけ使う). deep1 は依頼 133 の 2999 (decay_steps 5000) を # 作った形なので, 依頼 135 からは deep1b で学習する -LAB_TRAIN_MODELS="corr corr2 corr3 deep1 deep1b split1" +LAB_TRAIN_MODELS="corr corr2 corr3 deep1 deep1b split1 split2" lab_train_def() { # lab_train_def corr|corr2|corr3|deep1|deep1b → TRAIN_* (知らない名前なら 1) TRAIN_STEPS=1500; TRAIN_PREP=pod_prep_trim_corr.sh # ステップ数の既定・4b で流す準備 (依頼 133 で deep1 だけ違う) TRAIN_DECAY=steps; TRAIN_RETIRED=0 # corr〜corr3 は add_trim_corr_config.py の 1_500 (= 既定のステップ数) @@ -394,6 +405,10 @@ lab_train_def() { # lab_train_def corr|corr2|corr3|deep1|deep1b → TR TRAIN_FROM=""; TRAIN_VARIANT=split1; TRAIN_EXP_DEEP=split10_v1 TRAIN_FROM_KIOXIA="" TRAIN_STEPS=$LAB_SPLIT1_STEPS; TRAIN_PREP=pod_prep_deep.sh ;; + split2) # 依頼 229: split1 と同じ値で, 5A の本の線を 50px に直した split10_v2 (10 本) で学習する + TRAIN_FROM=""; TRAIN_VARIANT=split2; TRAIN_EXP_DEEP=split10_v2 + TRAIN_FROM_KIOXIA="" + TRAIN_STEPS=$LAB_SPLIT2_STEPS; TRAIN_PREP=pod_prep_deep.sh ;; *) return 1 ;; esac lab_model_def "$1" || return 1 diff --git a/lab_train.sh b/lab_train.sh index 34c2486..ebfd06b 100755 --- a/lab_train.sh +++ b/lab_train.sh @@ -25,6 +25,9 @@ # split1 = deep1b と同じ値で, 案F で撮った split10_v1 だけで π0.5 base から新しく学習 # → PixelstoMotors/pi05-mecharm-split10-lora-v1 (依頼 228. 設定 pi05_mecharm_split10_lora. # 4b は pod_prep_deep.sh split1) +# split2 = split1 と同じ値で, 5A の本の浅さの線を 50px に直した split10_v2 (10 本) で π0.5 base から学習 +# → PixelstoMotors/pi05-mecharm-split10-lora-v2 (依頼 229. 設定 pi05_mecharm_split10_v2_lora. +# 4b は pod_prep_deep.sh split2) # --steps / --init / --exp-name 学習 (既定 1500 (deep1b は 3000) / 続きの元の params (deep1b は base) / # trim_corr_v3・trim_corr_v4・trim_corr_v5・deep_even10_v1_b) # 続きの元: corr は /workspace/ckpt/3999/params, corr2 は /workspace/ckpt/corr_v1_1499/params, @@ -76,7 +79,7 @@ while [ $# -gt 0 ]; do --stall-min) lab_need_val 30 "$@"; STALL_MIN="$2"; shift 2 ;; --stop) MODE=stop; shift ;; --dry-run) DRY_RUN=1; shift ;; - -h|--help) sed -n '2,48p' "$0"; exit 0 ;; + -h|--help) sed -n '2,51p' "$0"; exit 0 ;; *) echo "[ERROR] 知らない引数: $1 (./lab_train.sh --help)" >&2; exit 2 ;; esac done diff --git a/lab_train_fakes.sh b/lab_train_fakes.sh index bf441b6..874a845 100644 --- a/lab_train_fakes.sh +++ b/lab_train_fakes.sh @@ -67,6 +67,9 @@ TARF="$DATA_ROOT/datasets/mecharm_redblock_box_deep_even10_v1/mecharm_redblock_b mkdir -p "$DATA_ROOT/datasets/mecharm_redblock_box_split10_v1" # split1 (依頼 228) TARF="$DATA_ROOT/datasets/mecharm_redblock_box_split10_v1/mecharm_redblock_box_split10_v1_raw_episodes.tar" [ -f "$TARF" ] || echo "dry tar split10_v1" > "$TARF" +mkdir -p "$DATA_ROOT/datasets/mecharm_redblock_box_split10_v2" # split2 (依頼 229) +TARF="$DATA_ROOT/datasets/mecharm_redblock_box_split10_v2/mecharm_redblock_box_split10_v2_raw_episodes.tar" +[ -f "$TARF" ] || echo "dry tar split10_v2" > "$TARF" # 続きの元 (由来の指紋を取る. 依頼 54): corr は 3999, corr2 は corr の 1499 (依頼 57. lab_train_def が決めた選んだモデルのものだけ. # corr の 1499 を置くと, corr の学習で置く先と重なる) # deep1 (依頼 133) は続きの元がない (π0.5 base から) ので置かない diff --git a/pi05/openpi_addon/add_deep_config.py b/pi05/openpi_addon/add_deep_config.py index 5d75a69..19cd2ab 100755 --- a/pi05/openpi_addon/add_deep_config.py +++ b/pi05/openpi_addon/add_deep_config.py @@ -1,7 +1,8 @@ #!/usr/bin/env python3 """openpi config.py に deep_even10_v1 (位置 1〜5 を各 10 本にそろえた 50 本) 用の学習設定を足す (2026-11-09 依頼 133. lab_train.sh --model deep1. 依頼 135 で --variant b (lab_train.sh --model deep1b) を足した. -依頼 228 で --variant split1 (lab_train.sh --model split1. 案F で撮った mecharm_redblock_box_split10_v1) を足した). +依頼 228 で --variant split1 (lab_train.sh --model split1. 案F で撮った mecharm_redblock_box_split10_v1) を足した. +依頼 229 で --variant split2 (lab_train.sh --model split2. 5A の本の浅さの線を 50px に直した mecharm_redblock_box_split10_v2) を足した). π0.5 base から新しく学習する (続きの学習ではない). 中身は trim の pi05_mecharm_trim_lora と同じ LoRA・batch 32・ 学習率の予定 (warmup 300 / peak 5e-5 / decay_lr 5e-6)・weight_loader (π0.5 base) で, 次の所だけ変える @@ -11,6 +12,8 @@ repo_id local/mecharm_redblock_box_teach_v1_trim2 -> local/mecharm_redblock_box_deep_even10_v1 (--variant split1: local/mecharm_redblock_box_split10_v1. 名前 pi05_mecharm_split10_lora・decay_steps は b と同じ --steps) + (--variant split2: local/mecharm_redblock_box_split10_v2. + 名前 pi05_mecharm_split10_v2_lora・decay_steps は b と同じ --steps) num_train_steps 4_000 -> --steps (依頼 133 は 3000) decay_steps 5_000 -> --variant v1: 5_000 のまま (依頼 133 の 2999 はこれで学習した) --variant b: --steps と同じ (依頼 135. 学習の終わりで decay_lr まで下げきる) @@ -39,6 +42,8 @@ VARIANTS = { "b": {"name": "pi05_mecharm_deep_even10_b_lora", "mark": "deep_even10_v1 b", "decay": None}, # 依頼 135 "split1": {"name": "pi05_mecharm_split10_lora", "mark": "split10_v1", "decay": None, # 依頼 228 "repo_id": "local/mecharm_redblock_box_split10_v1"}, + "split2": {"name": "pi05_mecharm_split10_v2_lora", "mark": "split10_v2", "decay": None, # 依頼 229 + "repo_id": "local/mecharm_redblock_box_split10_v2"}, } # 依頼 133 の形を残す (テスト・ほかから読む名前) NAME = VARIANTS["v1"]["name"] @@ -92,7 +97,7 @@ def main(argv=None): ap.add_argument("--steps", type=int, required=True, help="学習のステップ数 (num_train_steps. 依頼 133 は 3000)") ap.add_argument("--variant", choices=sorted(VARIANTS), required=True, help="v1 = decay_steps 5_000 (依頼 133 の 2999) / b = decay_steps を --steps と同じに (依頼 135) / " - "split1 = b と同じ値で split10_v1 (依頼 228)") + "split1 = b と同じ値で split10_v1 (依頼 228) / split2 = b と同じ値で split10_v2 (依頼 229)") args = ap.parse_args(argv) if args.steps <= 0: sys.exit("[ERROR] --steps は 1 以上") diff --git a/pi05/openpi_addon/pod_prep_deep.sh b/pi05/openpi_addon/pod_prep_deep.sh index e9efd05..a54969f 100755 --- a/pi05/openpi_addon/pod_prep_deep.sh +++ b/pi05/openpi_addon/pod_prep_deep.sh @@ -15,6 +15,8 @@ # b = 設定 pi05_mecharm_deep_even10_b_lora・decay_steps を と同じに (lab_train.sh --model deep1b) # split1 = 設定 pi05_mecharm_split10_lora・データ mecharm_redblock_box_split10_v1 (案F で撮った本. Mac で作ったときは 5 本)・ # decay_steps は b と同じ (lab_train.sh --model split1. 依頼 228) +# split2 = 設定 pi05_mecharm_split10_v2_lora・データ mecharm_redblock_box_split10_v2 (split1 と同じ 10 本を, 5A の本の +# 浅さの線 50px で作り直したもの. Mac で作ったときは 10 本)・decay_steps は b と同じ (lab_train.sh --model split2. 依頼 229) # # すること (何度流しても同じ結果): # 1. tar を /workspace/data/<データ名>/ に広げ, エピソードの本数を確かめる (Mac で作ったときは 50 本) @@ -34,7 +36,8 @@ case "$VARIANT" in # 何かする前に確かめる (依頼 135) v1) CONFIG=pi05_mecharm_deep_even10_lora; EXP=deep_even10_v1 ;; b) CONFIG=pi05_mecharm_deep_even10_b_lora; EXP=deep_even10_v1_b ;; split1) CONFIG=pi05_mecharm_split10_lora; EXP=split10_v1; NAME=mecharm_redblock_box_split10_v1; N_MAC=5 ;; # 依頼 228 - *) echo "[ERROR] は v1 か b か split1: $VARIANT" >&2; exit 2 ;; + split2) CONFIG=pi05_mecharm_split10_v2_lora; EXP=split10_v2; NAME=mecharm_redblock_box_split10_v2; N_MAC=10 ;; # 依頼 229 + *) echo "[ERROR] は v1 か b か split1 か split2: $VARIANT" >&2; exit 2 ;; esac TAR=/workspace/data/${NAME}_raw_episodes.tar DATA=/workspace/data/$NAME diff --git a/pi05/test_merge_and_config.py b/pi05/test_merge_and_config.py index 23a493d..7abd4ae 100644 --- a/pi05/test_merge_and_config.py +++ b/pi05/test_merge_and_config.py @@ -453,12 +453,34 @@ class TestConfigDeep(unittest.TestCase): self.assertIn("split1) CONFIG=pi05_mecharm_split10_lora; EXP=split10_v1; NAME=mecharm_redblock_box_split10_v1; N_MAC=5 ;;", sh.read_text()) + def test_variant_split2(self): + """依頼 229: split2 は split1 と同じ値で, データだけ split10_v2・名前 pi05_mecharm_split10_v2_lora. split1 と並べて入れられる""" + with tempfile.TemporaryDirectory() as td, mock.patch("sys.stdout"): + cfg = fake_config(Path(td)) + self.assertEqual(adc.main([td, "--steps", "3000", "--variant", "split1"]), 0) + self.assertEqual(adc.main([td, "--steps", "3000", "--variant", "split2"]), 0) + text = cfg.read_text() + ma, mb = adc.marks("split2") + blk = text[text.index(ma):text.index(mb)] + self.assertIn('name="pi05_mecharm_split10_v2_lora"', blk) + self.assertIn('repo_id="local/mecharm_redblock_box_split10_v2"', blk) + self.assertIn("decay_steps=3_000,", blk) + for x in adc.SAME_AS_TRIM: + self.assertIn(x, blk) + ma, mb = adc.marks("split1") + self.assertIn('repo_id="local/mecharm_redblock_box_split10_v1"', text[text.index(ma):text.index(mb)]) # split1 は変わらない + self.assertEqual(adc.main([td, "--steps", "3000", "--variant", "split2"]), 0) # 二重に入れない + self.assertEqual(cfg.read_text(), text) + sh = _HERE / "openpi_addon" / "pod_prep_deep.sh" + self.assertIn("split2) CONFIG=pi05_mecharm_split10_v2_lora; EXP=split10_v2; NAME=mecharm_redblock_box_split10_v2; N_MAC=10 ;;", + sh.read_text()) + def test_pod_prep_deep_unknown_variant_stops_first(self): """依頼 135: が v1・b 以外 (またはない) なら, tar を見る前に止まる""" sh = _HERE / "openpi_addon" / "pod_prep_deep.sh" r = subprocess.run(["bash", str(sh), "3000", "c"], capture_output=True, text=True) self.assertEqual(r.returncode, 2) - self.assertIn(" は v1 か b か split1: c", r.stderr) # 依頼 228 で split1 を足した + self.assertIn(" は v1 か b か split1 か split2: c", r.stderr) # 依頼 228 で split1, 229 で split2 を足した r = subprocess.run(["bash", str(sh), "3000"], capture_output=True, text=True) self.assertNotEqual(r.returncode, 0) self.assertNotIn("tar がない", r.stderr) diff --git a/test_lab_start.sh b/test_lab_start.sh index 8b31dc9..fba8737 100755 --- a/test_lab_start.sh +++ b/test_lab_start.sh @@ -477,7 +477,7 @@ check "終了コード 2・使える名前を出す・API を呼ばない" '[ $R rm -rf "$T" setup (cd "$T" && PATH="$T/bin:$PATH" perl -e 'alarm 10; exec @ARGV' ./lab_start.sh --log LogT --dry-run --model < /dev/null > "$T/out.txt" 2>&1); RC=$? -check "--model だけで値がない → 回り続けずに終了コード 2 (codex R1)" '[ $RC = 2 ] && has out.txt "--model には trim か corr か corr2 か corr3 か deep1 か deep1b か split1 を付ける"' +check "--model だけで値がない → 回り続けずに終了コード 2 (codex R1)" '[ $RC = 2 ] && has out.txt "--model には trim か corr か corr2 か corr3 か deep1 か deep1b か split1 か split2 を付ける"' rm -rf "$T" for a in "--gpu" "--episode" "--log" "--gpu --dry-run" "--episode --log LogT" "--log --dry-run"; do setup