commit 3592c73d61016c8fe54cb5a469c14c52b4399056 Author: Eiichi Shimazu Date: Tue Nov 17 13:11:52 2026 +0900 Runpod の REST API を v1 (rest.runpod.io/v1. 2026-11-15 に終わった) から v2 (api.runpod.io/v2) に移す (依頼 240) - 宛先: Mac 側 RUNPOD_API と Pod の見張りの既定 (LAB_WD_API) を https://api.runpod.io/v2 に. 削除は DELETE /pods/ のまま (v2 は 204) - 一覧: v2 は {pods, pagination} で 1 ページ 1000 個まで. lab_list_pods が全ページを読んで配列にする. 途中の失敗・形の違い・cursor がないときは失敗 (一部だけを全部としない) - 状態: desiredStatus → status. PROVISIONING・STARTING・RUNNING を running, EXITED を stopped, TERMINATED を gone, ERROR などは分からないとして止まる - SSH の先: publicIp・portMappings["22"] → ssh.direct.host・port (RUNNING のときだけ). 値段: costPerHr → cost (記録の名前はそのまま) - 作る体: v2 の {name, image, gpu:{id,count,minCudaVersion 12.8}, cloud, disk 200, ports 22/tcp, env PUBLIC_KEY}. テンプレート runpod-torch-v280 は v2 では /workspace 50GB の persistent を付けるので使わず, v1 の volumeInGb:0 と同じくボリュームなしにする - 作れないとき: v2 の空きなしは 400 (決まった文なし) なので 400 も次へ. 422 はすぐ止まる. 失敗の文は detail・errors (lab_api_msg) - lab_start.sh の POST を $(...) から出して HTTP を残す (codex R1 必須) - 偽の API とテストを v2 の形に直し, 一覧のページ・状態・SSH の先・体・400/422 のテストを足す - codex レビュー R1・R2 (docs/review_*_20261117_runpod_v2*) Co-Authored-By: Claude Opus 5.5 diff --git a/docs/review_request_20261117_runpod_v2.md b/docs/review_request_20261117_runpod_v2.md new file mode 100644 index 0000000..f3b4528 --- /dev/null +++ b/docs/review_request_20261117_runpod_v2.md @@ -0,0 +1,28 @@ +# codex レビュー依頼(2026-11-17 依頼 240): Runpod REST API v1 → v2 の移行 + +## 背景 +Runpod の REST API v1 (https://rest.runpod.io/v1) が 2026-11-15 に終わり、宛先が https://api.runpod.io/v2 に変わった。 +lab_lib.sh・lab_train.sh・lab_start.sh・lab_stop.sh と Pod の中の見張り (lab_lib.sh の lab_watchdog_script) の呼び出しを v2 に移した。 +- 移行の案内: /tmp/rp240/migrate_v1_v2.md (docs.runpod.io/api-reference-v2/migrate-from-v1 の写し) +- v2 の OpenAPI: /tmp/rp240/openapi.json (https://api.runpod.io/v2/openapi.json の写し) +- 差分: `git diff -- lab_lib.sh lab_train.sh lab_start.sh lab_stop.sh lab_train_fakes.sh test_lab_train.sh test_lab_start.sh` + +## 変えたこと +1. 宛先を https://api.runpod.io/v2 に (Mac 側 RUNPOD_API・見張りの既定 LAB_WD_API) +2. Pod の一覧: v2 は {"pods":[...], "pagination":{hasNextPage,nextCursor}} で 1 ページ 1000 個まで → lab_list_pods が全ページを読み, 配列に直す. 途中で失敗・形が違えば 1 (一部だけを全部としない) +3. 状態: desiredStatus → status (今の様子. PROVISIONING・STARTING・RUNNING・EXITED・ERROR・TERMINATED). lab_pod_kind は PROVISIONING・STARTING・RUNNING を running, EXITED を stopped, TERMINATED を gone, ほか (ERROR を含む) は 1 +4. SSH の先: publicIp・portMappings["22"] → ssh.direct.host・ssh.direct.port (RUNNING のときだけ) +5. 値段: costPerHr → cost (記録ファイル lab_pod.json の名前 costPerHr はそのまま) +6. 作る体: v1 {templateId, imageName, gpuTypeIds, gpuCount, cloudType, containerDiskInGb, volumeInGb:0, ports, env} → v2 {name, image, gpu:{id,count:1,minCudaVersion:"12.8"}, cloud:"SECURE", disk:200, ports:["22/tcp"], env:{PUBLIC_KEY}}. + テンプレート runpod-torch-v280 は v2 で mounts.persistent /workspace 50GB を持ち (v1 では volumeInGb:0 で消していた), body に書かなければそれが付くので, テンプレートは使わずに中身を書いた. CUDA 下限はテンプレートの allowedCudaVersions (12.8〜) に合わせた +7. 作れないとき: v2 は空きなしを 400 (決まった文なし) で返す → HTTP 400 も「空きなし」として次の GPU へ. 422 などはすぐ止まる. 失敗の文は detail・errors (lab_api_msg) +8. 削除: DELETE /pods/{id} (v2 は 204). パスは同じ + +## 必ず見てほしいところ (お金に関わる) +- Pod の削除: lab_train.sh delete_pod・lab_stop.sh の Terminate と「一覧から消えたのを確かめる」所・lab_start.sh の止まった Pod の扱い. v2 の一覧・状態の読み違いで「消えた」と誤って判断し, 借りたままになる道がないか +- 見張り (lab_watchdog_script): Pod の中から Pod 用の鍵 RUNPOD_API_KEY で DELETE https://api.runpod.io/v2/pods/$RUNPOD_POD_ID. v2 で通るか, 失敗のときの扱い +- 二重に借りない確かめ (lab_list_pods・lab_valid_pods・lab_pod_kind) が v2 で緩んでいないか +- 作る体が v2 の CreatePodRequest に合っているか (unevaluatedProperties false). SSH が v1 と同じく使えるか (PUBLIC_KEY を env で渡す・startSsh は送らない) + +## 答えの形 +必須 / 推奨 / 据え置きに分けて, ファイル:行 と理由. ファイルは変えない. diff --git a/docs/review_request_20261117_runpod_v2_r2.md b/docs/review_request_20261117_runpod_v2_r2.md new file mode 100644 index 0000000..54aeb80 --- /dev/null +++ b/docs/review_request_20261117_runpod_v2_r2.md @@ -0,0 +1,13 @@ +# codex レビュー依頼 R2(2026-11-17 依頼 240): Runpod REST API v1 → v2 の移行 + +R1 (docs/review_result_20261117_runpod_v2_codex.md) の指摘を反映した。R1 の依頼文は docs/review_request_20261117_runpod_v2.md。 +資料: /tmp/rp240/migrate_v1_v2.md・/tmp/rp240/openapi.json。差分: `git diff -- lab_lib.sh lab_train.sh lab_start.sh lab_stop.sh lab_train_fakes.sh test_lab_train.sh test_lab_start.sh` + +## 反映 +- 必須1 (lab_start.sh の POST が $(...) の中で RUNPOD_HTTP を失う): lab_train.sh と同じく一時ファイルで受け, 親で HTTP を残すようにした. テスト test_lab_start.sh 16c (1 回目だけ任意の文の 400 → 作り直して成功) を足した +- 推奨 (nextCursor の型): 文字列でなければ失敗にした. test_lab_train.sh 15a にテストを足した +- 推奨 (Pod 用の鍵で v2 の DELETE が通るか): 実物でしか確かめられない. 学習の Pod で, Pod 用の鍵で GET /v2/pods/<自分> (読むだけ) が通るかを確かめ, 報告に書く (DELETE そのものは学習を止めるので試さない) + +## 見てほしいこと +反映が正しいか, 新しい問題を入れていないか. とくに Pod の削除・見張り・二重に借りない確かめ. +必須 / 推奨 / 据え置き で, ファイル:行 と理由. ファイルは変えない. diff --git a/docs/review_result_20261117_runpod_v2_codex.md b/docs/review_result_20261117_runpod_v2_codex.md new file mode 100644 index 0000000..7342541 --- /dev/null +++ b/docs/review_result_20261117_runpod_v2_codex.md @@ -0,0 +1,74 @@ +# codex レビュー結果 R1(2026-11-17 依頼 240) + +- 実行: `codex exec -s read-only --skip-git-repo-check`(依頼文 docs/review_request_20261117_runpod_v2.md) + +結論:**必須修正が1件あります。** 削除確認と二重起動防止は概ね安全側ですが、`lab_start.sh` の v2 空き不足リトライが機能しません。ファイルは変更していません。 + +**必須** + +- **[lab_start.sh:315](/Users/shimazueiichi/r2r2r-scripts/lab_start.sh:315)** + `resp=$(runpod_api POST ...)` はサブシェルで動くため、関数内で更新した `RUNPOD_HTTP=400` が親に残りません。そのため318行の HTTP 判定は古い値を参照し、`detail` が `could not place pod on the requested GPU` など旧来の文字列に一致しない場合、再試行せず終了します。最小再現でも確認しました。 + `lab_train.sh:740` と同じく、関数を親シェルで実行して本文を一時ファイル経由で受け取ってください。任意の detail を持つ400で再試行するテストも必要です。 + +**推奨** + +- **[lab_lib.sh:645](/Users/shimazueiichi/r2r2r-scripts/lab_lib.sh:645)、[test_lab_train.sh:373](/Users/shimazueiichi/r2r2r-scripts/test_lab_train.sh:373)** + **Pod 用の鍵で v2 自己削除が通ることは未確認です。** OpenAPI は `pods:write` を要求していますが、Pod 内に注入される鍵への権限付与までは記載していません。[公式 CLI](https://github.com/runpod/runpodctl)も Pod 用の鍵の存在は説明していますが、この権限の保証はありません。現在のテストは偽物の curl が204を返すだけです。 + 無人運用前に、実際の Pod 用の鍵による DELETE と、Mac 側からの消滅確認の記録を残すことを推奨します。失敗時は30回再試行し、CLIによる削除・停止も失敗すると見張りが終了するため、その後の課金を止める保証はありません。 + +- **[lab_lib.sh:175](/Users/shimazueiichi/r2r2r-scripts/lab_lib.sh:175)** + `nextCursor` は文字列型も検証すると堅くなります。現状では数値なども `@uri` で変換されます。50ページ上限により最終的には失敗するため、直ちに「消えた」と誤判定する問題ではありません。 + +**据え置き** + +- **[lab_lib.sh:165](/Users/shimazueiichi/r2r2r-scripts/lab_lib.sh:165)** + 全ページを集約し、途中のHTTP失敗・不正形式・次カーソル欠落では失敗します。一部の一覧を全件として扱う経路は確認できませんでした。 + +- **[lab_lib.sh:188](/Users/shimazueiichi/r2r2r-scripts/lab_lib.sh:188)** + `PROVISIONING / STARTING / RUNNING` を既存Podとして扱い、`ERROR`・未知状態では処理を止めます。404時にも一覧を確認するため、二重起動防止は維持されています。 + +- **[lab_train.sh:443](/Users/shimazueiichi/r2r2r-scripts/lab_train.sh:443)、[lab_stop.sh:127](/Users/shimazueiichi/r2r2r-scripts/lab_stop.sh:127)、[lab_start.sh:280](/Users/shimazueiichi/r2r2r-scripts/lab_start.sh:280)** + 削除後は取得・検証できた全ページ一覧で対象の不在または `TERMINATED` を確認します。取得失敗を削除成功にはしません。停止済みPodも削除確認に成功してから作り直す構造です。 + +- **[lab_lib.sh:278](/Users/shimazueiichi/r2r2r-scripts/lab_lib.sh:278)** + 作成bodyは提供された `CreatePodRequest` と整合しています。`mounts` とテンプレートを省略する方針も適切です。OpenAPIの説明では `startSsh` は主に `PUBLIC_KEY` 注入のためのフラグなので、公式イメージへ明示的に `PUBLIC_KEY` と `22/tcp` を渡す構成は妥当です。 + +- **[lab_train.sh:751](/Users/shimazueiichi/r2r2r-scripts/lab_train.sh:751)** + こちらはHTTP値を親シェルに保持できています。400を次候補の対象とし、422で停止する方針は提供された仕様に合っています。 + +検証は差分・仕様・テスト内容の静的確認、シェル構文確認、HTTP値のサブシェル問題の再現までです。ファイル作成が禁止された環境のため、テストスイート全体と実Podでの検証は実施していません。 +結論:**必須修正が1件あります。** 削除確認と二重起動防止は概ね安全側ですが、`lab_start.sh` の v2 空き不足リトライが機能しません。ファイルは変更していません。 + +**必須** + +- **[lab_start.sh:315](/Users/shimazueiichi/r2r2r-scripts/lab_start.sh:315)** + `resp=$(runpod_api POST ...)` はサブシェルで動くため、関数内で更新した `RUNPOD_HTTP=400` が親に残りません。そのため318行の HTTP 判定は古い値を参照し、`detail` が `could not place pod on the requested GPU` など旧来の文字列に一致しない場合、再試行せず終了します。最小再現でも確認しました。 + `lab_train.sh:740` と同じく、関数を親シェルで実行して本文を一時ファイル経由で受け取ってください。任意の detail を持つ400で再試行するテストも必要です。 + +**推奨** + +- **[lab_lib.sh:645](/Users/shimazueiichi/r2r2r-scripts/lab_lib.sh:645)、[test_lab_train.sh:373](/Users/shimazueiichi/r2r2r-scripts/test_lab_train.sh:373)** + **Pod 用の鍵で v2 自己削除が通ることは未確認です。** OpenAPI は `pods:write` を要求していますが、Pod 内に注入される鍵への権限付与までは記載していません。[公式 CLI](https://github.com/runpod/runpodctl)も Pod 用の鍵の存在は説明していますが、この権限の保証はありません。現在のテストは偽物の curl が204を返すだけです。 + 無人運用前に、実際の Pod 用の鍵による DELETE と、Mac 側からの消滅確認の記録を残すことを推奨します。失敗時は30回再試行し、CLIによる削除・停止も失敗すると見張りが終了するため、その後の課金を止める保証はありません。 + +- **[lab_lib.sh:175](/Users/shimazueiichi/r2r2r-scripts/lab_lib.sh:175)** + `nextCursor` は文字列型も検証すると堅くなります。現状では数値なども `@uri` で変換されます。50ページ上限により最終的には失敗するため、直ちに「消えた」と誤判定する問題ではありません。 + +**据え置き** + +- **[lab_lib.sh:165](/Users/shimazueiichi/r2r2r-scripts/lab_lib.sh:165)** + 全ページを集約し、途中のHTTP失敗・不正形式・次カーソル欠落では失敗します。一部の一覧を全件として扱う経路は確認できませんでした。 + +- **[lab_lib.sh:188](/Users/shimazueiichi/r2r2r-scripts/lab_lib.sh:188)** + `PROVISIONING / STARTING / RUNNING` を既存Podとして扱い、`ERROR`・未知状態では処理を止めます。404時にも一覧を確認するため、二重起動防止は維持されています。 + +- **[lab_train.sh:443](/Users/shimazueiichi/r2r2r-scripts/lab_train.sh:443)、[lab_stop.sh:127](/Users/shimazueiichi/r2r2r-scripts/lab_stop.sh:127)、[lab_start.sh:280](/Users/shimazueiichi/r2r2r-scripts/lab_start.sh:280)** + 削除後は取得・検証できた全ページ一覧で対象の不在または `TERMINATED` を確認します。取得失敗を削除成功にはしません。停止済みPodも削除確認に成功してから作り直す構造です。 + +- **[lab_lib.sh:278](/Users/shimazueiichi/r2r2r-scripts/lab_lib.sh:278)** + 作成bodyは提供された `CreatePodRequest` と整合しています。`mounts` とテンプレートを省略する方針も適切です。OpenAPIの説明では `startSsh` は主に `PUBLIC_KEY` 注入のためのフラグなので、公式イメージへ明示的に `PUBLIC_KEY` と `22/tcp` を渡す構成は妥当です。 + +- **[lab_train.sh:751](/Users/shimazueiichi/r2r2r-scripts/lab_train.sh:751)** + こちらはHTTP値を親シェルに保持できています。400を次候補の対象とし、422で停止する方針は提供された仕様に合っています。 + +検証は差分・仕様・テスト内容の静的確認、シェル構文確認、HTTP値のサブシェル問題の再現までです。ファイル作成が禁止された環境のため、テストスイート全体と実Podでの検証は実施していません。 diff --git a/docs/review_result_20261117_runpod_v2_codex_r2.md b/docs/review_result_20261117_runpod_v2_codex_r2.md new file mode 100644 index 0000000..76583dc --- /dev/null +++ b/docs/review_result_20261117_runpod_v2_codex_r2.md @@ -0,0 +1,30 @@ +# codex レビュー結果 R2(2026-11-17 依頼 240) + +- 実行: `codex exec -s read-only --skip-git-repo-check`(依頼文 docs/review_request_20261117_runpod_v2_r2.md) + +結論:**R1の必須指摘は解消しています。今回の修正による新たな必須修正事項は見つかりませんでした。** ファイルは変更していません。 + +**必須** + +- なし。 + +**推奨** + +- [lab_lib.sh:646](/Users/shimazueiichi/r2r2r-scripts/lab_lib.sh:646) + Pod用の鍵による自己削除は、引き続き実機確認が必要です。提供されたOpenAPIではGETは `pods:read`、DELETEは `pods:write` を要求します。予定しているGET確認は認証・読み取りの確認として有効ですが、成功してもDELETE権限の確認にはなりません。報告では両者を区別してください。学習終了後など、削除してよいタイミングで自己DELETEとMac側の消滅確認を記録することを推奨します。見張りは削除・停止がすべて失敗すると終了するため、この未確認点は残ります。 + +**据え置き** + +- [lab_start.sh:316](/Users/shimazueiichi/r2r2r-scripts/lab_start.sh:316)、[test_lab_start.sh:311](/Users/shimazueiichi/r2r2r-scripts/test_lab_start.sh:311) + POSTを親シェルで実行する修正により、`RUNPOD_HTTP=400` が保持されます。追加の16cは従来の文字列判定に一致しないdetailを使い、POSTが2回になることと最終成功を確認しており、R1の回帰テストとして適切です。 + +- [lab_lib.sh:177](/Users/shimazueiichi/r2r2r-scripts/lab_lib.sh:177)、[test_lab_train.sh:486](/Users/shimazueiichi/r2r2r-scripts/test_lab_train.sh:486) + 非文字列の `nextCursor` は失敗扱いになります。数値カーソルで失敗し、次ページを要求しない追加テストも妥当です。 + +- [lab_lib.sh:165](/Users/shimazueiichi/r2r2r-scripts/lab_lib.sh:165)、[lab_lib.sh:188](/Users/shimazueiichi/r2r2r-scripts/lab_lib.sh:188) + 全ページ取得が完了しなければ一覧を返さず、404時にも一覧を確認します。未知状態では処理を止めるため、今回の修正で二重作成防止が緩む経路は確認できませんでした。 + +- [lab_train.sh:443](/Users/shimazueiichi/r2r2r-scripts/lab_train.sh:443)、[lab_stop.sh:127](/Users/shimazueiichi/r2r2r-scripts/lab_stop.sh:127)、[lab_start.sh:280](/Users/shimazueiichi/r2r2r-scripts/lab_start.sh:280) + 削除確認には取得・検証済みの全ページ一覧を使い、取得失敗を削除成功として扱いません。停止済みPodも削除確認に成功してから作り直す構造を維持しています。 + +検証は差分・提供仕様・追加テストの静的確認と、対象7ファイルそれぞれの `bash -n` 成功までです。読み取り専用環境のため、一時ファイルを作るテストスイートと実Podでの検証は実施していません。 diff --git a/lab_lib.sh b/lab_lib.sh index 824ba9f..0116e45 100644 --- a/lab_lib.sh +++ b/lab_lib.sh @@ -11,7 +11,7 @@ LAB_CURRENT="$LAB_ROOT/.lab_current" # 今使っている Log 名 (lab_stop RUNPOD_KEY_FILE=/Volumes/KIOXIA/keys/runpod_api_key.txt HF_TOKEN_FILE=/Volumes/KIOXIA/keys/hf_token.txt POD_SSH_KEY="$HOME/.ssh/id_ed25519" -RUNPOD_API=https://rest.runpod.io/v1 +RUNPOD_API=https://api.runpod.io/v2 # 依頼 240: v1 (https://rest.runpod.io/v1) は 2026-11-15 に終わった TUNNEL_PORT=8000 YEN_PER_USD=158 RUNPOD_HTTP="" # runpod_api が最後に受けた HTTP の番号 ($(...) の中で呼ぶと親には残らない) @@ -51,12 +51,13 @@ runpod_api() { # runpod_api METHOD PATH [JSON] → 本文を出す } lab_pod_addr() { # POD_ID から POD_IP / SSH_PORT を API で受け取る (画面には出さない) + # v2 (依頼 240): 22/tcp の公開先は ssh.direct の host・port. 止まった Pod にも残ることがあるので RUNNING のときだけ使う local j j=$(runpod_api GET "/pods/$POD_ID") || return 1 - POD_IP=$(jq -r '.publicIp // ""' <<<"$j") - SSH_PORT=$(jq -r '.portMappings["22"] // ""' <<<"$j") - POD_STATUS=$(jq -r '.desiredStatus // ""' <<<"$j") - [ -n "$POD_IP" ] && [ -n "$SSH_PORT" ] + POD_IP=$(jq -r '.ssh.direct.host // ""' <<<"$j") + SSH_PORT=$(jq -r '.ssh.direct.port // "" | tostring' <<<"$j") + POD_STATUS=$(jq -r '.status // ""' <<<"$j") + [ "$POD_STATUS" = RUNNING ] && [ -n "$POD_IP" ] && [ -n "$SSH_PORT" ] } lab_mask() { # Pod の IP とポートを置き換えて流す @@ -161,12 +162,32 @@ lab_tunnel_pids() { # このスクリプトが張った 8000 番のト # ---- lab_start.sh のつなぎ直し (依頼 44) ---- -lab_valid_pods() { # lab_valid_pods JSON → GET /pods の答えが「id を持つものの配列」なら 0 (読めない答えを「ない」にしない) +lab_list_pods() { # lab_list_pods → GET /pods を最後のページまで読み, Pod を1つの配列 ([...]) にして出す. 失敗・読めない答えは戻り値 1 + # v2 (依頼 240): 答えは {"pods":[...], "pagination":{"hasNextPage":…, "nextCursor":…}} で, 1 ページ 1000 個まで. + # 途中のページが取れない・形が違うときは, 一部だけの一覧を「全部」として返さない (ないはずの Pod を「ない」としないため) + local out page rc all='[]' cur="" n=0 + while :; do + out=$(mktemp) + runpod_api GET "/pods${cur:+?cursor=$cur}" > "$out"; rc=$? + page=$(cat "$out"); rm -f "$out" + [ $rc = 0 ] || return 1 + jq -e '(.pods | type) == "array" and (.pagination.hasNextPage | type) == "boolean"' <<<"$page" >/dev/null 2>&1 || return 1 + all=$(jq -c --argjson a "$all" '$a + .pods' <<<"$page") || return 1 + [ "$(jq -r '.pagination.hasNextPage' <<<"$page")" = true ] || break + cur=$(jq -r '.pagination.nextCursor | if type == "string" then @uri else "" end' <<<"$page") # 文字列でなければ失敗 (codex R1) + n=$((n + 1)) + [ -n "$cur" ] && [ $n -lt 50 ] || return 1 + done + printf '%s\n' "$all" +} + +lab_valid_pods() { # lab_valid_pods JSON → lab_list_pods の答えが「id を持つものの配列」なら 0 (読めない答えを「ない」にしない) jq -e 'type == "array" and all(.[]; type == "object" and (.id | type) == "string")' <<<"$1" >/dev/null 2>&1 } -lab_pod_kind() { # lab_pod_kind ID → LAB_POD_KIND=running|stopped|gone と LAB_POD_STATUS (API の desiredStatus) - # running = RUNNING. stopped = EXITED (止まっていてもディスクの料金がかかる). gone = TERMINATED, +lab_pod_kind() { # lab_pod_kind ID → LAB_POD_KIND=running|stopped|gone と LAB_POD_STATUS (API の status) + # v2 (依頼 240) の status は「今の様子」. v1 の desiredStatus=RUNNING に当たる PROVISIONING・STARTING も running にする. + # running = PROVISIONING・STARTING・RUNNING. stopped = EXITED (止まっていてもディスクの料金がかかる). gone = TERMINATED, # または 404 で一覧にもない. それ以外 (つながらない・404 以外の失敗・答えが読めない・id が違う・知らない状態) は # 戻り値 1 (二重に借りないよう, 呼ぶ側で止まる) local id="$1" out j list rc @@ -177,18 +198,18 @@ lab_pod_kind() { # lab_pod_kind ID → LAB_POD_KIND=running|stopped|g case "$RUNPOD_HTTP" in 2??) ;; 404) # 一覧にもないことを確かめてから「ない」とする - list=$(runpod_api GET /pods) || return 1 + list=$(lab_list_pods) || return 1 lab_valid_pods "$list" || return 1 - jq -e --arg id "$id" 'any(.[]; .id == $id and .desiredStatus != "TERMINATED")' <<<"$list" >/dev/null 2>&1 + jq -e --arg id "$id" 'any(.[]; .id == $id and .status != "TERMINATED")' <<<"$list" >/dev/null 2>&1 rc=$? [ $rc = 1 ] && { LAB_POD_KIND=gone; return 0; } return 1 ;; *) return 1 ;; esac jq -e --arg id "$id" 'type == "object" and .id == $id' <<<"$j" >/dev/null 2>&1 || return 1 - LAB_POD_STATUS=$(jq -r '.desiredStatus // ""' <<<"$j") + LAB_POD_STATUS=$(jq -r '.status // ""' <<<"$j") case "$LAB_POD_STATUS" in - RUNNING) LAB_POD_KIND=running ;; + PROVISIONING|STARTING|RUNNING) LAB_POD_KIND=running ;; EXITED) LAB_POD_KIND=stopped ;; TERMINATED) LAB_POD_KIND=gone ;; *) return 1 ;; @@ -246,8 +267,23 @@ lab_archive_state() { # lab_archive_state FILE → 消さずに <名前>_< # ---- Pod の準備で流すコマンド (lab_start.sh 3b〜3f と lab_train.sh が同じものを流す. 依頼 49 で lab_start.sh から移した) ---- LAB_OPENPI_COMMIT=215abfb -LAB_TEMPLATE_ID=runpod-torch-v280 LAB_IMAGE=runpod/pytorch:1.0.2-cu1281-torch280-ubuntu2404 +# 依頼 240: v1 では templateId runpod-torch-v280 に volumeInGb:0 を重ねて, /workspace を 200GB のコンテナのディスクに置いていた. +# v2 ではテンプレートの /workspace 50GB の persistent が付いてしまうので, テンプレートは使わず中身を体に書く. +# CUDA の下限はテンプレートの allowedCudaVersions (12.8〜) と同じ. イメージが cu128 なので, それより古いホストに置かせない +LAB_MIN_CUDA=12.8 + +lab_pod_body() { # lab_pod_body 名前 GPU → POST /pods の体 (v2). SSH は PUBLIC_KEY (イメージが sshd を起こす). ボリュームなし + jq -n --arg name "$1" --arg gpu "$2" --arg img "$LAB_IMAGE" --arg cuda "$LAB_MIN_CUDA" \ + --arg pk "$(cat "$POD_SSH_KEY.pub")" \ + '{name:$name, image:$img, gpu:{id:$gpu, count:1, minCudaVersion:$cuda}, + cloud:"SECURE", disk:200, ports:["22/tcp"], env:{PUBLIC_KEY:$pk}}' +} + +lab_api_msg() { # lab_api_msg 答え → API の失敗の文 (v2 は RFC 9457 の detail・errors. v1 の error・message も読む) + jq -r 'if type == "object" then ([.detail, (.errors // [] | join("; "))] | map(select(. != null and . != "")) | join(" / ")) + as $d | (if $d != "" then $d else (.error // .message // .title // tostring) end) else tostring end' <<<"$1" 2>/dev/null || echo "$1" +} lab_cmd_hf_install() { echo "pip install -q -U --break-system-packages huggingface_hub"; } @@ -591,7 +627,7 @@ lab_watchdog_script() { # Pod 側の上限の見張り (lab_train.sh が /wo # (ssh のシェルには入っていないことがあるので, 1 番のプロセスの環境と /etc/rp_environment からも探す). 鍵は書き出さない F=${LAB_WD_DEADLINE:-/workspace/logs/.lab_deadline} # 上限の時刻 (epoch). lab_train.sh が書き換えて延ばす L=${LAB_WD_LOG:-/workspace/logs/watchdog.log} -RUNPOD_REST=${LAB_WD_API:-https://rest.runpod.io/v1} +RUNPOD_REST=${LAB_WD_API:-https://api.runpod.io/v2} # 依頼 240: v2. 消すのは DELETE /pods/ (204) penv() { { tr '\0' '\n' < /proc/1/environ; sed -E 's/^export //; s/"//g' /etc/rp_environment; } 2>/dev/null \ | sed -n "s/^$1=//p" | head -1 diff --git a/lab_start.sh b/lab_start.sh index 394710d..e71b566 100755 --- a/lab_start.sh +++ b/lab_start.sh @@ -201,8 +201,6 @@ POLICY_CONFIG=$MODEL_CONFIG # サ NORM_STATS=assets/local/$MODEL_DATA/norm_stats.json # 3f が写す assets (CKPT からの相対) MODEL_TAG="$MODEL ($HF_REPO)" # 記録に残すモデルの名前 LISTEN_WAIT=30; LISTEN_POLL=5 # プロセスはあるのに 8000 番で待っていないとき, 何秒待つか・何秒おきに見るか -TEMPLATE_ID=$LAB_TEMPLATE_ID -IMAGE=$LAB_IMAGE # ---- 段階ごとの秒数 ---- T_NAMES=(); T_SECS=() @@ -301,35 +299,34 @@ if [ $REATTACH = 1 ]; then echo "[POD ] 記録の最後のモデル: $(jq -r '.model // "trim (記録なし. 依頼 52 より前は trim だけ)"' "$STATE") 今回: --model $MODEL" CUR_STAGE="1. Pod につなぎ直す" else - others=$(runpod_api GET /pods) || fail "Pod の一覧を API から取れない (HTTP $RUNPOD_HTTP)" + others=$(lab_list_pods) || fail "Pod の一覧を API から取れない (HTTP $RUNPOD_HTTP)" lab_valid_pods "$others" || fail "Pod の一覧の答えが読めない. 二重に借りないよう止まります" - same=$(jq -r --arg name "p2m-$LOG" '.[] | select(.name == $name and .desiredStatus != "TERMINATED") | .id' <<<"$others") + same=$(jq -r --arg name "p2m-$LOG" '.[] | select(.name == $name and .status != "TERMINATED") | .id' <<<"$others") if [ -n "$same" ]; then fail "記録にない $LOG の Pod (p2m-$LOG, id $(echo $same)) が残っている. 二重に借りないよう止まります (Runpod の画面か ./lab_stop.sh --check で確かめる)" fi n_others=$(jq 'length' <<<"$others") if [ "$n_others" -gt 0 ]; then echo "[WARN ] ほかに Pod が $n_others 個あります (消し忘れなら ./lab_stop.sh --check で確かめる):" - jq -r '.[] | " \(.id) \(.name) \(.desiredStatus) \(.costPerHr) ドル/時"' <<<"$others" + jq -r '.[] | " \(.id) \(.name) \(.status) \(.cost) ドル/時"' <<<"$others" fi - body=$(jq -n --arg name "p2m-$LOG" --arg gpu "$GPU_ID" --arg tpl "$TEMPLATE_ID" --arg img "$IMAGE" \ - --arg pk "$(cat "$POD_SSH_KEY.pub")" \ - '{name:$name, templateId:$tpl, imageName:$img, gpuTypeIds:[$gpu], gpuCount:1, - cloudType:"SECURE", containerDiskInGb:200, volumeInGb:0, ports:["22/tcp"], - env:{PUBLIC_KEY:$pk}}') + body=$(lab_pod_body "p2m-$LOG" "$GPU_ID") for attempt in 1 2 3 4 5; do - resp=$(runpod_api POST /pods "$body") && break - msg=$(jq -r '.error // .message // .' <<<"$resp" 2>/dev/null || echo "$resp") + out=$(mktemp) + runpod_api POST /pods "$body" > "$out"; ok=$? # $(...) に入れない (RUNPOD_HTTP を残す. 依頼 240 の codex R1) + resp=$(cat "$out"); rm -f "$out" + [ $ok = 0 ] && break + msg=$(lab_api_msg "$resp") echo "[POD ] 作れなかった ($attempt/5, HTTP $RUNPOD_HTTP): $msg" - case "$msg" in - *resources*|*"no longer any instances"*|*"not available"*|*"no instances"*) + case "$RUNPOD_HTTP $msg" in # v2 は空きがないとき 400 (文だけで見分ける. 依頼 240) + "400 "*|*resources*|*"no longer any instances"*|*"not available"*|*"no instances"*) [ "$attempt" -lt 5 ] && { echo "[POD ] 30 秒待って作り直します"; sleep 30; continue; } ;; esac fail "Pod を作れない: $msg" done POD_ID=$(jq -r '.id // ""' <<<"$resp") [ -n "$POD_ID" ] || fail "API の答えに Pod の id がない" - COST_PER_HR=$(jq -r '.costPerHr // 0' <<<"$resp") + COST_PER_HR=$(jq -r '.cost // 0' <<<"$resp") POD_T0=$(date +%s) jq -n --arg id "$POD_ID" --arg gpu "$GPU_ID" --arg log "$LOG" --argjson cost "$COST_PER_HR" --argjson t0 "$POD_T0" \ --arg model "$MODEL" --arg repo "$HF_REPO" \ diff --git a/lab_stop.sh b/lab_stop.sh index 59e1b47..03000f6 100755 --- a/lab_stop.sh +++ b/lab_stop.sh @@ -44,13 +44,13 @@ close_tunnel() { list_pods() { # 残っている Pod を出す. 戻り値は数 local j n - j=$(runpod_api GET /pods) || { echo "[ERROR] Pod の一覧を API から取れない (HTTP $RUNPOD_HTTP)" >&2; return 255; } + j=$(lab_list_pods) || { echo "[ERROR] Pod の一覧を API から取れない (HTTP $RUNPOD_HTTP)" >&2; return 255; } n=$(jq 'length' <<<"$j") if [ "$n" -eq 0 ]; then echo "[CHECK ] 残っている Pod はありません" else echo "[CHECK ] 残っている Pod が $n 個あります:" - jq -r '.[] | " \(.id) \(.name) \(.desiredStatus) \(.costPerHr) ドル/時"' <<<"$j" + jq -r '.[] | " \(.id) \(.name) \(.status) \(.cost) ドル/時"' <<<"$j" fi return "$n" } @@ -124,8 +124,8 @@ else fi gone=0 for _ in $(seq 1 30); do - if pods=$(runpod_api GET /pods) && lab_valid_pods "$pods" \ - && ! jq -e --arg id "$POD_ID" 'any(.[]; .id == $id and .desiredStatus != "TERMINATED")' <<<"$pods" >/dev/null; then + if pods=$(lab_list_pods) && lab_valid_pods "$pods" \ + && ! jq -e --arg id "$POD_ID" 'any(.[]; .id == $id and .status != "TERMINATED")' <<<"$pods" >/dev/null; then gone=1; break fi sleep 5 diff --git a/lab_train.sh b/lab_train.sh index ebfd06b..a9a86e3 100755 --- a/lab_train.sh +++ b/lab_train.sh @@ -440,8 +440,8 @@ delete_pod() { # Pod を消し (停止ではなく削除), 一覧 [ $sent = 1 ] && echo "[STOP ] 削除 (Terminate) を送った ($(date -r "$t_end" '+%H:%M:%S'))" fi for _ in $(seq 1 "$([ "${sent:-1}" = 1 ] && echo "$GONE_TRIES" || echo 1)"); do - if pods=$(runpod_api GET /pods) && lab_valid_pods "$pods" \ - && ! jq -e --arg id "$POD_ID" 'any(.[]; .id == $id and .desiredStatus != "TERMINATED")' <<<"$pods" >/dev/null; then + if pods=$(lab_list_pods) && lab_valid_pods "$pods" \ + && ! jq -e --arg id "$POD_ID" 'any(.[]; .id == $id and .status != "TERMINATED")' <<<"$pods" >/dev/null; then gone=1; break fi sleep "$GONE_WAIT" @@ -719,14 +719,14 @@ if [ -f "$STATE" ]; then lab_archive_state "$STATE" || early_fail "古い $STATE を残せない" echo "[POD ] 前の記録は $LAB_ARCHIVED に残しました" fi -others=$(runpod_api GET /pods) || early_fail "Pod の一覧を API から取れない (HTTP $RUNPOD_HTTP)" +others=$(lab_list_pods) || early_fail "Pod の一覧を API から取れない (HTTP $RUNPOD_HTTP)" lab_valid_pods "$others" || early_fail "Pod の一覧の答えが読めない. 二重に借りないよう止めます" -same=$(jq -r --arg name "p2m-train-$LOG" '.[] | select(.name == $name and .desiredStatus != "TERMINATED") | .id' <<<"$others") +same=$(jq -r --arg name "p2m-train-$LOG" '.[] | select(.name == $name and .status != "TERMINATED") | .id' <<<"$others") [ -z "$same" ] || early_fail "記録にない p2m-train-$LOG の Pod (id $(echo $same)) が残っている. 二重に借りないよう止めます (./lab_stop.sh --check)" n_others=$(jq 'length' <<<"$others") if [ "$n_others" -gt 0 ]; then echo "[WARN ] ほかに Pod が $n_others 個あります (消し忘れなら ./lab_stop.sh --check で確かめる):" - jq -r '.[] | " \(.id) \(.name) \(.desiredStatus) \(.costPerHr) ドル/時"' <<<"$others" + jq -r '.[] | " \(.id) \(.name) \(.status) \(.cost) ドル/時"' <<<"$others" fi GPUS=("$GPU_ID") if [ $FALLBACK = 1 ]; then for g in "${FALLBACK_GPUS[@]}"; do [ "$g" = "$GPU_ID" ] || GPUS+=("$g"); done; fi @@ -734,11 +734,7 @@ for gi in "${!GPUS[@]}"; do g=${GPUS[$gi]} tries=$([ "$gi" = 0 ] && echo 5 || echo 2) echo "[POD ] $g を借ります (空きがなければ $CREATE_WAIT 秒おきに $tries 回まで)" - body=$(jq -n --arg name "p2m-train-$LOG" --arg gpu "$g" --arg tpl "$LAB_TEMPLATE_ID" --arg img "$LAB_IMAGE" \ - --arg pk "$(cat "$POD_SSH_KEY.pub")" \ - '{name:$name, templateId:$tpl, imageName:$img, gpuTypeIds:[$gpu], gpuCount:1, - cloudType:"SECURE", containerDiskInGb:200, volumeInGb:0, ports:["22/tcp"], - env:{PUBLIC_KEY:$pk}}') + body=$(lab_pod_body "p2m-train-$LOG" "$g") busy=0 for attempt in $(seq 1 "$tries"); do out=$(mktemp) @@ -747,13 +743,13 @@ for gi in "${!GPUS[@]}"; do if [ $ok = 0 ]; then POD_ID=$(jq -r '.id // ""' <<<"$resp") [ -n "$POD_ID" ] || early_fail "API の答えに Pod の id がない" - COST_PER_HR=$(jq -r '.costPerHr // 0' <<<"$resp"); GPU_USED=$g + COST_PER_HR=$(jq -r '.cost // 0' <<<"$resp"); GPU_USED=$g break 2 fi - msg=$(jq -r '.error // .message // .' <<<"$resp" 2>/dev/null || echo "$resp") + msg=$(lab_api_msg "$resp") echo "[POD ] 作れなかった ($g $attempt/$tries, HTTP $RUNPOD_HTTP): $msg" - case "$msg" in - *resources*|*"no longer any instances"*|*"not available"*|*"no instances"*) busy=1 ;; + case "$RUNPOD_HTTP $msg" in # v2 は空きがないとき 400 (文だけで見分ける. 依頼 240) + "400 "*|*resources*|*"no longer any instances"*|*"not available"*|*"no instances"*) busy=1 ;; *) early_fail "Pod を作れない: $msg" ;; esac [ "$attempt" -lt "$tries" ] && { echo "[POD ] $CREATE_WAIT 秒待って作り直します"; sleep "$CREATE_WAIT"; } diff --git a/lab_train_fakes.sh b/lab_train_fakes.sh index 874a845..4146119 100644 --- a/lab_train_fakes.sh +++ b/lab_train_fakes.sh @@ -100,37 +100,43 @@ fake_make_ckpt() { # fake_make_ckpt フォルダ [ずらす] → fake_c } fake_n() { echo x >> "$LAB_DRY_ROOT/fake/$1.n"; wc -l < "$LAB_DRY_ROOT/fake/$1.n" | tr -d ' '; } -runpod_api() { +runpod_api() { # v2 の形で答える (依頼 240) local m="$1" p="$2" data="${3:-}" gpu echo "$m $p" >> "$LAB_DRY_ROOT/calls.log" case "$m $p" in "POST /pods") - gpu=$(jq -r '.gpuTypeIds[0]' <<<"$data"); echo "POST gpu=$gpu name=$(jq -r .name <<<"$data")" >> "$LAB_DRY_ROOT/calls.log" - if [ "$LAB_FAKE_SCENARIO" = all_busy ] || { [ "$LAB_FAKE_SCENARIO" = gpu_busy ] && [ "$gpu" = "NVIDIA A40" ]; }; then - echo '{"error":"There are no longer any instances available with the requested specifications."}'; RUNPOD_HTTP=500 + gpu=$(jq -r '.gpu.id' <<<"$data"); echo "POST gpu=$gpu name=$(jq -r .name <<<"$data")" >> "$LAB_DRY_ROOT/calls.log" + echo "$data" > "$LAB_DRY_ROOT/fake/post_body.json" + if [ "$LAB_FAKE_SCENARIO" = bad_body ]; then + echo '{"title":"Unprocessable Entity","status":422,"detail":"Request validation failed.","errors":["$: additional properties '"'"'bogus'"'"' not allowed"]}'; RUNPOD_HTTP=422 + elif [ "$LAB_FAKE_SCENARIO" = all_busy ]; then # v2 は空きがないとき 400 で, 決まった文はない + echo '{"title":"Bad Request","status":400,"detail":"could not place pod on the requested GPU"}'; RUNPOD_HTTP=400 + elif [ "$LAB_FAKE_SCENARIO" = gpu_busy ] && [ "$gpu" = "NVIDIA A40" ]; then + echo '{"title":"Bad Request","status":400,"detail":"There are no longer any instances available with the requested specifications."}'; RUNPOD_HTTP=400 else - echo "{\"id\":\"$FAKE_POD_ID\",\"costPerHr\":0.44}"; RUNPOD_HTTP=200 + echo "{\"id\":\"$FAKE_POD_ID\",\"name\":\"$(jq -r .name <<<"$data")\",\"status\":\"PROVISIONING\",\"cost\":0.44}"; RUNPOD_HTTP=201 echo "$gpu" > "$LAB_DRY_ROOT/fake/created" fi ;; "GET /pods") if [ -f "$LAB_DRY_ROOT/fake/created" ] && [ ! -f "$LAB_DRY_ROOT/fake/deleted" ]; then - echo "[{\"id\":\"$FAKE_POD_ID\",\"name\":\"p2m-train-x\",\"desiredStatus\":\"RUNNING\",\"costPerHr\":0.44}]" + echo "{\"pods\":[{\"id\":\"$FAKE_POD_ID\",\"name\":\"p2m-train-x\",\"status\":\"RUNNING\",\"cost\":0.44}],\"pagination\":{\"hasNextPage\":false,\"nextCursor\":null}}" else - cat "$LAB_DRY_ROOT/fake/others.json" 2>/dev/null || echo '[]' + jq -c '{pods: ., pagination: {hasNextPage: false, nextCursor: null}}' "$LAB_DRY_ROOT/fake/others.json" 2>/dev/null \ + || echo '{"pods":[],"pagination":{"hasNextPage":false,"nextCursor":null}}' fi RUNPOD_HTTP=200 ;; "GET /pods/"*) if [ "${p#/pods/}" = "$FAKE_POD_ID" ] && [ -f "$LAB_DRY_ROOT/fake/created" ] && [ ! -f "$LAB_DRY_ROOT/fake/deleted" ]; then - echo "{\"id\":\"$FAKE_POD_ID\",\"desiredStatus\":\"RUNNING\",\"publicIp\":\"10.9.8.7\",\"portMappings\":{\"22\":40123}}" + echo "{\"id\":\"$FAKE_POD_ID\",\"status\":\"RUNNING\",\"ssh\":{\"proxy\":null,\"direct\":{\"host\":\"10.9.8.7\",\"port\":40123,\"username\":\"root\",\"command\":\"ssh\"}}}" RUNPOD_HTTP=200 else - echo '{"error":"pod not found"}'; RUNPOD_HTTP=404 + echo '{"title":"Not Found","status":404,"detail":"pod not found"}'; RUNPOD_HTTP=404 fi ;; "DELETE /pods/"*) if [ "$LAB_FAKE_SCENARIO" = delete_fail ] || { [ "$LAB_FAKE_SCENARIO" = delete_flaky ] && [ "$(fake_n delete)" = 1 ]; }; then - echo '{"error":"internal"}'; RUNPOD_HTTP=500 - else echo '{}'; RUNPOD_HTTP=200; touch "$LAB_DRY_ROOT/fake/deleted"; fi ;; - *) echo '{}'; RUNPOD_HTTP=404 ;; + echo '{"title":"Internal Server Error","status":500,"detail":"internal"}'; RUNPOD_HTTP=500 + else RUNPOD_HTTP=204; touch "$LAB_DRY_ROOT/fake/deleted"; fi ;; + *) echo '{"title":"Not Found","status":404,"detail":"not found"}'; RUNPOD_HTTP=404 ;; esac case "$RUNPOD_HTTP" in 2??) return 0 ;; *) return 1 ;; esac } diff --git a/test_lab_start.sh b/test_lab_start.sh index fba8737..98810f4 100755 --- a/test_lab_start.sh +++ b/test_lab_start.sh @@ -40,30 +40,45 @@ RUNPOD_KEY_FILE="\$T/keys/runpod"; HF_TOKEN_FILE="\$T/keys/hf"; POD_SSH_KEY="\$T . "\$T/fakes.sh" EOF cat > "$T/fakes.sh" <<'EOF' -runpod_api() { # api/ の答えを返す. DELETE のあとは, その Pod はないことにする - local m="$1" p="$2" id +v2page() { # v2page 配列のファイル [次のページの cursor] → v2 の一覧の答え (依頼 240). 配列でなければそのまま (読めない答えのテスト) + if jq -e 'type == "array"' "$1" >/dev/null 2>&1; then + jq -c --arg c "${2:-}" '{pods: ., pagination: {hasNextPage: ($c != ""), nextCursor: (if $c == "" then null else $c end)}}' "$1" + else cat "$1"; fi +} +runpod_api() { # api/ の答えを返す (v2 の形. 依頼 240). DELETE のあとは, その Pod はないことにする + local m="$1" p="$2" id f echo "$m $p" >> "$T/calls.log" case "$m $p" in - "GET /pods") + "GET /pods") # api/list2.json があれば 2 ページに分ける (cursor c2) [ -f "$T/api/list_delay" ] && . "$T/api/list_delay" + f=$(mktemp) if [ -f "$T/api/deleted" ] && [ -f "$T/api/list_after.txt" ]; then - cat "$T/api/list_after.txt" + cp "$T/api/list_after.txt" "$f" elif [ -f "$T/api/deleted" ]; then - jq --arg id "$(cat "$T/api/deleted")" 'map(select(.id != $id))' "$T/api/list.json" - else cat "$T/api/list.json"; fi + jq --arg id "$(cat "$T/api/deleted")" 'map(select(.id != $id))' "$T/api/list.json" > "$f" + else cp "$T/api/list.json" "$f"; fi + if [ -f "$T/api/list.raw" ]; then cat "$T/api/list.raw" # 答えをそのまま返す (形の違う答えのテスト) + else v2page "$f" "$([ -f "$T/api/list2.json" ] && echo c2)"; fi; rm -f "$f" RUNPOD_HTTP=$(cat "$T/api/list.code" 2>/dev/null || echo 200) ;; + "GET /pods?cursor=c2") + v2page "$T/api/list2.json"; RUNPOD_HTTP=$(cat "$T/api/list2.code" 2>/dev/null || echo 200) ;; "GET /pods/"*) id=${p#/pods/} if [ -f "$T/api/deleted" ] && [ "$(cat "$T/api/deleted")" = "$id" ]; then - echo '{"error":"pod not found"}'; RUNPOD_HTTP=404 + echo '{"title":"Not Found","status":404,"detail":"pod not found"}'; RUNPOD_HTTP=404 elif [ "$id" = "$ID_NEW" ]; then - echo "{\"id\":\"$ID_NEW\",\"desiredStatus\":\"RUNNING\",\"publicIp\":\"10.9.8.7\",\"portMappings\":{\"22\":40123}}" + echo "{\"id\":\"$ID_NEW\",\"status\":\"RUNNING\",\"ssh\":{\"proxy\":null,\"direct\":{\"host\":\"10.9.8.7\",\"port\":40123,\"username\":\"root\",\"command\":\"ssh\"}}}" RUNPOD_HTTP=200 else cat "$T/api/pod.json"; RUNPOD_HTTP=$(cat "$T/api/pod.code") fi ;; "POST /pods") - echo "{\"id\":\"$ID_NEW\",\"costPerHr\":0.59}"; RUNPOD_HTTP=200 ;; + echo "$3" > "$T/api/post_body.json" + if [ -f "$T/api/post_400_once" ]; then # 1 回目だけ空きなし (v2 は 400・決まった文なし) + rm -f "$T/api/post_400_once"; echo '{"title":"Bad Request","status":400,"detail":"could not place pod on the requested GPU"}'; RUNPOD_HTTP=400 + return 1 + fi + echo "{\"id\":\"$ID_NEW\",\"cost\":0.59}"; RUNPOD_HTTP=201 ;; "DELETE /pods/"*) RUNPOD_HTTP=$(cat "$T/api/delete.code" 2>/dev/null || echo 200) case "$RUNPOD_HTTP" in 2??) echo "${p#/pods/}" > "$T/api/deleted" ;; esac @@ -112,7 +127,7 @@ serve_dir() { echo "SERVE_DIR $1" > "$T/api/serve_dir.txt"; } has() { grep -qF -- "$2" "$T/$1"; } n_call() { grep -c -- "^$1" "$T/calls.log"; } archived() { ls "$T/data/lab/LogT/pod/" | grep -cE '^lab_pod_[0-9]{8}_[0-9]{6}(_[0-9]+)?\.json$'; } -RUNNING="{\"id\":\"$ID_OLD\",\"desiredStatus\":\"RUNNING\",\"publicIp\":\"10.1.2.3\",\"portMappings\":{\"22\":40999}}" +RUNNING="{\"id\":\"$ID_OLD\",\"status\":\"RUNNING\",\"ssh\":{\"proxy\":null,\"direct\":{\"host\":\"10.1.2.3\",\"port\":40999,\"username\":\"root\",\"command\":\"ssh\"}}}" echo "== 1. RUNNING・サーバーが待っている → つなぎ直し, 3b〜4 を飛ばす" setup; state $ID_OLD; pod 200 "$RUNNING"; probe 1 1 1 1 1; run @@ -204,8 +219,8 @@ check "書き換わっている (テストの前提)" 'grep -q "REWRITTEN-RAN" " rm -rf "$T" echo "== 5. 記録の Pod が止まっている (EXITED) → lab_stop.sh と同じ消し方で消してから作る" -setup; state $ID_OLD; pod 200 "{\"id\":\"$ID_OLD\",\"desiredStatus\":\"EXITED\"}" -echo "[{\"id\":\"$ID_OLD\",\"name\":\"p2m-LogT\",\"desiredStatus\":\"EXITED\",\"costPerHr\":0.59}]" > "$T/api/list.json" +setup; state $ID_OLD; pod 200 "{\"id\":\"$ID_OLD\",\"status\":\"EXITED\"}" +echo "[{\"id\":\"$ID_OLD\",\"name\":\"p2m-LogT\",\"status\":\"EXITED\",\"cost\":0.59}]" > "$T/api/list.json" probe 1 1 1 1 1; run check "終了コード 0" '[ $RC = 0 ]' check "止まっていると出す" 'has out.txt "(id $ID_OLD) は止まっています (状態 EXITED)"' @@ -217,19 +232,19 @@ check "新しい Pod は全部の準備を流す" 'has ssh.log "hf download" && rm -rf "$T" echo "== 6. 記録の Pod が API にない (404・一覧にもない) → 作る" -setup; state $ID_OLD; pod 404 '{"error":"pod not found"}'; run +setup; state $ID_OLD; pod 404 '{"title":"Not Found","status":404,"detail":"pod not found"}'; run check "終了コード 0・DELETE なし・POST 1 回" '[ $RC = 0 ] && [ $(n_call DELETE) = 0 ] && [ $(n_call POST) = 1 ]' check "古い記録は時刻付きで残る" '[ $(archived) = 1 ] && has out.txt "は API で見ると残っていない"' rm -rf "$T" echo "== 7. 記録の Pod が TERMINATED (200 で返る) → 作る" -setup; state $ID_OLD; pod 200 "{\"id\":\"$ID_OLD\",\"desiredStatus\":\"TERMINATED\"}"; run +setup; state $ID_OLD; pod 200 "{\"id\":\"$ID_OLD\",\"status\":\"TERMINATED\"}"; run check "終了コード 0・DELETE なし・POST 1 回・古い記録を残す" '[ $RC = 0 ] && [ $(n_call DELETE) = 0 ] && [ $(n_call POST) = 1 ] && [ $(archived) = 1 ]' rm -rf "$T" echo "== 8. GET が 500 で, 一覧にはまだある → 分からないので止まる (作らない)" setup; state $ID_OLD; pod 500 '{"error":"internal"}' -echo "[{\"id\":\"$ID_OLD\",\"name\":\"p2m-LogT\",\"desiredStatus\":\"RUNNING\",\"costPerHr\":0.59}]" > "$T/api/list.json"; run +echo "[{\"id\":\"$ID_OLD\",\"name\":\"p2m-LogT\",\"status\":\"RUNNING\",\"cost\":0.59}]" > "$T/api/list.json"; run check "終了コード 1・POST・DELETE なし" '[ $RC = 1 ] && [ $(n_call POST) = 0 ] && [ $(n_call DELETE) = 0 ]' check "二重に借りないよう止まると出す・記録はそのまま" 'has out.txt "二重に借りないよう止まります" && [ $(archived) = 0 ]' rm -rf "$T" @@ -245,12 +260,12 @@ check "終了コード 1・POST・DELETE なし" '[ $RC = 1 ] && [ $(n_call POST rm -rf "$T" echo "== 11. 記録はないが p2m-LogT が残っている → 止まる" -setup; echo "[{\"id\":\"$ID_OLD\",\"name\":\"p2m-LogT\",\"desiredStatus\":\"RUNNING\",\"costPerHr\":0.59}]" > "$T/api/list.json"; run +setup; echo "[{\"id\":\"$ID_OLD\",\"name\":\"p2m-LogT\",\"status\":\"RUNNING\",\"cost\":0.59}]" > "$T/api/list.json"; run check "終了コード 1・POST なし" '[ $RC = 1 ] && [ $(n_call POST) = 0 ] && has out.txt "記録にない LogT の Pod"' rm -rf "$T" echo "== 12. 記録がなく, ほかの Log の Pod だけが残っている → 今までどおり作る" -setup; echo "[{\"id\":\"other01\",\"name\":\"p2m-Log16\",\"desiredStatus\":\"RUNNING\",\"costPerHr\":0.59}]" > "$T/api/list.json"; run +setup; echo "[{\"id\":\"other01\",\"name\":\"p2m-Log16\",\"status\":\"RUNNING\",\"cost\":0.59}]" > "$T/api/list.json"; run check "終了コード 0・POST 1 回・ほかの Pod の WARN" '[ $RC = 0 ] && [ $(n_call POST) = 1 ] && has out.txt "ほかに Pod が 1 個あります"' check "準備を全部流す・つなぎ直しの行はない" 'has ssh.log "hf download" && has ssh.log "git clone" && has ssh.log "uv sync" && ! has out.txt "つなぎ直し"' rm -rf "$T" @@ -268,24 +283,50 @@ rm -rf "$T" echo "== 16. 記録がなく, 一覧の答えが読めない (null・{}・壊れた JSON・空・id のない要素) → 止まる" for bad in 'null' '{}' 'garbage' '' '[{"name":"p2m-LogT"}]'; do setup; printf '%s' "$bad" > "$T/api/list.json"; run - check "一覧 '$bad': 終了コード 1・POST なし" '[ $RC = 1 ] && [ $(n_call POST) = 0 ] && has out.txt "一覧の答えが読めない"' + check "一覧 '$bad': 終了コード 1・POST なし" '[ $RC = 1 ] && [ $(n_call POST) = 0 ] && { has out.txt "一覧の答えが読めない" || has out.txt "一覧を API から取れない"; }' + rm -rf "$T" +done +# v1 の形 (はだかの配列)・pagination のない答えは読めないものとして止まる (依頼 240) +for bad in '[]' '{"pods":[]}' '{"pods":[],"pagination":{}}'; do + setup; printf '%s' "$bad" > "$T/api/list.raw"; run + check "一覧 '$bad' (v2 の形でない): 終了コード 1・POST なし" '[ $RC = 1 ] && [ $(n_call POST) = 0 ] && has out.txt "一覧を API から取れない"' rm -rf "$T" done +echo "== 16b. 一覧が 2 ページ (v2 は 1 ページ 1000 個まで. 依頼 240)" +setup; echo '[{"id":"other01","name":"p2m-Log16","status":"RUNNING","cost":0.59}]' > "$T/api/list.json" +echo "[{\"id\":\"$ID_OLD\",\"name\":\"p2m-LogT\",\"status\":\"RUNNING\",\"cost\":0.59}]" > "$T/api/list2.json"; run +check "2 ページ目まで読み, 記録にない p2m-LogT で止まる" '[ $RC = 1 ] && [ $(n_call POST) = 0 ] && [ $(n_call "GET /pods?cursor=c2") = 1 ] && has out.txt "記録にない LogT の Pod"' +rm -rf "$T" +setup; echo '[]' > "$T/api/list.json"; echo '[]' > "$T/api/list2.json"; echo 500 > "$T/api/list2.code"; run +check "2 ページ目が取れなければ止まる (作らない)" '[ $RC = 1 ] && [ $(n_call POST) = 0 ] && has out.txt "一覧を API から取れない"' +rm -rf "$T" +setup; echo '[{"id":"other01","name":"p2m-Log16","status":"RUNNING","cost":0.59}]' > "$T/api/list.json" +echo '[{"id":"other02","name":"p2m-Log17","status":"EXITED","cost":0.59}]' > "$T/api/list2.json"; run +check "2 ページともほかの Log なら作る・2 個と出す" '[ $RC = 0 ] && [ $(n_call POST) = 1 ] && has out.txt "ほかに Pod が 2 個あります" && has out.txt "other02 p2m-Log17 EXITED 0.59 ドル/時"' +check "作る体は v2 の形 (テンプレートなし・ボリュームなし)" 'jq -e ".name == \"p2m-LogT\" and .gpu.count == 1 and .gpu.minCudaVersion == \"12.8\" and .disk == 200 and .ports == [\"22/tcp\"] and (has(\"templateId\") or has(\"mounts\") or has(\"imageName\") | not)" "$T/api/post_body.json" >/dev/null' +check "答えの cost を記録に残す" '[ "$(jq -r .costPerHr "$T/data/lab/LogT/pod/lab_pod.json")" = 0.59 ]' +rm -rf "$T" + +echo "== 16c. 作るときの 400 (空きなし・文は決まっていない) は待って作り直す (依頼 240 の codex R1)" +setup; touch "$T/api/post_400_once"; run +check "400 のあと作り直して終了コード 0・POST 2 回・HTTP 400 と出す" '[ $RC = 0 ] && [ $(n_call POST) = 2 ] && has out.txt "作れなかった (1/5, HTTP 400): could not place pod on the requested GPU"' +rm -rf "$T" + echo "== 17. 記録がなく, 一覧が取れない (500) → 止まる" setup; echo 500 > "$T/api/list.code"; run check "終了コード 1・POST なし" '[ $RC = 1 ] && [ $(n_call POST) = 0 ]' rm -rf "$T" echo "== 18. 200 だが id が記録と違う / {} → 止まる" -for body in '{"id":"someoneelse","desiredStatus":"RUNNING"}' '{}' '[]'; do +for body in '{"id":"someoneelse","status":"RUNNING"}' '{}' '[]'; do setup; state $ID_OLD; pod 200 "$body"; run check "答え '$body': 終了コード 1・POST・DELETE なし・記録はそのまま" '[ $RC = 1 ] && [ $(n_call POST) = 0 ] && [ $(n_call DELETE) = 0 ] && [ $(archived) = 0 ]' rm -rf "$T" done echo "== 19. 知らない状態 (CREATED) → 消さずに止まる" -setup; state $ID_OLD; pod 200 "{\"id\":\"$ID_OLD\",\"desiredStatus\":\"CREATED\"}"; run +setup; state $ID_OLD; pod 200 "{\"id\":\"$ID_OLD\",\"status\":\"CREATED\"}"; run check "終了コード 1・POST・DELETE なし" '[ $RC = 1 ] && [ $(n_call POST) = 0 ] && [ $(n_call DELETE) = 0 ]' rm -rf "$T" @@ -295,12 +336,12 @@ check "終了コード 1・POST なし・一覧を見ない" '[ $RC = 1 ] && [ $ rm -rf "$T" echo "== 21. EXITED を消そうとして DELETE が失敗 → 作らずに止まる" -setup; state $ID_OLD; pod 200 "{\"id\":\"$ID_OLD\",\"desiredStatus\":\"EXITED\"}"; echo 500 > "$T/api/delete.code"; run +setup; state $ID_OLD; pod 200 "{\"id\":\"$ID_OLD\",\"status\":\"EXITED\"}"; echo 500 > "$T/api/delete.code"; run check "終了コード 1・POST なし・記録はそのまま" '[ $RC = 1 ] && [ $(n_call POST) = 0 ] && [ $(archived) = 0 ] && has out.txt "止まっている Pod (id $ID_OLD) を消せない"' rm -rf "$T" echo "== 22. EXITED を DELETE したあと, 一覧の答えが読めない → 消えたと見なさず止まる (lab_stop.sh が 2 分半待つ)" -setup; state $ID_OLD; pod 200 "{\"id\":\"$ID_OLD\",\"desiredStatus\":\"EXITED\"}"; echo 'garbage' > "$T/api/list_after.txt"; run +setup; state $ID_OLD; pod 200 "{\"id\":\"$ID_OLD\",\"status\":\"EXITED\"}"; echo 'garbage' > "$T/api/list_after.txt"; run check "終了コード 1・POST なし・記録は残る" '[ $RC = 1 ] && [ $(n_call POST) = 0 ] && [ -f "$T/data/lab/LogT/pod/lab_pod.json" ] && [ $(archived) = 0 ]' rm -rf "$T" diff --git a/test_lab_train.sh b/test_lab_train.sh index f368a6c..b03e560 100755 --- a/test_lab_train.sh +++ b/test_lab_train.sh @@ -138,6 +138,15 @@ run all_busy --no-fallback check "--no-fallback は A40 だけ" '[ $(n_call "POST gpu=NVIDIA A40") = 5 ] && [ $(n_call "POST gpu=NVIDIA RTX A6000") = 0 ]' rm -rf "$T" +echo "== 10b. Runpod API v2 の体と失敗の扱い (依頼 240)" +run success +check "作る体は v2 の形 (gpu.id・count 1・CUDA 12.8 以上・SECURE・disk 200・22/tcp・PUBLIC_KEY・テンプレートとボリュームなし)" 'jq -e ".name == \"p2m-train-LogT\" and .image == \"runpod/pytorch:1.0.2-cu1281-torch280-ubuntu2404\" and .gpu == {id: \"NVIDIA A40\", count: 1, minCudaVersion: \"12.8\"} and .cloud == \"SECURE\" and .disk == 200 and .ports == [\"22/tcp\"] and (.env.PUBLIC_KEY | length) > 0 and (keys - [\"name\",\"image\",\"gpu\",\"cloud\",\"disk\",\"ports\",\"env\"]) == []" "$T/fake/post_body.json" >/dev/null' +check "答えの cost を 1 時間の値段として残す" '[ "$(jq -r .costPerHr "$TD/lab_pod.json")" = 0.44 ]' +rm -rf "$T" +run bad_body +check "422 (体が v2 に合わない) はやり直さず, ほかの GPU も試さずに止まる・detail と errors を出す" '[ $RC = 1 ] && [ $(n_call "POST /pods") = 1 ] && has out.txt "HTTP 422" && has out.txt "Request validation failed." && has out.txt "bogus"' +rm -rf "$T" + echo "== 11. Pod を消せない → 残っているかもしれないと通知する" run delete_fail check "終了コード 1・--stop の案内" '[ $RC = 1 ] && has notify.log "残っているかもしれません" && has notify.log "--stop"' @@ -452,6 +461,71 @@ check "lab_train.sh・lab_start.sh の Pod への ssh・scp はすべて pod_ssh check "長い処理には LAB_TO_LONG (hf download・uv sync・tar・Hugging Face へ上げる・scp で取る)" '[ $(grep -c "LAB_TO=\$LAB_TO_LONG" "$HERE/lab_train.sh") -ge 9 ] && grep -q "LAB_TO=\$LAB_TO_LONG pod_ssh \"\$(lab_cmd_ckpt" "$HERE/lab_start.sh"' rm -rf "$d" +echo "== 15a. Runpod API v2 の読み方 (依頼 240)" +( +. "$HERE/lab_lib.sh" +u=$(mktemp -d) +runpod_api() { # u/ の答えを返す. 呼ばれたパスは u/calls + echo "$1 $2" >> "$u/calls" + case "$1 $2" in + "GET /pods") cat "$u/p1"; RUNPOD_HTTP=$(cat "$u/p1.code" 2>/dev/null || echo 200) ;; + "GET /pods?cursor="*) cat "$u/p2"; RUNPOD_HTTP=$(cat "$u/p2.code" 2>/dev/null || echo 200) ;; + "GET /pods/"*) cat "$u/pod"; RUNPOD_HTTP=$(cat "$u/pod.code") ;; + esac + case "$RUNPOD_HTTP" in 2??) return 0 ;; *) return 1 ;; esac +} +c() { if eval "$2"; then echo " ok $1"; else echo " NG $1"; fi; } +echo '{"pods":[{"id":"a","name":"x","status":"RUNNING","cost":0.4}],"pagination":{"hasNextPage":true,"nextCursor":"Y3Vy+/="}}' > "$u/p1" +echo '{"pods":[{"id":"b","name":"y","status":"EXITED","cost":0.5}],"pagination":{"hasNextPage":false,"nextCursor":null}}' > "$u/p2" +l=$(lab_list_pods); rc=$? +c "一覧: 2 ページを 1 つの配列にする・cursor は URL 用に直して渡す" '[ $rc = 0 ] && [ "$(jq -c "map(.id)" <<<"$l")" = "[\"a\",\"b\"]" ] && grep -qxF "GET /pods?cursor=Y3Vy%2B%2F%3D" "$u/calls" && lab_valid_pods "$l"' +echo 500 > "$u/p2.code"; lab_list_pods >/dev/null; rc=$? +c "一覧: 2 ページ目が取れなければ失敗 (1 ページ目だけを全部としない)" '[ $rc = 1 ]' +rm -f "$u/p2.code"; echo '{"pods":[],"pagination":{"hasNextPage":true,"nextCursor":null}}' > "$u/p1"; lab_list_pods >/dev/null; rc=$? +c "一覧: 次があるのに cursor がなければ失敗" '[ $rc = 1 ]' +echo '{"pods":[],"pagination":{"hasNextPage":true,"nextCursor":5}}' > "$u/p1"; lab_list_pods >/dev/null; rc=$? +c "一覧: cursor が文字列でなければ失敗 (codex R1)" '[ $rc = 1 ] && ! grep -q "cursor=5" "$u/calls"' +for bad in '[]' '{"pods":[]}' '{"pods":{},"pagination":{"hasNextPage":false}}' 'garbage'; do + echo "$bad" > "$u/p1"; lab_list_pods >/dev/null; rc=$? + c "一覧: '$bad' は読めないとして失敗" '[ $rc = 1 ]' +done +echo '{"pods":[],"pagination":{"hasNextPage":false,"nextCursor":null}}' > "$u/p1" +c "一覧: 0 個は [] で成功" '[ "$(lab_list_pods)" = "[]" ]' +for st in PROVISIONING:running STARTING:running RUNNING:running EXITED:stopped TERMINATED:gone; do + echo "{\"id\":\"q\",\"status\":\"${st%%:*}\"}" > "$u/pod"; echo 200 > "$u/pod.code" + lab_pod_kind q; rc=$? + c "状態 ${st%%:*} → ${st#*:}" '[ $rc = 0 ] && [ "$LAB_POD_KIND" = "${st#*:}" ] && [ "$LAB_POD_STATUS" = "${st%%:*}" ]' +done +for bad in '{"id":"q","status":"ERROR"}' '{"id":"q","desiredStatus":"RUNNING"}' '{"id":"q"}'; do + echo "$bad" > "$u/pod"; lab_pod_kind q; rc=$? + c "状態 '$bad' は分からないとして 1 (v1 の desiredStatus も読まない)" '[ $rc = 1 ]' +done +echo '{"title":"Not Found","status":404,"detail":"pod not found"}' > "$u/pod"; echo 404 > "$u/pod.code" +echo '{"pods":[{"id":"q","name":"x","status":"RUNNING","cost":0.4}],"pagination":{"hasNextPage":false,"nextCursor":null}}' > "$u/p1" +lab_pod_kind q; rc=$? +c "404 でも一覧にあれば分からないとして 1" '[ $rc = 1 ]' +echo '{"pods":[],"pagination":{"hasNextPage":false,"nextCursor":null}}' > "$u/p1" +lab_pod_kind q; rc=$? +c "404 で一覧にもなければ gone" '[ $rc = 0 ] && [ "$LAB_POD_KIND" = gone ]' +POD_ID=q +echo '{"id":"q","status":"RUNNING","ssh":{"proxy":null,"direct":{"host":"10.1.2.3","port":40999,"username":"root","command":"ssh"}}}' > "$u/pod"; echo 200 > "$u/pod.code" +lab_pod_addr; rc=$? +c "SSH の先: ssh.direct の host と port" '[ $rc = 0 ] && [ "$POD_IP" = 10.1.2.3 ] && [ "$SSH_PORT" = 40999 ] && [ "$POD_STATUS" = RUNNING ]' +echo '{"id":"q","status":"EXITED","ssh":{"proxy":null,"direct":{"host":"10.1.2.3","port":40999,"username":"root","command":"ssh"}}}' > "$u/pod" +lab_pod_addr; rc=$? +c "SSH の先: RUNNING でなければ使わない" '[ $rc = 1 ]' +echo '{"id":"q","status":"STARTING","ssh":{"proxy":null,"direct":null}}' > "$u/pod" +lab_pod_addr; rc=$? +c "SSH の先: direct が null なら待つ (1)" '[ $rc = 1 ] && [ -z "$POD_IP" ]' +e422='{"title":"Unprocessable Entity","status":422,"detail":"Request validation failed.","errors":["a","b"]}' +c "失敗の文: detail と errors" '[ "$(lab_api_msg "$e422")" = "Request validation failed. / a; b" ]' +c "失敗の文: v1 の message・JSON でない答え" '[ "$(lab_api_msg "{\"message\":\"m\"}")" = m ] && [ "$(lab_api_msg "oops")" = oops ]' +c "API の宛先は v2 (Mac 側と見張りの既定)" '[ "$RUNPOD_API" = https://api.runpod.io/v2 ] && lab_watchdog_script | grep -qF "RUNPOD_REST=\${LAB_WD_API:-https://api.runpod.io/v2}" && ! grep -qE "^[^#]*rest\.runpod\.io" "$HERE/lab_lib.sh" "$HERE/lab_train.sh" "$HERE/lab_start.sh" "$HERE/lab_stop.sh"' +rm -rf "$u" +) > /tmp/lt15a_$$.txt 2>&1 +cat /tmp/lt15a_$$.txt +OK=$((OK + $(grep -c "^ ok " /tmp/lt15a_$$.txt))); NG=$((NG + $(grep -c "^ NG " /tmp/lt15a_$$.txt))); rm -f /tmp/lt15a_$$.txt + echo "== 15b. pgrep / pkill の形が, そのコマンドを流す bash -c 自身に当たらない (依頼 47 の codex R1)" . "$HERE/lab_lib.sh" all_cmds="$(lab_train_start_cmd c e /w/l /w/g /w/r /w/x)