ロボット研究の記録とデータを索引でつないだ ― 次は学習の由来を自動で残す

Pixels to Motors の記事416本（ロボットアームの実機、配膳ロボットのシミュレーション、画像認識、考察など）と、外付け SSD に残してきた実験データを1つの索引でつなぎ、記事の番号から「その回のデータ・学習済みモデル・データセット」を、表を1行引くだけでたどれるようにしました。 対応は575件（記事67本）で、どれも記事の本文に書かれたパスを根拠にしています。

これで良くなることは3つあります。

• 探す手間：これまでは、記事を開き、フォルダ名と日付から当たりを付けて、フォルダを1つずつ開いて確かめていました。今は、416本ぶんの対応を約20秒で数え直して作り、記事の番号から引けます。作り直しは毎週自動で行います（前にかかっていた時間は測っていないので、どれだけ減ったかは、次に記事を書くときに確かめます）
• 比べる確かさ：ロボットの学習（お手本の動きを AI に覚えさせること）では、同じデータで別の AI を試したり、データを組み替えて学習し直したりします。どのデータを使ったかを推し量らずに選べるので、成功率が上がったときに、データのおかげなのか、コードを直したおかげなのかを言い分けられるようになります
• これからの記録：調べる途中で、学習済みのモデル（学習の結果できあがった AI の重み）5つすべてに、「どのデータ・どのコードで学習したか」の記録がないことが分かりました。次の学習からは、コードの版・使ったデータ・借りた GPU と費用が自動で残るようにし、学習のスクリプトへの組み込みまで済ませました（本物の学習ではまだ試していません）

索引は、フォルダ名に付いた番号だけで結ぶ方法では作っていません。研究室の7回目（lab/Log07）と、画像認識の7回目（vision/captured/Log07）のように、別のシリーズで同じ番号が使われていて、番号だけで結ぶと取り違えるからです。作る前の設計を別の AI（OpenAI の Codex）に「この設計は間違っている」という前提で調べさせたところ、番号だけで結ぶ方式は、12本の試しで1本しか結べませんでした。前提にしていた「3か所を見渡す入口がない」も誤りで、置き場所の決まり（MASTER という運用の文書）がすでに3か所を横断していました。指摘を受けて設計を変えてから作っています。

データは3か所に分かれています。記事の下書きは iCloud、実機の記録や学習用のデータは外付けの SSD（KIOXIA）、コードは Mac の中です。どれも消さずに残してきましたが、「この記事の結果は、どのデータから出たのか」をまとめて引ける表はありませんでした。

やったことの全体は次のとおりです。

作業ログ ― データの置き場所3か所と、すでにある索引を調べた

データは iCloud・KIOXIA・r2r2r-scripts の3か所にある

Pixels to Motors のデータは、種類ごとに置き場所が決まっています。決まりは MASTER（運用の上位の文書）の「保存先テーブル」に書いてあり、データの種類を言えば場所が1つに決まる形です。

最初に、それぞれの直下と、すでにある索引らしいファイル（README・index・ledger・MANIFEST など）を読みました。読むだけで、何も変えていません。

すでにあった索引は、部分ごとにそろっていた

足りないと考えたのは3つでした。KIOXIA の README.md が 2026-06-13 のままで、その後に増えたフォルダが載っていないこと。3か所をまとめて引ける入口がないこと。記事の番号からデータへたどる対応表がないこと。この3つを前提に、「索引を自動で作り直すスクリプトと、入口の1ページを足す」という設計を書きました。このうち2つ目と3つ目の前提は、次の検証で崩れます。

作業ログ ― Codex に、設計が間違っている前提で検証させた

Codex は、OpenAI のコードを書いて確かめる AI

Codex は、OpenAI が出している、コードを読み書きしてコマンドを実行できる AI です。このプロジェクトでは、Claude（設計・記事）と Claude Code（実装）が作ったものを、外から確かめる役に使っています。

依頼書では、元のデータを一切変えないこと、書いてよいのは検証用のフォルダ（_index_review/）だけであること、KIOXIA の直下にある鍵のファイルは開かないことを決めました。そのうえで、前提が正しいか（A）、記事とデータの対応表が作れるか（B）、作っても害がないか（C）、もっと良い方法はないか（D）、データの質を上げる仕組みは妥当か（E）を、証拠つきで判定させました。依頼書と報告の全文は、この記事の最後に載せています。

Codex の判定は「設計を変えてから着手」だった

Codex は KIOXIA の約6万3千項目を深さ4まで一覧にし、台帳とデータセットの中身を読み、12本の記事を実際に照らし合わせました。主な指摘は次のとおりです。

名前の番号だけで結ぶと、別シリーズのデータを取り違える

いちばん重かったのは、番号の問題でした。記録とデータには、意味の違う番号が少なくとも7種類ありました。記事の通し番号（DAY・LOG）、シリーズの中の回の番号（Log{NN}）、日付、試行の番号（run_0001 など）、学習の回の名前、データの版（_v3 など）、学習の段数（checkpoint の 3999 など）です。

Codex が挙げた反例は次のとおりです。

• シリーズ名を落として番号だけで結ぶと、画像認識の7回目（記事 LOG309）が、研究室の7回目のデータ lab/Log07 に結びつく。両方とも実在するので、「フォルダがあるか」を確かめても防げない
• LOG352 を「シリーズの352回目」と読むと、本当は研究室の9回目だったことを失う
• 記事 LOG361 の本文は、その回のデータ（lab/Log12）と、前の回の評価（lab/Log11/offline_eval）の両方を参照している。「本文に出てきた Log は全部その回の出力」とも言えない
• 画像認識の vision/measurements/Log12 は、README に「番号は仮」と書かれていた

番号や日付が近いことは、対応の証拠にならない。 対応表は、記事の本文に書かれた参照を根拠にし、名前だけで結びつくものは「候補」として分けることにしました。

作業ログ ― 番号は付け替えず、種類と書き方を決めた

DAY と LOG は同じ記事の通し番号だった

番号を1つにまとめ直すことも考えましたが、やめました。公開記事の URL・台帳・フォルダ名に番号が焼き付いているので、付け替えると元のデータを変えることになります。番号が何種類もあること自体は自然で、それぞれ数えているものが違います。困っていたのは、同じ見た目の番号を別の意味で使っていることでした。

確かめると、記事の番号は、毎日1本出していたころは DAY、1日に何本も出すようになってからは LOG と名前を変えただけで、続きの番号でした（LOG342 の次が LOG343）。そこで、台帳とデータの決まりの文書 data_manifest_rules.md に、11節「番号の種類と書き方」を足しました。

• 既存のフォルダ名・ファイル名・台帳の値は付け替えない

• 文章やこれから出す記録には、番号を種類つきで書く（記事LOG352、研究室Log09 など）

• 番号どうしの対応は、番号に詰め込まず、索引の対応表に置く

• 仮の番号は「仮」として載せ、確定したら確定の行を1行足す

• ねらい：番号の読み違いで、別シリーズのデータを結びつける事故をなくす

• 変わったこと：番号を種類と組で書く決まりと、対応を置く場所（索引の対応表）ができた

• 見込める効果：これからの記録は、名前の推測なしで記事とデータを結べる（見込み。週1回の作り直しで、候補の件数が増えないかで確かめる）

索引の置き場所を、先に MASTER に書いた

MASTER には「場所を増やすときは、先に保存先テーブルに書いてから置く」という決まりがあります。索引の置き場所 _index/ を、保存先テーブルに1行足してから作りました。

作業ログ ― 記事本文に書かれたパスだけから、対応表を作った

記事の番号とシリーズは、公開記事から取る

MASTER では「シリーズの正は公開記事」と決めています。作業ファイルのタイトルと公開時のタイトルが違うことがあるからです。公開サイト pixelstomotors.com は GitHub のリポジトリ PixelstoMotors/p2m-site から作られているので、そこを読むだけのスクリプト export_published.py を書きました。Claude が書いた記事（src/content/records/ の Markdown）と、Studio から移した記事の一覧（src/data/cards.json）を合わせ、記事番号・シリーズ・タイトルの Log#N（シリーズ内の番号）を1行ずつ書き出します。結果は416本、番号の重複は0件でした。

索引を作るスクリプト build_index.py

索引を作るのは build_index.py です。書くのは _index/ の中だけで、元のデータは読むだけにしました。

Codex の指摘をもとに、次の守りを入れました。

• KIOXIA がつながっていないときは、対応表を「0件」で上書きせず前回のまま残し、INDEX.md に「未接続」と書く
• 書き込みは一時ファイルに書いてから差し替える（途中で止まっても、壊れたファイルを残さない）
• KIOXIA で読むのは r2r2r-data の中だけで、archive/ は見ない。鍵のファイルは対象の外
• 本文のパスに .. が入っているものは扱わない

最初に回したとき、teach_poses_LOG{NNN} のような「書き方の見本」まで「参照先なし」に数えていました。パスの直後に { が続くものは見本として飛ばすよう直しました。

結果は確定575件・記事67本

Mac 上で回した結果です（20秒ほど）。

シリーズごとに見ると、データと結びついた記事の割合に大きな差がありました。

R2R2R の記事の多くは、本文に KIOXIA のパスを書いていません。データを KIOXIA に置く決まりができたのは 2026-06-15 で、それより前の記事はデータの場所を別の書き方で残しています。考察記事と HRI は、もともと測定データを持たない記事です。

Codex が手で照らし合わせた12本は、すべて同じデータに結びつきました。反例に挙がっていた LOG309（画像認識の7回目）も、研究室の lab/Log07 ではなく vision/captured/Log07 に結びついています。

• ねらい：記事から、その回のデータ・学習済みモデル・データセットへ、推測なしでたどれるようにする
• 変わったこと：575件の対応が、根拠のファイルと行つきで1つの表になった
• 見込める効果：同じデータで別の AI を試す・学習し直すときに、どのデータを使ったかを探す手間がなくなる（見込み）

古くなった説明が4つ見つかった

索引を作るときに、説明の文書と実物を見比べる欄も作りました。

• KIOXIA の README.md（2026-06-13）に、diag/・lab/・service_sim/・videos/・vision/ が載っていない
• runs/README.md（2026-07-15）の台帳の説明に対し、台帳は今750行・82列
• site_archive/ は 2026-10-12 時点の写し（公開記事は今 LOG416 まで）
• WORKING_ASSETS.md は 2026-06-11 のまま

これらの説明は書き換えていません。索引の側で「古い」と表示し、現行の一覧へ案内します。

週1回、自動で作り直す

手で書いた一覧は、書いた日から古くなります。KIOXIA の README がまさにそうでした。そこで、毎週月曜の17:42に、公開記事の一覧を取り直し、Mac で KIOXIA を数え直して索引を作り直す予定を入れました。KIOXIA がつながっていない日は、そのことを報告に書いて終わります。

作業ログ ― 元のデータを変えずに、データの質を上げる

過去の記録は直さず、上と先に手を入れる

LOG に残した記録を書き換え始めると、終わりがありません。データの質は、元のデータを変えずに上げることにしました。ここでいう質は、中身の数値の良し悪しではなく、由来がわかる・対になるものがそろっている・使ってよいかがわかる・一貫している、の4つです。考えた方法と、Codex の判定は次のとおりです。

Codex は方法3を一部試していました。実機の台帳（750行）と試行のフォルダ（849個）を突き合わせると、台帳にだけあるものが34件、フォルダにだけあるものが133件ありました。ただし試しの実行や中断が混ざっているので、これを「欠けたデータ」とは言えません。今の差を基準として残し、これから新しく出た差だけを知らせる形にします。

学習済みモデル5つに、学習の記録がなかった

方法2を最初にやる理由は、点検の数字にあります。学習済みモデル（checkpoint）の5つの段のすべてで、学習の記録を入れる欄（_CHECKPOINT_METADATA の custom_metadata）が空でした。データに付けている記録（meta.json など）は254件ありましたが、コードの版を持つものは0件でした。

このプロジェクトでは「再現可能な環境の数」を唯一の主指標にしています。その条件の1つが「依存関係とバージョンが記載されていること」です。今の学習済みモデルは、この条件を満たせていません。

由来（provenance）を残す決まりを作った

provenance は「由来・出どころ」の意味で、ここでは「このデータやモデルが、どのコード・どの入力・どの設定で、どう終わったか」の記録を指します。data_manifest_rules.md に12節を足しました。

指紋は、データの中身が同じかを見分ける短い文字列です。数GBの重みや動画を毎回読むと遅くなるので、ファイル名とサイズの一覧と、小さな JSON の中身から作ります。まだコミットしていない変更があっても学習は止めず、「変更あり」と記録します。研究を止めないことを優先しました。台帳の列は増やさず、各回の記録の JSON に provenance という欄を1つ足す形です。学習済みモデルだけは中に書ける JSON がないので、train_provenance.json を1つ置きます。

• ねらい：学習済みモデルを、何で学習したかが後から確定できる形で残す
• 変わったこと：これからの学習で、コード・データ・設定・費用が自動で記録される決まりになった（実装は下の節）
• 見込める効果：corr_v3 で成功率が上がった、のように、改善の理由をデータで言えるようになる。学習1回あたりの費用も出せる（見込み。最初の学習のあとで確かめる）

実装は Claude Code に、学習の部分から依頼した

実装は、実機と学習のコードを担当する Claude Code（Anthropic のコードを書く AI）に、Mac の依頼箱を通して頼みました。入れる順番は、効く順に3段階です。

1. 学習と学習済みモデル（lab_train.sh）。クラウドの GPU だけで動くので、実機を動かす危険がない
2. 学習用のデータセットを作るスクリプト
3. 実機の試行の記録。関節の制御には触れないが、実機の流れの中なので、Codex のレビューと試し運転を通してから使う

依頼の全文は、この記事の最後に載せています。

学習のスクリプトに由来の記録が入った

依頼は 2026-11-01 の 10:54 に終わりました（作業は45分）。Claude Code が作ったのは、共通の部品 provenance.py と、学習を1行で回すスクリプト lab_train.sh への組み込みです。

本物の GPU は借りず、偽物の実行（借りたふりをして手順だけを通す仕組み）で確かめました。すでにある学習済みモデルには書き足していません。

偽物の実行で出た記録（全文は記事の最後）を見ると、課題が1つ見えています。code.dirty（未コミットの変更がある）が、毎回 true になります。Pod へ丸ごと送る pi05/ フォルダに、git に入っていない古い控えのファイルが1つあり、それも数えているためです。数えること自体は正しい扱いですが、このままだと「変更あり」が毎回付き、本当にコードを変えた回と見分けにくくなります。

ほかに、決めることが4つ残りました。

• Finder でフォルダを開くだけで作られる .DS_Store も指紋に数えているので、開いただけで指紋が変わる。数えない形（files-v2）に変えるか
• できたモデルの指紋は、由来のファイルを置く前に測っている。置いたあとに測り直すと合わない
• シリーズ内の番号を Log18 と書くか、数字だけにするか
• 書いている途中で強制終了されたときに残る、書きかけの記録をどう読むか

残った5つの課題を決めて、直した

残った4つと code.dirty の件は、どれも記録の読み違いにつながるので、同じ日に決めて Claude Code に直してもらいました（2026-11-01 の 12:39〜13:30）。決まりの文書（data_manifest_rules.md の12節）を先に直し、それに合わせてコードを直す順番です。

テストは provenance.py 42件（1件はこの Mac の事情で飛ばし）・lab_train.sh 190件・lab_start.sh 136件と、pi05 の各テストがすべて通りました。Codex のレビューは2回で、2回目の直すべき指摘は0件です。コミットは cb288f6（本体）と 79bc11b（偽物の実行の記録と作業の記録）です。ただし lab_train.sh のテストは、8回流したうち1回だけ NG が1件出ました。どの項目かは記録が残っておらず、時間に左右されるテストの揺れかもしれません。

• ねらい：記録の「変更あり」や指紋が、実際の変化と関係なく変わらないようにする
• 変わったこと：控えのファイルや Finder の印では、指紋も dirty も変わらなくなった。由来を置いたあとに測り直しても指紋が合う
• 見込める効果：「指紋が違う＝中身が違う」「dirty＝コードを変えた」と、そのまま読める（偽物の実行で確かめた。本物の学習では、次に回したときに確かめる）

直す途中で、新しく決めることが3つ出ました。学習用のデータセットの記録に由来を埋め込むときの指紋の測り方、同じ回を取り直したときの2つ目の由来のファイルの扱い、控えとみなすファイルの範囲です。どれも、データセットを作るスクリプト（2段目）と実機の試行（3段目）に由来を入れるときに関わるので、その段階を始めるときに決めます。

最初の本物の学習で train_provenance.json に何が残るかは、フィジカルAI研究室の記事で確かめます。

作業ログ ― 使ったコード・依頼・記録（全文）

鍵・トークンは、どのファイルにも入っていない。Codex の検証の元データ（inventory.json などの一覧・数え直しの JSON）は大きいので載せず、iCloud の PixelstoMotors/_index_review/ に残している。

export_published.py（公開記事の一覧を書き出す）

#!/usr/bin/env python3
"""公開記事の一覧を書き出す（索引の入力）。

公開記事が記事番号・シリーズの正（MASTER「シリーズの正は公開記事」）。
p2m-site の2か所を読む：
  - src/content/records/*.md … Claude が書いた記事（frontmatter の day・series・title・slug・date）
  - src/data/cards.json       … Studio から移した記事の一覧
同じ slug は records を優先する（サイトの allCards() と同じ決まり）。

使い方: python3 export_published.py --p2m-site <p2m-site のパス> --out <published_articles.csv>
p2m-site は読むだけ。
"""
import argparse, csv, json, os, re, tempfile
from pathlib import Path

LOG_IN_TITLE = re.compile(r'Log\s*#\s*(\d+)', re.I)


def frontmatter(text):
    m = re.match(r'^---\n(.*?)\n---\n', text, re.S)
    if not m:
        return {}
    out = {}
    for line in m.group(1).splitlines():
        mm = re.match(r'^([A-Za-z_]+):\s*(.*)$', line)
        if mm:
            v = mm.group(2).strip()
            if len(v) >= 2 and v[0] == v[-1] and v[0] in '"\'':
                v = v[1:-1]
            out[mm.group(1)] = v
    return out


def main():
    ap = argparse.ArgumentParser()
    ap.add_argument('--p2m-site', required=True)
    ap.add_argument('--out', required=True)
    a = ap.parse_args()
    site = Path(a.p2m_site)
    rows, seen = [], set()
    for p in sorted((site / 'src/content/records').glob('*.md')):
        fm = frontmatter(p.read_text(encoding='utf-8'))
        if not fm.get('day'):
            continue
        m = LOG_IN_TITLE.search(fm.get('title', ''))
        rows.append({'article_no': int(fm['day']), 'series': fm.get('series', ''),
                     'series_log': m.group(1) if m else '', 'title': fm.get('title', ''),
                     'slug': fm.get('slug', ''), 'date': fm.get('date', '')[:10],
                     'source': f'p2m-site/src/content/records/{p.name}'})
        seen.add(fm.get('slug'))
    for c in json.loads((site / 'src/data/cards.json').read_text(encoding='utf-8')):
        if c.get('slug') in seen:
            continue
        m = re.match(r'^LOG(\d+)$', c.get('day', ''))
        if not m:
            continue
        t = LOG_IN_TITLE.search(c.get('title', ''))
        rows.append({'article_no': int(m.group(1)), 'series': c.get('series', ''),
                     'series_log': t.group(1) if t else '', 'title': c.get('title', ''),
                     'slug': c.get('slug', ''), 'date': (c.get('published') or '')[:10],
                     'source': 'p2m-site/src/data/cards.json'})
    rows.sort(key=lambda r: (r['article_no'], r['date']))
    out = Path(a.out)
    out.parent.mkdir(parents=True, exist_ok=True)
    fd, tmp = tempfile.mkstemp(dir=out.parent, prefix='.tmp_', suffix='.csv')
    with os.fdopen(fd, 'w', encoding='utf-8', newline='') as f:
        w = csv.DictWriter(f, fieldnames=list(rows[0].keys()))
        w.writeheader()
        w.writerows(rows)
    os.replace(tmp, out)
    print(f'{len(rows)} articles -> {out}')


if __name__ == '__main__':
    main()

build_index.py（索引を作り直す）

#!/usr/bin/env python3
"""Pixels to Motors データの索引を作り直す。

置き場所（MASTER 保存先テーブル）: iCloud PixelstoMotors/_index/
番号の決まり: data_manifest_rules.md 11節

書き出すもの（_index/ の中だけ。元データは読むだけ）:
  INDEX.md                 入口（知りたいこと → 開く場所）・関係の要約・古くなった説明の一覧

INDEX.md（build_index.py が書き出した入口のページ・2026-11-01 08:19 の回）

# Pixels to Motors データの索引

作り直した日時: 2026-11-01 08:19 JST（`_index/tools/build_index.py`。手で書き換えない）

見た場所: ~/…/PixelstoMotors … つながっている ／ /Volumes/KIOXIA/r2r2r-data … つながっている ／ ~/r2r2r-scripts … つながっている

番号の読み方: 記事番号は DAY と LOG で同じ通し番号。`Log{NN}` はシリーズ内の番号で、シリーズ名と組で読む（data_manifest_rules.md 11節）。

build_log.json（同じ回の実行の記録）

{
  "started": "2026-11-01T08:19:54+09:00",
  "roots": {
    "I": "ok",
    "K": "ok",
    "C": "ok"
  },
  "errors": [],
  "finished": "2026-11-01T08:20:20+09:00"
}

data_manifest_rules.md の11節・12節（このときに足した決まり）

### 11. 番号の種類と書き方（2026-11-01）

記録とデータには、意味の違う番号が何種類もある。見た目が同じ番号を別の意味で使うと、記事とデータを取り違える（例：`lab/Log07` は研究室の7回目、`vision/captured/Log07` は画像認識の7回目で、別物）。番号は付け替えず、種類ごとの意味と書き方を決める。

#### 11-1. 番号の種類

| 種類 | 形 | 意味 |
|---|---|---|

codex_plan_verification_request.md（Codex への検証の依頼書）

# 検証依頼（敵対的検証）：Pixels to Motors データ索引と、データの質を上げる仕組みの「作る前の設計」

作成：Claude（2026-11-01）　依頼者：エイイチ
対象：まだ作っていない索引の **設計案**（「設計案」節）、**データの質を上げる仕組みの設計案**（「追加の設計案」節）と、その前提にした Claude の調査結果

---

## あなたの役割

codex_report_20261101.md（Codex の検証の報告）

# Pixels to Motors 索引・データ品質設計の独立検証

検証日：2026-11-01（JST）／検証者：Codex
対象：`codex_plan_verification_request.md` の設計案と調査前提。

**判定：この設計案のまま実装を始めるのは NG。既存索引をつなぐ入口は有用だが、名前・日付による対応の確定、新しい判定台帳、点検の一体化は設計変更が必要。**

重大な発見は、①既に MASTER が3拠点の保存先を横断している、②記事本文には実データへの明示参照がある、③品質管理・派生履歴・点検の既存実装がある、④run と台帳には実際の差分があるが差分＝欠損ではない、の4点。

verify_evidence.py（Codex が件数を数え直すために書いたスクリプト）

"""Read-only checks against cached bounded inventory. Writes only review evidence JSON."""
from pathlib import Path
import json,csv,re,collections
REVIEW=Path(__file__).resolve().parent
I=REVIEW.parent
K=Path('/Volumes/KIOXIA/r2r2r-data')
entries=json.loads((REVIEW/'inventory.json').read_text())['entries']
rows=list(csv.DictReader((K/'runs/pick_place_ledger_v3.csv').open(newline='')))
D={Path(e['path']).name for e in entries if e['root']=='kioxia' and e['type']=='dir' and str(Path(e['path']).parent)=='runs/run_pick_place'}
S={r['run_stem'] for r in rows}
result={'run':{'rows':len(rows),'columns':len(rows[0]),'unique_stems':len(S),'directories':len(D),'both':len(S&D),'ledger_only_count':len(S-D),'directory_only_count':len(D-S),'ledger_only':sorted(S-D),'directory_only':sorted(D-S)},'datasets':[],'number_patterns':{},'date_candidates':{}}
for ds in sorted((K/'datasets').iterdir()):
 if not ds.is_dir(): continue
 idx=json.loads((ds/'index.json').read_text())
 ep=idx.get('episodes',idx)
 metas=[e['path'] for e in entries if e['root']=='kioxia' and e['path'].startswith('datasets/'+ds.name+'/raw_episodes/') and e['path'].endswith('/meta.json') and not Path(e['path']).name.startswith('._')]
 result['datasets'].append({'name':ds.name,'readme':(ds/'README.md').exists(),'index_entries':len(ep),'meta_files':len(metas),'source_datasets':list(idx.get('sources',{}))})
for pat in [r'DAY\d+',r'LOG\d+',r'Log\d+',r'(?<!\d)20\d{6}(?!\d)',r'run_\d{4}',r'pi05_\d{8}_\d{6}']:
 hits=[e for e in entries if re.search(pat,Path(e['path']).name)]
 result['number_patterns'][pat]={'entries':len(hits),'distinct_tokens':len({v for e in hits for v in re.findall(pat,Path(e['path']).name)})}
for day in ['20261017','20261019','20261020','20261021','20261022','20261024','20261029','20261030']:
 result['date_candidates'][day]=dict(collections.Counter(e['path'].split('/')[0] for e in entries if e['root']=='kioxia' and not e['path'].startswith('archive/') and day in Path(e['path']).name and not Path(e['path']).name.startswith('._')))
samples=json.loads((REVIEW/'sample_links.json').read_text())
result['sample_test']={'sample_count':len(samples),'explicit_reference_and_exists':sum(s['target_exists'] and s['explicit_reference_in_article'] for s in samples),'strict_number_correct':sum(s['strict_name_match'] for s in samples),'strict_number_unmatched':sum(not s['strict_name_match'] for s in samples),'strict_number_wrong':0}
(REVIEW/'verification_metrics.json').write_text(json.dumps(result,ensure_ascii=False,indent=2))
print(json.dumps({'run':{k:v for k,v in result['run'].items() if not isinstance(v,list)},'sample_test':result['sample_test'],'datasets':result['datasets']},ensure_ascii=False,indent=2))

20261101_54_学習とcheckpointに由来を記録する.md（Claude Code への依頼）

---
作業フォルダ: /Users/shimazueiichi/r2r2r-scripts
上限時間: 150
---
# 依頼：学習とcheckpointに「由来（provenance）」を自動で記録する（2026-11-01・段階①）

## 最初に確かめること

依頼52（lab_start.sh のモデル選択・lab_train.sh の3つの修正）が終わっていること。`~/Library/Mobile Documents/com~apple~CloudDocs/デスクトップ/ADAPT DESIGN/じぶんの/PixelstoMotors/依頼箱/済み/` に 20261101_52 があり、その変更がコミットされていることを `git log` で確かめる。終わっていなければ何もせずに止めて、報告の「決めてほしいこと」に書く（同じ lab_train.sh を触るため）。

## 目的

学習済みモデル（checkpoint）に、どのデータ・どのコード・どの設定で学習したかの記録がない（既存の checkpoint 5件はすべて `_CHECKPOINT_METADATA` の custom_metadata が空）。これからの学習で、作った時点に機械が読める形で残す。決まりの正は Project の data_manifest_rules.md 12節。要点を下に写す。

## 作るもの

### 1. 共通の部品 `provenance.py`（r2r2r-scripts 直下か pi05/ のどちらか。置き場所は判断して報告）

- Python から呼べる関数と、bash から呼べる CLI の両方
- 出す JSON（`schema_version: "provenance/1"`）の項目：
  - `created_at`（ISO8601・タイムゾーンつき）
  - `producer`：スクリプトの相対パス・コマンドの引数（秘密は伏せる）・実行した機械
  - `code`：`repo`=r2r2r-scripts・`commit`・`dirty`・`dirty_files`・`diff_sha256`
  - `external_code`：`[{name, commit, dirty}]`（openpi など）
  - `inputs`：`[{kind, id, path, fingerprint}]`（kind = dataset / checkpoint / run / recording / config。path は r2r2r-data からの相対）
  - `config`：設定名と主な値
  - `compute`：借り先・GPU の型番・始めと終わりの時刻・時間・費用
  - `numbering`：`series`・`series_log`・`article_no`（分からなければ空）
  - `status`：`process`（completed / interrupted / failed）と `task`（success / failure / unknown / not_applicable）を分ける
  - 失敗したときは `error`
- 指紋 `fingerprint`：`files-v1:` ＋ sha256。フォルダ内のファイルを相対パスの順に並べた「相対パス\tバイト数」の一覧と、1MB 未満の JSON の中身から作る。画像・動画・重みの中身は読まない。`._` で始まるファイル・`.cache`・`.incoming_*` は数えない
- 鍵・トークン（HF・RunPod など）を JSON に入れない。引数に秘密が入る場合は値を伏せる
- 由来を書く処理が失敗しても、呼んだ側（学習）は止めない

### 2. lab_train.sh に組み込む

- 学習が終わり、KIOXIA の `checkpoints/<CKPT_NAME>/<ステップ>/` に置けたら、そのフォルダに `train_provenance.json` を新しく置く（既にあれば上書きしない）。同じものをその回の `lab/Log{NN}/train/` にも置く
- 入力：学習データ（設定のデータ名と、KIOXIA の `datasets/<名前>` の指紋）・初期の重み（CKPT_IN に当たる KIOXIA の checkpoint の指紋）
- 外部のコード：Pod の openpi のコミットと変更の有無（ssh は依頼52で付けた時間の上限を使う）
- compute：GPU_USED・Pod の始めと終わり・時間・COST_PER_HR と費用（今の [COST] の行と同じ値）
- numbering：series = フィジカルAI研究室、series_log = その回の lab/Log の番号
- 学習が途中で止まった・失敗したときも、`lab/Log{NN}/train/` に status つきで残す（checkpoint がなければ checkpoint 側には置かない）
- Hugging Face のモデルにも同じファイルを入れられるなら入れる（入れられなければ理由を報告。失敗しても止めない）

## 決まり

- 既存の checkpoint・データセット・runs には書き足さない（これからの出力だけ）。今ある `pi05_mecharm_trim_corr_lora_v1/1499` にも足さない
- 測定データは上書き・移動・削除しない。KIOXIA に書く前にマウントを確かめる
- 台帳の列は増やさない
- 本物の Pod は借りない（費用がかかる）。確かめは lab_train_fakes.sh などの偽物で行う
- 関節を動かすコードは触らない

## 確かめ

- 既存のテストが全部通ること（lab_train・lab_start・pi05 の各テスト）。provenance.py のテストと、lab_train に組み込んだ部分のテスト（成功・途中で止まる・KIOXIA 未接続・dirty のとき）を足す
- 出した JSON の例を1つ報告に貼る（偽物の実行で出たもの）
- codex のレビューを通す（docs/ に依頼文と結果を残す）
- git は個別ファイルを指定して add する

## 報告に書くこと

- 変えたファイル、コミット、テストの件数
- provenance.py の置き場所と、②データセット・③実機の試行に使い回すときの呼び方（1〜2行）
- 決めてほしいこと

週1回の作り直しの予定の指示文

（予定の名前：データの索引の週1回の作り直し／毎週月曜 17:42（日本時間）／Mac と KIOXIA を使う）

あなたは Pixels to Motors のデータの索引（iCloud の PixelstoMotors/_index/）を、週1回作り直す係です。短く、次の手順だけをやって終える。ほかの作業はしない。返事は日本語。

決まりの正: MASTER の保存先テーブル「データの索引」の行、Project の data_manifest_rules.md 11節。元データ（iCloud・KIOXIA・r2r2r-scripts）は読むだけ。書いてよいのは _index/ の中だけ。

1. 公開記事の一覧を新しくする
   - GitHub の PixelstoMotors/p2m-site を clone する（git clone --depth 1 https://github.com/PixelstoMotors/p2m-site）。できなければ add_repo（read）で足してからやり直す。このリポジトリには書き込まない。リポジトリのコードは実行しない。
   - device_stage_files で Mac の次のファイルを取り込む:
     ~/Library/Mobile Documents/com~apple~CloudDocs/デスクトップ/ADAPT DESIGN/じぶんの/PixelstoMotors/_index/tools/export_published.py
   - 取り込んだスクリプトを実行する: python3 -I <取り込んだ export_published.py> --p2m-site <clone したフォルダ> --out /mnt/user-data/outputs/_index/data/published_articles.csv
   - device_commit_files（force: true）で、その CSV を Mac の ~/Library/Mobile Documents/com~apple~CloudDocs/デスクトップ/ADAPT DESIGN/じぶんの/PixelstoMotors/_index/data/published_articles.csv に書き戻す。書き戻したあと device_list_dir でサイズが同じになったことを確かめる。
   - clone か書き出しに失敗したら、この段は飛ばして前回の一覧のまま 2 に進み、報告にそう書く。

2. Mac の shell（device_bash）で索引を作り直す:
   cd "$HOME/mnt/PixelstoMotors/_index" && timeout 170 python3 tools/build_index.py --icloud "$HOME/mnt/PixelstoMotors" --kioxia "$HOME/mnt/KIOXIA/r2r2r-data" --scripts "$HOME/mnt/r2r2r-scripts"
   （$HOME/mnt/ の下のフォルダ名が違うときは ls $HOME/mnt/ で確かめて合わせる。KIOXIA がつながっていなくても実行してよい。スクリプトが関係表を前回のまま残し、INDEX.md に「未接続」と書く）

3. 最後に、次を3〜5行で報告する:
   - 公開記事の数（published_articles.csv の行数）と、一番新しい記事番号
   - INDEX.md の「記事 ↔ データの関係」の確定・参照先なし・候補の件数
   - INDEX.md の「古くなった説明」の行の数と、新しく増えたもの（前回の報告と比べられなければ省く）
   - KIOXIA が未接続だった・Mac につながらなかった、などうまくいかなかったこと

Mac につながらないときは、何も書かずに「Mac につながらなかった」と1行書いて終える。_index/ の外のファイルを作ったり変えたりしない。

20261101_54 の結果（Claude Code の報告）

# 結果：20261101_54_学習とcheckpointに由来を記録する

- 状態：完了
- 始めた時刻：2026-11-01 10:09
- 終わった時刻：2026-11-01 10:54（45分）
- 作業フォルダ：/Users/shimazueiichi/r2r2r-scripts
- この続きを Claude Code で話すとき：作業フォルダで `claude --resume b0ff554c-0fbd-46ab-b3dd-4aafa20c4e17`

コミット 1902f37 のコードの変更（provenance.py・lab_train.sh ほか・git show）

commit 1902f37eee0f970e0a3b2f1f805b3cbc61b9a046
Author: Eiichi Shimazu <studio@adaptdesign.jp>
Date:   Sun Nov 1 10:53:54 2026 +0900

    学習とチェックポイントに由来 (provenance/1) を残す provenance.py を足し, lab_train.sh に組み込む. 始める前にコードと入力 (学習データ・3999・add_trim_config.py) の指紋 files-v1 を測り, 3f のあと Pod の openpi のコミットと変更を読み, 終わり方 (completed / interrupted / failed) にかかわらず lab/<Log>/train/train_provenance.json に置く. 今回 KIOXIA に新しく置いたチェックポイントと, 今回上げた Hugging Face のリポジトリにも同じものを置く. 鍵は伏せ, 書けなくても学習の片付けと終了コードは変えない (全体 300 秒で打ち切る). hf_upload_ckpt.py と KIOXIA の比べでは train_provenance.json を数えない (依頼 54)
    
    Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>

example_train_provenance_dryrun_20261101.json（偽物の実行で出た由来の記録）

{
  "schema_version": "provenance/1",
  "created_at": "2026-11-01T10:53:43+09:00",
  "producer": {
    "script": "lab_train.sh",
    "argv": [
      "--log",
      "Log18",

review_request_20261101_train_provenance.md（Codex のレビュー1回目の依頼）

# コードレビュー依頼：学習と checkpoint に由来（provenance）を自動で記録する（2026-11-01 依頼 54・段階①）

前提: 学習済みの checkpoint に、どのデータ・どのコード・どの設定で学習したかの記録がない（既存 5 件はどれも `_CHECKPOINT_METADATA` の custom_metadata が空）。これからの lab_train.sh の学習で、作った時点に機械が読める形で残す。共通の部品 provenance.py は、このあと ②データセットを作るとき・③実機の試行でも使い回す。
過去のレビュー: docs/review_result_20261031_lab_train_codex*.md・docs/review_result_20261101_model_select_train_fixes_codex*.md

対象（`git diff HEAD -- lab_lib.sh lab_train.sh lab_train_fakes.sh test_lab_train.sh pi05/openpi_addon/hf_upload_ckpt.py pi05/test_hf_upload_ckpt.py` と、新しいファイル `provenance.py`・`test_provenance.py`。ほかのファイルの未コミット差分は対象外）

## 1. provenance.py（r2r2r-scripts 直下）

review_result_20261101_train_provenance_codex.md（Codex のレビュー1回目の結果）

# codex レビュー結果 R1：学習と checkpoint の由来（2026-11-01 依頼 54）

依頼文: docs/review_request_20261101_train_provenance.md（codex exec -s read-only）

**判定：必須5件、推奨4件です。** Pod削除より前に由来処理が入る経路は見当たりませんが、通知の遅延と、由来を誤って記録する経路があります。

| 項目 | 判定 | 確認結果・修正案 |
|---|---|---|

review_request_20261101_train_provenance_r2.md（Codex のレビュー2回目の依頼）

# コードレビュー依頼：学習と checkpoint に由来（provenance）を自動で記録する（2026-11-01 依頼 54・段階①）R2

前提: 学習済みの checkpoint に、どのデータ・どのコード・どの設定で学習したかの記録がない（既存 5 件はどれも `_CHECKPOINT_METADATA` の custom_metadata が空）。これからの lab_train.sh の学習で、作った時点に機械が読める形で残す。共通の部品 provenance.py は、このあと ②データセットを作るとき・③実機の試行でも使い回す。
過去のレビュー: docs/review_result_20261031_lab_train_codex*.md・docs/review_result_20261101_model_select_train_fixes_codex*.md

対象（`git diff HEAD -- lab_lib.sh lab_train.sh lab_train_fakes.sh test_lab_train.sh pi05/openpi_addon/hf_upload_ckpt.py pi05/test_hf_upload_ckpt.py` と、新しいファイル `provenance.py`・`test_provenance.py`。ほかのファイルの未コミット差分は対象外）

## 1. provenance.py（r2r2r-scripts 直下）

review_result_20261101_train_provenance_codex_r2.md（Codex のレビュー2回目の結果）

# codex レビュー結果 R2：学習と checkpoint の由来（2026-11-01 依頼 54）

依頼文: docs/review_request_20261101_train_provenance_r2.md（codex exec -s read-only）

**判定：必須3件、推奨2件です。** R1の主な不具合は修正されていますが、時間上限と、開始時に取得できなかった情報の扱いには修正が必要です。

| 項目 | 判定 | 確認結果・修正案 |
|---|---|---|

review_request_20261101_train_provenance_r3.md（Codex のレビュー3回目の依頼）

# コードレビュー依頼：学習と checkpoint に由来（provenance）を自動で記録する（2026-11-01 依頼 54・段階①）R3

前提: 学習済みの checkpoint に、どのデータ・どのコード・どの設定で学習したかの記録がない（既存 5 件はどれも `_CHECKPOINT_METADATA` の custom_metadata が空）。これからの lab_train.sh の学習で、作った時点に機械が読める形で残す。共通の部品 provenance.py は、このあと ②データセットを作るとき・③実機の試行でも使い回す。
過去のレビュー: docs/review_result_20261031_lab_train_codex*.md・docs/review_result_20261101_model_select_train_fixes_codex*.md

対象（`git diff HEAD -- lab_lib.sh lab_train.sh lab_train_fakes.sh test_lab_train.sh pi05/openpi_addon/hf_upload_ckpt.py pi05/test_hf_upload_ckpt.py` と、新しいファイル `provenance.py`・`test_provenance.py`。ほかのファイルの未コミット差分は対象外）

## 1. provenance.py（r2r2r-scripts 直下）

review_result_20261101_train_provenance_codex_r3.md（Codex のレビュー3回目の結果）

# codex レビュー結果 R3：学習と checkpoint の由来（2026-11-01 依頼 54）

依頼文: docs/review_request_20261101_train_provenance_r3.md（codex exec -s read-only）

**判定：必須1件、推奨2件です。** R2の5点は反映されていますが、全体タイムアウトで新設された停止処理には、子孫の取りこぼしと無関係なプロセスへの誤送信の可能性が残っています。

| 項目 | 判定 | 確認結果・修正案 |
|---|---|---|

review_request_20261101_train_provenance_r4.md（Codex のレビュー4回目の依頼）

# コードレビュー依頼：学習と checkpoint に由来（provenance）を自動で記録する（2026-11-01 依頼 54・段階①）R4

前提: 学習済みの checkpoint に、どのデータ・どのコード・どの設定で学習したかの記録がない（既存 5 件はどれも `_CHECKPOINT_METADATA` の custom_metadata が空）。これからの lab_train.sh の学習で、作った時点に機械が読める形で残す。共通の部品 provenance.py は、このあと ②データセットを作るとき・③実機の試行でも使い回す。
過去のレビュー: docs/review_result_20261031_lab_train_codex*.md・docs/review_result_20261101_model_select_train_fixes_codex*.md

対象（`git diff HEAD -- lab_lib.sh lab_train.sh lab_train_fakes.sh test_lab_train.sh pi05/openpi_addon/hf_upload_ckpt.py pi05/test_hf_upload_ckpt.py` と、新しいファイル `provenance.py`・`test_provenance.py`。ほかのファイルの未コミット差分は対象外）

## 1. provenance.py（r2r2r-scripts 直下）

review_result_20261101_train_provenance_codex_r4.md（Codex のレビュー4回目の結果）

# codex レビュー結果 R4：学習と checkpoint の由来（2026-11-01 依頼 54）

依頼文: docs/review_request_20261101_train_provenance_r4.md（codex exec -s read-only）

**判定：必須1件、推奨2件です。** R3のグループ停止は改善されています。由来の公開処理は、exFAT向けフォールバックに上書き競合が残っています。

| 項目 | 判定 | 確認結果・修正案 |
|---|---|---|
| exFATでの`rename`競合 | **必須** | [provenance.py:325](/Users/shimazueiichi/r2r2r-scripts/provenance.py:325) は`lexists(path)`確認後に`os.rename(tmp, path)`します。その間に別の実行が同名ファイルを作ると、**既存ファイルを上書きします**。KIOXIAで使う経路なので、「上書きしない」という契約を満たしていません。上書き禁止を原子的に保証する公開方式へ変更してください。対応できない環境では失敗として返す方が安全です。テストには、存在確認後・rename直前に別の書込みが入るケースを追加してください。 |
| 強制終了時の一時ファイル | **推奨** | [provenance.py:313](/Users/shimazueiichi/r2r2r-scripts/provenance.py:313) の一時ファイルは、KILLされると`finally`で消せません。完成先に不完全JSONが残る問題は改善しましたが、「一時ファイルは残さない」は強制終了時には成立しません。また、この名前は`fingerprint()`の除外対象ではなく、以後の指紋に混入します。残存時の扱いと指紋からの除外方針を定めてください。 |
| ハング・signalテスト | **推奨** | [test_lab_train.sh:410](/Users/shimazueiichi/r2r2r-scripts/test_lab_train.sh:410) は、TERMを無視して孫を継続生成するケースへ改善されています。ただし時間の判定は`run`が戻った後なので、本当に戻らない回帰ではテストも停止します。外側にも監視を置き、さらに**由来処理中のINT・TERM**を追加してください。`early_fail`から入る場合は、wrap内のsignal無視とは異なる経路です。 |
| `kill_group`と`set -m` | 据え置き・R3改善確認 | [lab_train.sh:206](/Users/shimazueiichi/r2r2r-scripts/lab_train.sh:206) はグループ単位で停止するため、列挙後に生まれた同グループの孫も対象になります。このMacのBashで、内側のパイプライン・非同期処理が同グループに残ることを確認しました。既存のtee・caffeinateを対象グループへ移す処理もありません。由来処理は端末入力を必要とせず、明白な端末アクセスの回帰は見当たりません。 |
| linkによる公開 | 据え置き・R3修正確認 | [provenance.py:322](/Users/shimazueiichi/r2r2r-scripts/provenance.py:322) のlink成功経路は、完成したJSONを上書きなしで公開できます。同名への競合は`FileExistsError`になります。問題は上記のrenameフォールバックです。 |
| 片付け・通知・終了コード | 据え置き | Pod削除の試行は由来処理より先です。spec生成・Python・HF追加は全体監視の内側にあり、通常の失敗で保存済み終了コードを変える経路や、追加部分の明白な`set -u`違反は見当たりません。時間切れ時は300秒に加えて停止猶予などがかかります。 |
| 鍵・PodのIP／ポート | 据え置き | 現在のspecへIP・ポートを直接渡す経路は見当たりません。引数、既知の鍵形式、secret-fileの内容、辞書キーへの伏字処理も維持されています。 |
| 既存KIOXIA・未マウント時 | 据え置き・競合は必須欄 | `PROV_CKPT_DIR`は新規配置の最終照合成功後だけ設定され、既存1499には設定されません。由来処理自身はフォルダを作りません。datasets・runsへ書き足す通常経路も見当たりません。 |
| HF・`lab_start.sh`互換性 | 据え置き | HF側とKIOXIA側の比較除外は整合しています。`same`取得時の過去の由来除去も維持されています。`lab_start.sh --model corr`の取得・利用経路に、JSON追加による破綻は見当たりません。 |
| 指紋・dirty対象 | 据え置き | 指定4パスへのdirty限定と開始時の測定は妥当です。`.DS_Store`を数えること、出力指紋が由来配置前の値であることは現行仕様どおりです。②③では、その前提に合う再検証手順が必要です。 |

シェル4ファイル・Python4ファイルの構文確認は成功しました。テスト本体は書込み・プロセス停止を伴うため実行しておらず、**29件（1 skip）・OK 177／NG 0は未追試**です。ファイル変更、実機・Pod・Hugging Faceの操作は行っていません。

## 反映（Claude Code）
- 必須（exFAT の rename の競合）: 一時ファイル→link/rename をやめ、置く先を O_EXCL で直に作って1回の write（数 KB）で書く形に戻した。あれば必ず失敗するので上書きはしない（exFAT でも同じ）。書けなければ消す。test_provenance.py に「作る直前に別の実行が置いた」「書けなかった」を足す
- 推奨（一時ファイル）: 一時ファイルを作らなくなったので、残って指紋に入ることはない。残るのは「1回の write の途中で KILL された」ときの書きかけだけ（数 KB・据え置き）
- 推奨（テスト）: hf_prov_hang の回を外側でも 90 秒で止める見張りを置いた。early_fail の中で由来を書いている途中の INT・TERM は、Pod を借りる前で Hugging Face へは足さない（python の 120 秒の上限）ので、テストは足さず据え置き

review_request_20261101_train_provenance_r5.md（Codex のレビュー5回目の依頼）

# コードレビュー依頼：学習と checkpoint に由来（provenance）を自動で記録する（2026-11-01 依頼 54・段階①）R5

前提: 学習済みの checkpoint に、どのデータ・どのコード・どの設定で学習したかの記録がない（既存 5 件はどれも `_CHECKPOINT_METADATA` の custom_metadata が空）。これからの lab_train.sh の学習で、作った時点に機械が読める形で残す。共通の部品 provenance.py は、このあと ②データセットを作るとき・③実機の試行でも使い回す。
過去のレビュー: docs/review_result_20261031_lab_train_codex*.md・docs/review_result_20261101_model_select_train_fixes_codex*.md

対象（`git diff HEAD -- lab_lib.sh lab_train.sh lab_train_fakes.sh test_lab_train.sh pi05/openpi_addon/hf_upload_ckpt.py pi05/test_hf_upload_ckpt.py` と、新しいファイル `provenance.py`・`test_provenance.py`。ほかのファイルの未コミット差分は対象外）

## 1. provenance.py（r2r2r-scripts 直下）

review_result_20261101_train_provenance_codex_r5.md（Codex のレビュー5回目の結果）

# codex レビュー結果 R5：学習と checkpoint の由来（2026-11-01 依頼 54）

依頼文: docs/review_request_20261101_train_provenance_r5.md（codex exec -s read-only）

**判定：必須0件、推奨2件です。** R4の上書き競合は解消されています。対象範囲の読み取りレビューでは、新たな必須修正は確認しませんでした。

| 項目 | 判定 | 確認結果・修正案 |
|---|---|---|
| R4：既存ファイルを上書きしない | **据え置き・修正済み** | [provenance.py:312](/Users/shimazueiichi/r2r2r-scripts/provenance.py:312) は `O_CREAT \| O_EXCL` で直接作成します。先に同名ファイルが作られた場合も失敗し、既存内容を書き換えません。rename競合は解消しています。 |
| 強制終了時の不完全JSON | **推奨** | [provenance.py:315](/Users/shimazueiichi/r2r2r-scripts/provenance.py:315) は短い書込みに対応して反復する実装です。「1回で書く」というコメントとは異なり、単一writeでも完了の原子性は保証されません。KILL時には空・途中のJSONが残り、次回は存在済みとしてスキップされます。②③へ展開する前に、読込側のJSON検証と、不完全記録の扱いを決めてください。既存ファイルの上書き問題ではありません。 |
| 由来処理中のsignalテスト | **推奨** | `hf_prov_hang`には外側の監視が追加されています。一方、`early_fail → finish → prov_write`中のINT・TERMは未検証です。この経路では親のsignal trapが残っているため、通知回数・終了コード・子プロセス残存を確認するテストを推奨します。 |
| Pod削除・通知・終了コード | 据え置き | Pod削除の試行は由来処理より先です。`finish`は終了コードをローカル変数に保持し、通常の由来失敗で変更しません。追加部分に明白な`set -u`違反は見当たりません。全体監視は300秒で、打切り時には停止猶予などが加わります。 |
| 鍵・PodのIP／ポート | 据え置き | 現在のspecに接続先IP・ポートを直接渡す経路は見当たりません。SSH出力のマスク、引数の伏字、鍵形式・secret-file内容・辞書キーの置換が維持されています。 |
| KIOXIAの既存データ・未マウント時 | 据え置き | `PROV_CKPT_DIR`は新規配置と最終照合の成功後だけ設定され、既存1499には設定されません。由来処理はフォルダを作らず、DATA_ROOT・LOGDIRがなければ書きません。datasets・runsへ追記する経路も見当たりません。 |
| Hugging Face・再取得・起動互換性 | 据え置き | `HFUP ok`だけ由来を追加し、`same`では追加しません。比較時の由来除外と、取得用一時フォルダ内の過去の由来除去は整合しています。`lab_start.sh --model corr`の取得・利用経路にも破綻は見当たりません。 |
| status・開始時情報・openpi | 据え置き | 学習完了後は`completed`を維持し、保存・削除失敗はerrorへ記録します。開始時スナップショット、取得失敗入力の固定、`--stop`での復元、不完全なopenpi取得を不明とする修正も維持されています。 |
| 指紋・dirtyの対象 | 据え置き | 指定4パスへの限定は今回の範囲として妥当です。`.DS_Store`を数えることと、出力指紋が由来配置前の値であることは現行仕様どおりです。②③では、この前提に合わせた再検証手順が必要です。 |

シェル4ファイル・Python4ファイルの構文確認は成功しました。テスト本体は書込みやプロセス操作を伴うため実行しておらず、**30件（1 skip）・OK 177／NG 0は未追試**です。ファイル変更、実機・Pod・Hugging Faceの操作は行っていません。

## 反映（Claude Code）
- 必須なし。ここでレビューを終える
- 推奨（書きかけの JSON）: write の説明を「書き終わるまで write をくり返す・KILL のときだけ書きかけが残りうる・読む側は JSON として読めるかを確かめる」に直した。読む側の扱いは ②③ を作るときにエイイチに決めてもらう
- 推奨（early_fail の中の INT・TERM のテスト）: 据え置き（Pod を借りる前で Hugging Face へは足さない。中の python は 120 秒の上限）

20261101_56 の結果（Claude Code の報告）

# 結果：20261101_56_由来の指紋をfiles-v2にし読めない由来の扱いを決める

- 状態：完了
- 始めた時刻：2026-11-01 12:39
- 終わった時刻：2026-11-01 13:30（51分）
- 作業フォルダ：/Users/shimazueiichi/r2r2r-scripts
- この続きを Claude Code で話すとき：作業フォルダで `claude --resume 314a5953-7d46-4451-8a36-7ab93239a7cc`
- 止められた操作：1件（いちばん下に一覧）

20261101_56_由来の指紋をfiles-v2にし読めない由来の扱いを決める.md（Claude Code への依頼）

---
作業フォルダ: /Users/shimazueiichi/r2r2r-scripts
上限時間: 90
---
# 依頼：由来（provenance）の決まりを確定版に合わせて直す（2026-11-01・依頼54の続き）

依頼54（コミット 1902f37・cadd53d）の報告の「決めてほしいこと」5点を、エイイチが確定した。決まりの正は data_manifest_rules.md の12節。手元の写し `~/r2r2r-content/methodology/data_manifest_rules.md` を今日そろえたので、作業の前に `git -C ~/r2r2r-content pull` してから12節を読む（r2r2r-content には書き込まない）。

## 直すこと

1. **指紋を files-v2 にする**
   - 数えないものに、`.DS_Store` と、由来のファイルそのもの（`train_provenance.json`・`*_provenance.json`）を足す。これまでの `._`・`.cache`・`.incoming_*` はそのまま
   - 接頭辞を `files-v2:` にする。`files-v1` を作る関数は、比べるとき用に残してよい（残すかどうかは判断して報告）
   - これで、由来のファイルを置いたあとに出力のフォルダを測り直しても、`outputs` の指紋と合うことをテストで確かめる
   - `hf_upload_ckpt.py` と KIOXIA 側の比べで、由来のファイルを数えない直し（依頼54で入れたもの）と食い違わないようにする
2. **`outputs` を12節の正式な項目にした**。今の形のままでよい
3. **`series_log` は `Log18` の形**（今のまま）。数字だけにしない
4. **読めない由来の扱い**：`provenance.py` に「由来を読む」関数を足す。読めない（書きかけ・JSON が壊れている）ときは、例外で止めずに「由来なし（読めない）」と分かる結果を返し、警告を1行出す。②（データセットを作るスクリプト）③（実機の試行）で使う前提
5. **`code.dirty` が毎回 true になる件**：原因は `pi05/build_demo_episodes.py.bak_pre_LOG352_20261019`（git に入っていない控え）。このファイルは消さない・移さない。由来の側で、`dirty_files` のうち「git に入っていない控えのファイル（`.bak` を含む名前）」を `untracked_backups` として分けて記録し、`dirty` はそれ以外の変更があるときだけ true にする。ただし Pod へ送る中身には入っていることが分かるよう、`untracked_backups` は必ず残す

## 決まり

- 既存の checkpoint・データセット・runs と、依頼54で書いた example の JSON には書き足さない
- 本物の Pod は借りない。確かめは偽物の実行で
- 関節を動かすコードは触らない
- git は個別ファイルを指定して add する

## 確かめ

- 既存のテスト（test_provenance.py・test_lab_train.sh・test_lab_start.sh・pi05 の各テスト）が全部通ること。1・4・5 のテストを足す
- 偽物の実行で出た `train_provenance.json` の全文を、`docs/example_train_provenance_dryrun_20261101_v2.json` に省かずに置く
- codex のレビューを通す（docs/ に依頼文と結果を残す）

## 報告に書くこと

- 変えたファイル、コミット、テストの件数
- files-v1 の関数を残したかどうかと理由
- 決めてほしいこと

コミット cb288f6 のコードの変更（files-v2・由来を読む関数・控えの分け方・git show）

commit cb288f6b8133fc9e135619941b4df3c62043ad1e
Author: Eiichi Shimazu <studio@adaptdesign.jp>
Date:   Sun Nov 1 12:57:11 2026 +0900

    由来の指紋を files-v2 にする. .DS_Store と由来のファイルそのもの (train_provenance.json・*_provenance.json) を数えず, 由来を置いたあとに測り直しても outputs の指紋と合う. files-v1 は同じ版で比べるために fingerprint(version="files-v1") と CLI の --version で残す. 由来を読む read() を足し, 書きかけ・壊れた JSON などは例外で止めず「由来なし (読めない)」を返して警告を1行出す. code では git に入っていない控え (.bak を含む名前) を untracked_backups に分け, dirty はほかの変更があるときだけ true にする (依頼 56)
    
    Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>

example_train_provenance_dryrun_20261101_v2.json（直したあとの偽物の実行で出た由来の記録）

{
  "schema_version": "provenance/1",
  "created_at": "2026-11-01T12:57:21+09:00",
  "producer": {
    "script": "lab_train.sh",
    "argv": [
      "--log",
      "LogT",

review_request_20261101_provenance_v2.md（Codex のレビュー1回目の依頼・56番）

# コードレビュー依頼：由来（provenance）の指紋を files-v2 にし、読めない由来・控えのファイルの扱いを足す（2026-11-01 依頼 56・依頼 54 の続き）

前提: 依頼 54（コミット 1902f37）で入れた provenance.py の「決めてほしいこと」をエイイチが確定した。決まりの正は `~/r2r2r-content/methodology/data_manifest_rules.md` の 12節（とくに 12-4 指紋・12-5 守ること）。
過去のレビュー: docs/review_result_20261101_train_provenance_codex*.md

対象（`git diff HEAD -- provenance.py test_provenance.py lab_train.sh test_lab_train.sh`。ほかのファイルの未コミット差分は対象外）

## 1. 指紋 files-v2（provenance.py）
- 接頭辞を `files-v2:` にした。v1 からの違いは、ファイルの名前が `.DS_Store`・`train_provenance.json`・`*_provenance.json` のものをどの深さでも数えないことだけ。`._*`・`.cache`・`.incoming_*` はこれまでどおり（フォルダごと）
- `fingerprint(path, version="files-v2")`。`version="files-v1"` で前の作り方を残した（files-v1 の記録と同じ版で比べるため。12-4「同じ版どうしで比べる」）。CLI は `fingerprint [--version files-v1] <path>`。`fingerprint_version(fp)` で記録の指紋の版を読む
- ファイル1つを渡したときは、名前で数えないものでもそのファイル1つで測る
- hf_upload_ckpt.py（Hugging Face 側でトップの train_provenance.json を数えない）・lab_list_files（KIOXIA 側で .DS_Store を数えない）・compare_with_pod（トップの train_provenance.json を数えない）は変えていない。これらが数えないものは files-v2 でも数えないので食い違わない（テストで確かめる）

## 2. 由来を読む `read(path, warn=True)`（provenance.py）
- 由来のファイル、またはキー `provenance` を中に持つ JSON（外側に別の schema_version があってもよい）を読む。戻りは `{state: ok|missing|unreadable, path, provenance, error}`
- 書きかけ・JSON が壊れている・UTF-8 でない・dict でない・schema_version が `provenance/` で始まらない・読めない（フォルダなど）は例外を出さず `unreadable`（由来なし）と警告1行（標準エラー）
- ファイルがない・キー provenance がない（由来を入れる前の JSON）は `missing`（警告なし）

## 3. code の untracked_backups（provenance.py）
- `git status` で `??`（git に入っていない）かつ名前（最後の部分）に `.bak` を含むものは dirty_files に入れず `untracked_backups` に分ける。dirty はそれ以外の変更があるときだけ true。diff_sha256 も控えを除いた変更で作る（変更がなければ null）
- untracked_backups は件数で切らずに全部残す（Pod へ送る中身に入るので）。git に入っている .bak を変えたもの・`.bak` を含むフォルダの中のふつうの名前は控えとみなさない

## 4. lab_train.sh
- outputs の `fingerprint_note`（置く前に測った）を消した。中身はほかに変えていない

## 5. テスト
- test_provenance.py 41 件（1 件 skip）: v2 で数えないもの・由来を置いたあとに測り直しても outputs の指紋と合う・v1 を残す・版の読み・hf/KIOXIA の比べと食い違わない・read の ok/埋め込み/missing/unreadable 8 通り・控え
- test_lab_train.sh OK 190 / NG 0: 偽物の実行で、由来と .DS_Store のあるチェックポイントを測り直しても outputs の指紋と合う・控えだけなら dirty=false・控えとほかの変更
- test_lab_start.sh OK 136 / NG 0・pi05 の各テスト OK

## 見てほしい点
1. files-v2 の数えない決め方が 12-4 と合っているか。由来を置いたあとに測り直しても同じになる・ならない道がないか
2. read() が「読めない記録を由来ありと数えない・止めない」を満たすか。例外が漏れる道がないか
3. untracked_backups の判定（`??` かつ名前に `.bak`）で、本当の変更を見落として dirty=false にする道がないか
4. hf_upload_ckpt.py・compare_with_pod・lab_list_files と files-v2 の食い違い
5. files-v1 を残したことの是非

ファイル変更・実機操作・Pod の操作・Hugging Face の操作はしないでください。読み取りだけでお願いします。日本語で、表（項目 / 判定 / 確認結果・修正案）と、必須 / 推奨 / 据え置きの分類で返してください。

review_result_20261101_provenance_v2_codex.md（Codex のレビュー1回目の結果・56番）

# codex レビュー結果 R1：由来の指紋 files-v2・読めない由来・控えのファイル（2026-11-01 依頼 56）

依頼文: docs/review_request_20261101_provenance_v2.md（codex exec -s read-only）

対象4ファイルの差分を、規則12節と既存の比較処理に照らして読み取り専用で確認します。ファイル変更や実機・Pod・Hugging Faceの操作は行いません。
exec
/bin/zsh -lc 'git diff HEAD -- provenance.py test_provenance.py lab_train.sh test_lab_train.sh' in /Users/shimazueiichi/r2r2r-scripts
 succeeded in 0ms:

review_request_20261101_provenance_v2_r2.md（Codex のレビュー2回目の依頼・56番）

# コードレビュー依頼：由来（provenance）の指紋を files-v2 にし、読めない由来・控えのファイルの扱いを足す（2026-11-01 依頼 56・依頼 54 の続き） R2

前提: 依頼 54（コミット 1902f37）で入れた provenance.py の「決めてほしいこと」をエイイチが確定した。決まりの正は `~/r2r2r-content/methodology/data_manifest_rules.md` の 12節（とくに 12-4 指紋・12-5 守ること）。
過去のレビュー: docs/review_result_20261101_train_provenance_codex*.md

対象（`git diff HEAD -- provenance.py test_provenance.py lab_train.sh test_lab_train.sh`。ほかのファイルの未コミット差分は対象外）

## 1. 指紋 files-v2（provenance.py）
- 接頭辞を `files-v2:` にした。v1 からの違いは、ファイルの名前が `.DS_Store`・`train_provenance.json`・`*_provenance.json` のものをどの深さでも数えないことだけ。`._*`・`.cache`・`.incoming_*` はこれまでどおり（フォルダごと）
- `fingerprint(path, version="files-v2")`。`version="files-v1"` で前の作り方を残した（files-v1 の記録と同じ版で比べるため。12-4「同じ版どうしで比べる」）。CLI は `fingerprint [--version files-v1] <path>`。`fingerprint_version(fp)` で記録の指紋の版を読む
- ファイル1つを渡したときは、名前で数えないものでもそのファイル1つで測る
- hf_upload_ckpt.py（Hugging Face 側でトップの train_provenance.json を数えない）・lab_list_files（KIOXIA 側で .DS_Store を数えない）・compare_with_pod（トップの train_provenance.json を数えない）は変えていない。これらが数えないものは files-v2 でも数えないので食い違わない（テストで確かめる）

## 2. 由来を読む `read(path, warn=True)`（provenance.py）
- 由来のファイル、またはキー `provenance` を中に持つ JSON（外側に別の schema_version があってもよい）を読む。戻りは `{state: ok|missing|unreadable, path, provenance, error}`
- 書きかけ・JSON が壊れている・UTF-8 でない・dict でない・schema_version が `provenance/` で始まらない・読めない（フォルダなど）は例外を出さず `unreadable`（由来なし）と警告1行（標準エラー）
- ファイルがない・キー provenance がない（由来を入れる前の JSON）は `missing`（警告なし）

## 3. code の untracked_backups（provenance.py）
- `git status` で `??`（git に入っていない）かつ名前（最後の部分）に `.bak` を含むものは dirty_files に入れず `untracked_backups` に分ける。dirty はそれ以外の変更があるときだけ true。diff_sha256 も控えを除いた変更で作る（変更がなければ null）
- untracked_backups は件数で切らずに全部残す（Pod へ送る中身に入るので）。git に入っている .bak を変えたもの・`.bak` を含むフォルダの中のふつうの名前は控えとみなさない

## 4. lab_train.sh
- outputs の `fingerprint_note`（置く前に測った）を消した。中身はほかに変えていない

## 5. テスト
- test_provenance.py 41 件（1 件 skip）: v2 で数えないもの・由来を置いたあとに測り直しても outputs の指紋と合う・v1 を残す・版の読み・hf/KIOXIA の比べと食い違わない・read の ok/埋め込み/missing/unreadable 8 通り・控え
- test_lab_train.sh OK 190 / NG 0: 偽物の実行で、由来と .DS_Store のあるチェックポイントを測り直しても outputs の指紋と合う・控えだけなら dirty=false・控えとほかの変更
- test_lab_start.sh OK 136 / NG 0・pi05 の各テスト OK

## 見てほしい点
1. files-v2 の数えない決め方が 12-4 と合っているか。由来を置いたあとに測り直しても同じになる・ならない道がないか
2. read() が「読めない記録を由来ありと数えない・止めない」を満たすか。例外が漏れる道がないか
3. untracked_backups の判定（`??` かつ名前に `.bak`）で、本当の変更を見落として dirty=false にする道がないか
4. hf_upload_ckpt.py・compare_with_pod・lab_list_files と files-v2 の食い違い
5. files-v1 を残したことの是非

ファイル変更・実機操作・Pod の操作・Hugging Face の操作はしないでください。読み取りだけでお願いします。日本語で、表（項目 / 判定 / 確認結果・修正案）と、必須 / 推奨 / 据え置きの分類で返してください。

## R2 で見てほしいこと
R1 の結果と反映は docs/review_result_20261101_provenance_v2_codex.md の「反映」。read() の警告・bytes のパスの直しと、比べとの整合テスト（test_skips_agree_with_checkpoint_compares）が妥当か、ほかに必須の問題が残っていないか。テストは test_provenance.py 42 件（1 件 skip）。

review_result_20261101_provenance_v2_codex_r2.md（Codex のレビュー2回目の結果・56番）

# codex レビュー結果 R2：由来の指紋 files-v2・読めない由来・控えのファイル（2026-11-01 依頼 56）

依頼文: docs/review_request_20261101_provenance_v2_r2.md（codex exec -s read-only）

指定の4ファイルの差分、規則12節、R1の反映内容を読み取りで確認します。ファイル変更や実機・外部サービスの操作は行いません。
exec
/bin/zsh -lc 'git diff HEAD -- provenance.py test_provenance.py lab_train.sh test_lab_train.sh' in /Users/shimazueiichi/r2r2r-scripts
 succeeded in 0ms: