研究記録サイトの来訪が減った原因を探す ― Google の順位が11/11に急落していた

研究記録サイトの来訪が減った原因を探す ― Google の順位が11/11に急落していた

この記事の素材(コード・ログ・データ 2ファイル・まとめてダウンロードあり)
AIで読む ChatGPT・Claude などで、この記事に質問できます

ロボットの研究記録サイト pixelstomotors.com の人の表示は、2026年10月26日の週の163回から11月16日の週の37回へ、約4分の1になった。減った分の1つは Google 検索から来る人で、Google の平均掲載順位が11月11日に約17位から23〜71位へ落ちていた。もう1つの、ブックマークや SNS のアプリなど「直接」来る人の減少(週66回→15回)は、原因がまだ分からない。 サイトに自前で入れている計測と、Google Search Console(自分のサイトが Google 検索でどう扱われているかを見る Google の無料の道具)で、Claude と一緒に確かめた。

この確認で、次のことができるようになった。

  • 減った分を、原因が分かった分(Google の順位)と、分からない分(直接来る人)に分けられた。順位のほうは、Google の更新が落ち着いてから前後を比べる(12/4 に予約済み)。直接来る人のほうは、どこで知って来ていた人かを調べる必要がある、と次にやることがはっきりした
  • 人が実際に読み込んでいる記事が分かった。ロボットアーム mechArm 270 の初期の作業記録(LOG12〜LOG126)と、配膳ロボットの試算。研究の外側の作業を書いた記事(このシリーズ)は、人にはほとんど読み進められていない
  • 調べる途中で見つけた、クローラー(検索や AI のために、サイトを自動で読み回るプログラム)の「ページがない」が2種類あり、どちらも直して公開した。1つは週60回ほどの /null、もう1つは記事に載せたコードの中の文字を住所と見て取りに来る分(64記事分)。減ったかどうかは、来週のクローラーの記録で確かめる(今は見込み)
  • かかった時間は、依頼(08:27)から2つ目の直しの公開を確かめるまで約55分。前に同じ確認をしたことがないので、比べる時間はない

きっかけは「サイトのアクセス解析」という一言だった。週ごとの数を並べると、人の表示は 163 → 136 → 71 → 37 と減り続けていた。一方で、ChatGPT や Claude が利用者に頼まれてサイトを読みに来た回数は、同じ4週で 55 → 61 → 51 → 100 と増えていた。人は減り、AI の読みは増えている。続けて「人の来訪が減ってる理由はなんですか?」と聞かれ、来た所ごとに分けて Search Console と突き合わせた。

やったことなぜ結果
サイトの計測の3つの数字と人の表示を、4週分並べた
週の分析の始まり
人の表示は 163 → 37。AI が依頼で読んだ数は 55 → 100
人の表示を、来た所(直接・Google・サイト内・その他)ごとに週で分けた
何が減ったのかを分けるため
直接・不明が 66 → 15、Google+Yahoo が 41 → 9
Search Console で、Google 検索の日ごとの表示と掲載順位を見た
Google から来る人の減り方を確かめるため
11/10 に表示が1日21回に落ち、11/11 から順位も23〜71位に
X の投稿が止まっていないかを、X のプロフィールで見た
直接来る人の減り方の原因の候補だったため
1日5〜6本出ていた。止まっていない
人がよく見たページを4週分まとめた
何が読まれているかを知るため
初期の DAY 記録と配膳ロボットの試算がよく読まれ、裏側の記事は読まれていない
クローラーの「ページがない」(404)の出どころを、サイトのコードで探した
4週の記録に同じ形の404が並んでいたため
/null はハコブくんのスクリプト、{src} などは記事に載せたコードの中の文字
2つを直して公開した(2つ目は Codex のレビューを通した)
クローラーが無駄に取りに来る回数を減らすため
/null を生む文字をなくした。{ } を含む住所に 410 を返すようにした

下の図で、人の表示がどこから来た人で減ったかと、Google 検索の日ごとの表示・掲載順位を切り替えて見られます。

作業ログ ― サイトの計測の数字を4週分並べた

サイトの計測と、3つの数字の読み方

このサイトの計測は、Cloudflare Workers(サイトの手前で動く小さなプログラム)の上で自前で数えている。Claude からは計測の道具(PTM)を通して数字を読み、数を読む前に、まず読み方(how_to_read)を読む決まりにしている。

いま主に見る数字は3つ。AI の利用者の依頼で読みに来た数(ChatGPT-User・Claude-User・Perplexity-User などがページを取りに来た回数)、AI のサービスのリンクから来た人の数、サイト名で検索して来た人の数。人の表示は、マウス・指・キーの操作があった表示だけを数える(表示の約9割は機械なので)。

4週の3つの数字と人の表示(2026-10-26〜11-22・11/22 は途中の数)

週人の表示AI が依頼で読んだ数内訳AI のリンクから来た人サイト名の検索
10/26〜16455
ChatGPT-User 52・Claude-User 3
00
11/02〜13661
ChatGPT-User 45・Claude-User 16
3(ChatGPT)0
11/09〜7151
ChatGPT-User 35・Claude-User 8・Perplexity-User 8
3(ChatGPT)0
11/16〜37100
ChatGPT-User 71・Claude-User 29
4(ChatGPT)未記録

人の表示は、計測の道具の2つの集計(3つの数字の集計と、ページごとの集計)で、10/26 の週だけ 164 と 163 の1件の差がある。以下の来た所の表は、ページごとの集計(163)で数えている。

11/9 の週の Perplexity-User 8件は、LOG527 で調べたとおり設定ファイルを探す機械だった。AI のリンクから来た人は4週で合わせて10人で、すべて ChatGPT から。30人に満たないので、増えたか減ったかの判断はまだできない。

Claude-User の読みと、作業の時刻を突き合わせた

11/16 の週の Claude-User 29件には、こちらの作業が混ざっているかもしれない。Claude-User の1件ずつの時刻を出し、チャットの履歴と並べた。

Claude-User の時刻(日本時間)
読んだページ同じ時間帯の作業
11/17 09:41〜09:42
/series4・/record/day17・/record/day18
不明
11/17 13:08
/record/making-explainer-video-with-ai
不明
11/17 18:04〜18:09
π0.5 の記録10本(/guide/pi05-mecharm-270 など)
SO-101 の受け入れを整理したチャット(LOG530)の日
11/18 20:36〜22:17
/series5・/record/first-video-end-to-end・/guide・/record/making-explainer-video-with-ai
ガイドのサムネイルを作ったチャット(LOG531)の夜
11/19 01:31〜21:49
/・/tokushoho・/record/youtube-views-to-right-viewers・/serving-robot-one-less-staff
不明
11/20 10:40〜19:30
/・/issues・/message
不明
11/22 07:52/・/series4不明

作業の日と重なるものはあるが、分単位で時刻が合ったものはない。決まりどおり「試し」とは言わず、未確認として扱う。AI の読みの増え方を見るときは、ChatGPT-User(35 → 71)を中心に見るほうが安全。

作業ログ ― 人の表示を来た所ごとに分けた

週ごとの来た所(人の表示・計測のページごとの集計から)

週直接・不明Google+Yahooサイト内の移動その他合計
10/26〜66
41(Google 33・Yahoo 8)
4313163
11/02〜67
39(Google 37・Yahoo 2)
1713136
11/09〜2021(Google 21)21971
11/16〜159(Google 9)7637

その他の内訳は次のとおり。

週その他の内訳
10/26〜
LinkedIn 4・Microsoft Teams 3・X(t.co)3・市のサイト 2・Google アプリ 1
11/02〜
LinkedIn 3・LinkedIn アプリ 1・ChatGPT 3・Bing 2・studio.design 2・YouTube 1・X(t.co)1
11/09〜
ChatGPT 3・LinkedIn 3・Google Keep 2・自分の試しのリンクの印 1
11/16〜
ChatGPT 4・studio.design 1・Bing 1

11/16 の週の合計は、11/9 以降の集計(108)から 11/16 以降の集計(37)を引いて 11/9 の週(71)を出している。

減った分の大半は「直接・不明」(66 → 15)と「Google+Yahoo」(41 → 9)だった。 サイト内の移動は、外から入ってくる人が減れば一緒に減るので、原因ではなく結果と見ている。

Google 検索の日ごとの表示・クリック・掲載順位(Search Console・2026-10-19〜11-21)

Search Console の「検索結果のパフォーマンス」を、日ごとの表で開いて読み取った(新しいドメイン sc-domain:pixelstomotors.com)。最初は Claude のデスクトップアプリの中のブラウザで開こうとしたが、Google への再ログインを求められたので、ふだんの Chrome(Claude in Chrome)で開いた。

日クリック表示平均掲載順位
10/19615521.0
10/20014319.7
10/21114615.8
10/22114317.6
10/23211119.6
10/24010020.2
10/25313219.8
10/26218720.6
10/27213114.2
10/28312518.1
10/29110914.8
10/30010015.4
10/3128621.5
11/0128918.8
11/0208716.2
11/0329720.3
11/0429617.0
11/05613312.2
11/0659816.3
11/0717013.3
11/0849518.3
11/09614817.4
11/1022117.3
11/111970.7
11/1202234.3
11/1311350.1
11/1401751.4
11/1501347.4
11/1611023.3
11/1701046.0
11/1801442.1
11/1902356.9
11/2012262.8
11/2101866.4

11/9 までは掲載順位が12〜22位で、表示は1日70〜187回。11/10 に表示が21回へ落ち(順位はまだ17位)、11/11 からは順位も23〜71位に下がった。Google の11月のコアアップデート(検索の順位の付け方の大きな更新)は 11/10 に始まっている(LOG527)。クリックは、11/9 までの週ごとに 12・20 回、11/9 の週は 10 回、11/16 の週は 2 回。サイトの計測で Google から来た人(33・37・21・9)と、増え減りの向きがそろっている。

X の投稿は止まっていなかった

直接・不明の来訪には、X や LinkedIn のアプリの中のブラウザから来た人が入りやすい(アプリは来た所を送らないことが多い)。X の投稿が減っていれば、直接の来訪が減った説明になる。サイトのフッターにある X のアカウント(@adaptdesignjp)を開き、投稿を新しい順に29本読み取った。

日(日本時間)投稿の数(読み取った分)
11/212(10:39・03:30)
11/20
7(22:30・13:00・12:41・12:42・12:00・11:00・10:30)
11/19
5(22:30・13:00・12:00・10:30・03:30)
11/18
3 以上(22:30・13:00・12:00)

11/18〜11/21 も1日5〜7本出ていて、予約投稿は止まっていなかった。X の投稿の数は、直接の来訪の減り方を説明しない。

/message を開いた7回は、外の人だった

減る前の2週の「直接・不明」は、短い時間で何度も開かれたページに偏っていた。10/26 の週は /gpu-buy-or-rent が17回(表示の中央値11秒)、11/2 の週は /issues が11回・/manga-archive が8回・/message が7回。少ない人数が繰り返し開いていた形に見えたので、エイイチ自身の確認が計測を止める印(?p2m-notrack=1)なしで入っていたかもしれない、と Claude は見立てた。

これに対してエイイチから、/message を7回も開いていない、別の人ではないか、と返ってきた。見立ては外れていて、直接来た人の多くは外の人だった。そうなると、直接の来訪が 66 → 15 に減ったのは、実際に見に来る人が減ったと見るのが自然になる。どこで知って来ていた人たちかは、来た所が「不明」なので、今の記録では分からない。

作業ログ ― 人が読んでいるページを4週分まとめた

ページごとの人の表示(2026-10-26〜11-22・表示が3回以上のページ)

表示の中央値は、そのページにいた時間の真ん中の値。「75%まで読んだ」は、ページの4分の3まで下に進んだ表示の割合。

ページ表示中央値(秒)25%まで50%まで75%まで最後まで
/ (トップ)511569%43%27%20%
/issues (課題地図)22109%5%0%0%
/gpu-buy-or-rent
211152%52%10%0%
/manga-archive14921%7%7%0%
/series8131515%15%15%8%
/record/day18115391%64%27%9%
/message1110100%100%91%9%
/series681863%38%38%25%
/record/day1782575%75%38%0%
/record/day12823100%63%38%25%
/record/service-robot-last-mile
7150%0%0%0%
/record/large-restaurant-five-serving-robots-longer-wait
71929%14%14%0%
/record/from-sim-series-to-lp
66950%50%17%0%
/record/beyond-imitation-learning
61950%50%50%0%
/series459100%40%40%40%
/record/building-a-physical-ai-lab-at-home
52040%20%0%0%
/consult513100%60%20%20%
/record/alphanist-binary-reward-assembly
51680%60%60%40%
/record/check-serving-robot-sim-with-phone
53920%20%20%0%
/record/youtube-opening-question-first
51120%0%0%0%
/record/day14545950%25%25%0%
/record/serving-robot-cost-subsidy
44525%25%25%0%
/record/so101-imitation-learning-papers
4150%0%0%0%
/record/video-patterns-and-try-it
41825%25%25%25%
/serving-robot-one-less-staff
415675%50%50%50%
/record/serving-robot-video-part2
41125%0%0%0%
/record/serving-robot-video-ledger
41250%50%0%0%
/record/small-store-second-robot-wait
31533%33%33%0%
/record/one-year-lp-charts
3140%0%0%0%
/record/serving-robot-hidden-waits
31533%0%0%0%
/record/road-marking-job-post-and-physical-ai
35667%67%67%0%
/manga/ep13339100%0%0%0%
/record/claude-project-linked-folders
32867%33%33%0%
/record/day12639367%67%33%33%

読まれ方の種類で分けた

種類主なページ読まれ方
mechArm 270 の初期の DAY 記録
day12・17・18・120・126・145
回数が多く、半分以上まで読む人が多い。Google から来ている
配膳ロボットの試算
/series8・配膳ロボットの LP・大型店に5台・補助金
毎週少しずつ。LP は中央値156秒で、動画を何度も再生している(4回の表示で133回)
考察記事
日本のロボットの差(中央値449秒)・HD マップ(364秒)
回数は少ないが、来た人は長く読む
入口のページ
トップ・/issues・/manga-archive
トップは読まれる。/issues とマンガの一覧は、開いてすぐ離れる
π0.5・研究室の記録、動画の作り方、マンガの裏側
記事の数は多い
1本あたり1〜2回で、ほとんど読み進まれない

ChatGPT のリンクから来た10人の行き先は、YouTube の冒頭の作り方の記事(2回)・動画づくりの記事・day12・トップなどに散らばっていて、決まった入口はなかった。

作業ログ ― クローラーの「ページがない」(404)の出どころを探した

404 と 410 と、meta-externalagent

404 は、サーバーが「そのページはない」と返す番号。410 は「そのページはもうない(今後もない)」と返す番号で、取りに来る側に、もう来なくてよいと伝える意味を持つ。meta-externalagent は、Meta が AI のためにサイトを読み回るクローラー。

クローラーの記録(11/9 から2週)には、同じ形の404が並んでいた。

住所返した番号取りに来た回数取りに来たクローラー
/null404
26(〜11/18)・11/16 の週は60
meta-externalagent
/files/LOG502/{src}・{c}・{o}・{e[0]}・{e[1]}・{m[l]}・{EI[p][0]}
404各2〜4
ClaudeBot・GPTBot・Amazonbot
/files/LOG506/{href}・/files/LOG507/{src}・/files/LOG511/{src} ほか
404各2〜4
ClaudeBot・GPTBot・Amazonbot
/record/{src}・/record/{href}・/record/{URL}・/record/${MSG_URL} ほか
404各1〜2
ClaudeBot・GPTBot・Amazonbot
/files/LOG493/{s.img.startsWith(’/’)
4044
GPTBot・ClaudeBot・Amazonbot

/files/LOG502/{src} は、記事に載せたコードの中の文字だった

p2m-site(このサイトのコードの置き場所)で、public/files/LOG502/ のファイルを探した。

$ grep -c '{src}\|{c}\|{e\[0\]}' public/files/LOG502/*
public/files/LOG502/02_sec12.py.txt:3
public/files/LOG502/01_sec10.py.txt:0
public/files/LOG502/04_sec15.py.txt:0
public/files/LOG502/03_sec13.py.txt:1
public/files/LOG502/05_sec16.py.txt:0
public/files/LOG502/index.json:0
public/files/LOG502/LOG502_full.md:4
$ grep -n 'src="{src}"\|href="{href}"\|{s.img.startsWith' -r public/files/LOG502 public/files/LOG493 public/files/LOG506
public/files/LOG502/LOG502_full.md:696:            f'<img data-a="pop" data-t="0.35" data-d="0.5" src="{src}" style="position:absolute;left:{left}px;top:{top}px;width:{w}px">')
public/files/LOG502/02_sec12.py.txt:203:            f'<img data-a="pop" data-t="0.35" data-d="0.5" src="{src}" style="position:absolute;left:{left}px;top:{top}px;width:{w}px">')
public/files/LOG493/LOG493_full.md:627:          <img src={s.img.startsWith('/') ? s.img : media(`/media/${s.img}`)} alt={`${s.ja}|${s.en}`} loading="lazy" />
public/files/LOG493/03_sec04.txt:144:          <img src={s.img.startsWith('/') ? s.img : media(`/media/${s.img}`)} alt={`${s.ja}|${s.en}`} loading="lazy" />
サイトに置いた LOG502 のコードのファイル。203行目の src=“{src}” を、クローラーが住所と見て /files/LOG502/{src} を取りに来ていた

記事に載せた Python のコードには、HTML を組み立てる文字として src="{src}" が入っている。GPTBot・ClaudeBot・Amazonbot は、.txt や .md の中からも src="…" href="…" の形を拾い、そのファイルの置き場所(/files/LOG502/)から見た住所として取りに来ていた。/record/{src} のほうは、記事の Markdown 版(/record/{slug}.md)の中のコードから拾っている。同じ形の文字があるのは、public/files/ の64記事分だった。

$ grep -rlE 'src="\{|href="\{|src=\{|href=\{|\$\{[A-Z_]+\}' public/files | sed -E 's#public/files/(LOG[0-9]+)/.*#\1#' | sort -u | wc -l
64
$ find public src/pages -name '*[{}`]*'
(出力なし)

コードは全文を載せる決まりなので、中身は変えない。サイトに { } ` を名前に含むファイルは1つもないので、そういう住所には 410 を返してよい、と考えた。

/null は、ハコブくんのスクリプトの文字の ‘null’ だった

/null のほうは、ページの中にリンクがなかった。トップ・記事・課題地図・マンガのページの HTML、サイトマップ、llms.txt、更新の一覧 updates.json を探しても、null へのリンクはない。

$ curl -s https://pixelstomotors.com/updates.json | python3 -c "..."
<class 'dict'> ['items']
20
[{'id': 'record:ai-leaves-cleanup-600gb-video-frames-on-external-ssd', 'kind': 'record', 'label': 'LOG546', 'title': 'AIに作業を任せると、片付けは残る ― 外付けSSDの600GBが動画のコマだった', 'url': '/record/ai-leaves-cleanup-600gb-video-frames-on-external-ssd', 'date': '2026-11-22T00:00:00.000Z'}, {'id': 'record:why-microfactory-robots-are-reliable-llm-and-pi05', 'kind': 'record', 'label': 'LOG545', 'title': '小さな会社のロボットはなぜ確実に動くのか ― MicroFactory の LLM と π0.5 の使い分け', 'url': '/record/why-microfactory-robots-are-reliable-llm-and-pi05', 'date': '2026-11-21T00:00:00.000Z'}]
[]
$ for u in / /record/ai-leaves-cleanup-600gb-video-frames-on-external-ssd /issues /manga-archive /series8 /manga/ep147 /record/day18; do ... grep null ...; done
== / 96356
== /record/ai-leaves-cleanup-600gb-video-frames-on-external-ssd 87175
== /issues 120988
== /manga-archive 84609
== /series8 136008
== /manga/ep147 70430
== /record/day18 54308
(どのページにも null へのリンクはなかった)
$ curl -s https://pixelstomotors.com/sitemap.xml | grep -c null
0

次に、実際のブラウザ(Playwright の Chromium)でページを動かし、/null を取りに行く動きがないかを見た。

import asyncio,sys
from playwright.async_api import async_playwright
pages=sys.argv[1:]
async def main():
  async with async_playwright() as p:
    b=await p.chromium.launch()
    for path in pages:
      ctx=await b.new_context(user_agent="Mozilla/5.0 (compatible; probe)")
      pg=await ctx.new_page()
      hits=[]
      pg.on("request",lambda r:hits.append(r.url))
      try:
        await pg.goto("https://pixelstomotors.com"+path+("&" if "?" in path else "?")+"p2m-notrack=1",wait_until="networkidle",timeout=45000)
        await pg.wait_for_timeout(4000)
      except Exception as e: print("ERR",path,e)
      bad=[h for h in hits if "/null" in h or "undefined" in h or "%7B" in h]
      print(path,len(hits),bad)
      await ctx.close()
    await b.close()
asyncio.run(main())
$ python3 /tmp/probe.py / /record/day109 /manga/ep13 /english-4-koma/ep31 /record/ai-leaves-cleanup-600gb-video-frames-on-external-ssd
/ 64 []
/record/day109 31 []
/manga/ep13 34 []
/english-4-koma/ep31 30 []
/record/ai-leaves-cleanup-600gb-video-frames-on-external-ssd 30 []

ブラウザで動かしても /null は出ない。そこで、ページが読み込むスクリプトの中の文字を探した。

$ curl -s https://pixelstomotors.com/_astro/HakobuParade.astro_astro_type_script_index_0_lang.DJ-JM5aE.js | grep -oE ".{60}['\"\`]null['\"\`].{30}"
{})}catch{}}try{const t=JSON.parse(localStorage.getItem(u)||"null");t&&!t.done&&location.pathnam
("click",n);try{const c=JSON.parse(localStorage.getItem(u)||"null");c&&c.id===n.id&&(c.clicked=!

更新を知らせるハコブくんのスクリプトに、"null" という文字が2か所あった。meta-externalagent は同じスクリプトの中の '/updates.json' を、2週で952回取りに来ている。スクリプトの中の文字の並びを住所として拾っていて、"null" も同じように /null として取りに来ていると見た。1件ずつの記録を見ても、/null は特定のページの直後ではなく、ほかのページを読み回る合間に1〜2時間おきに出ていた。

時刻(11/22・日本時間)
meta-externalagent が取りに来たもの
04:13:56/null(404)
04:14:37/
06:09:46/null(404)
07:34:12/null(404)

これはブラウザで再現できていないので、「ほぼ確実」までで、確かめきれてはいない。直したあとに /null が減れば、見立てが合っていたことになる。

作業ログ ― /null の元になる文字を、ハコブくんのスクリプトからなくした

この記事のコード・ログ・データは、1ファイルずつ下に置いています。全文はリンク先にあります。

ファイルの一覧(2本)

01_HakobuParade.astro.txt ― 直したあとの HakobuParade.astro(全文)・13,155字

02_worker_index.js.txt ― 直したあとの worker/index.js(全文)・48,385字

HakobuParade.astro の変更(差分)

diff --git a/src/components/HakobuParade.astro b/src/components/HakobuParade.astro
index af81f24..a0a2f0d 100644
--- a/src/components/HakobuParade.astro
+++ b/src/components/HakobuParade.astro
@@ -94,9 +94,11 @@
       }
     } catch { /* 送れなくてもサイトの動きには影響させない */ }
   }
+  // 最後に知らせた更新を読む。なければ null(文字の 'null' を書かない:クローラーが JS の中の文字を住所と見て /null を取りに来ていた。2026-11-22)
+  const readShown = () => { const v = localStorage.getItem(SHOWN_KEY); return v ? JSON.parse(v) : null; };
   // 押さずにあとで見に来たか:最後に知らせた更新のページを、7日以内に開いたら1回だけ送る
   try {
-    const last = JSON.parse(localStorage.getItem(SHOWN_KEY) || 'null');
+    const last = readShown();
     if (last && !last.done && location.pathname === last.url && Date.now() - last.at < 7 * 864e5) {
       if (!last.clicked) report('later', last); // 押して来た分は click で送り済み
       last.done = true; localStorage.setItem(SHOWN_KEY, JSON.stringify(last));
@@ -140,7 +142,7 @@
     say.addEventListener('click', () => {
       if (preview) return;
       report('click', it);
-      try { const last = JSON.parse(localStorage.getItem(SHOWN_KEY) || 'null'); if (last && last.id === it.id) { last.clicked = true; localStorage.setItem(SHOWN_KEY, JSON.stringify(last)); } } catch { /* なし */ }
+      try { const last = readShown(); if (last && last.id === it.id) { last.clicked = true; localStorage.setItem(SHOWN_KEY, JSON.stringify(last)); } } catch { /* なし */ }
     });
     document.body.append(box, say);
     const RUN = reduce ? 4000 : 7500;
  • ねらい:クローラーが住所と見て取りに来る "null" の文字を、スクリプトからなくす
  • 変わったこと:最後に知らせた更新を読む小さな関数 readShown() を足し、値がないときは文字ではなく null をそのまま返す。動き(あとで見に来たかの記録・押したかの記録)は変えていない
  • 見込める効果:meta-externalagent の /null が週60回ほどから0回へ。来週のクローラーの記録で確かめる

直したあとの HakobuParade.astro(全文)

01_HakobuParade.astro.txt13,155字・230行・astro
---
// サイトに新しい更新(記録・4コマ・課題地図の最近の動き)があると、ハコブくんが画面の下を走り回って知らせる。
// 動画の進み具合のページの「動画が公開されたら走るハコブくん」と同じ動き・同じ決まり:
// - 知らせた更新はこのブラウザに覚えておき、同じ更新では2回走らない
// - 初めて来た人には、今日(日本時間)公開された分だけ知らせる
// - タブが見えていないときは走らず、見えたときに走る
// 吹き出しを押すと、その更新のページへ移る
// 5〜20回に1回、走っている途中でコケて、起き上がってまた走る(回数はこのブラウザに覚える。2026-10-24)
別のタブで開く保存

ビルドと、手元のブラウザでの確かめ

$ npm run build
09:00:39 [@astrojs/sitemap] `sitemap-index.xml` created at `dist`
09:00:39 [build] 944 page(s) built in 39.26s
09:00:39 [build] Complete!
$ grep -c '"null"' dist/_astro/HakobuParade*.js
0

ハコブくんが走ること(?hk=run)と、あとで見に来たときに記録の印(done)が付くことを、作った dist を手元で開いて確かめた。

import asyncio
from playwright.async_api import async_playwright
async def main():
  async with async_playwright() as p:
    b=await p.chromium.launch(); pg=await b.new_page(); logs=[]
    pg.on("console",lambda m:logs.append(m.text)); pg.on("response",lambda r:logs.append(f"{r.status} {r.url}"))
    await pg.goto("http://localhost:8765/record/day18.html?hk=run&p2m-notrack=1"); await pg.wait_for_timeout(3000)
    print("say:",await pg.locator(".hk-say").count(), pg.url)
    print("\n".join(l for l in logs if "Hakobu" in l or "updates" in l or "404" in l[:3] or "rror" in l))
    await b.close()
asyncio.run(main())
$ python3 /tmp/t2.py
say: 1 http://localhost:8765/record/day18.html?hk=run&p2m-notrack=1
404 http://localhost:8765/media/s-1920x1080_0f8a12e5-b434-4d40-8ed2-8306c22de9c9.webp
200 http://localhost:8765/_astro/HakobuParade.astro_astro_type_script_index_0_lang.7zSLlD3_.js
200 http://localhost:8765/updates.json

(/media/ の 404 は、手元のサーバーに R2 の画像がないため。)

import asyncio
from playwright.async_api import async_playwright
async def main():
  async with async_playwright() as p:
    b=await p.chromium.launch(); pg=await b.new_page(); errs=[]; reqs=[]
    pg.on("pageerror",lambda e:errs.append(str(e))); pg.on("request",lambda r:reqs.append(r.url))
    await pg.goto("http://localhost:8765/record/day18.html?p2m-notrack=1")
    await pg.evaluate("localStorage.setItem('p2m-site-announced-last', JSON.stringify({id:'x',kind:'record',url:'/record/day18.html',at:Date.now(),clicked:false,done:false}))")
    await pg.reload(); await pg.wait_for_timeout(1500)
    print(await pg.evaluate("localStorage.getItem('p2m-site-announced-last')"), errs, [r for r in reqs if 'hk-event' in r or r.endswith('/null')])
    await b.close()
asyncio.run(main())
$ python3 /tmp/t3.py
{"id":"x","kind":"record","url":"/record/day18.html","at":1795305814034,"clicked":false,"done":true} [] []

main に入れて公開し(commit c633f94)、約2分半後に公開中のスクリプトが新しい版(7zSLlD3_)に替わり、"null" が0になったことを確かめた。

/_astro/HakobuParade.astro_astro_type_script_index_0_lang.7zSLlD3_.js 0

作業ログ ― コードの中の文字を住所と見て来るクローラーに 410 を返した

worker/index.js の変更(差分)

サイトの入口の worker で、古い住所の転送(movedTo)のあと、静的なファイルを返す前に、住所に { } `(またはそのエンコード %7B %7D %60)を含むものへ 410 を返す。クローラーの記録には 410 として残す。

diff --git a/worker/index.js b/worker/index.js
index 8be2d74..3405a3b 100644
--- a/worker/index.js
+++ b/worker/index.js
@@ -11,6 +11,7 @@
 // - /api/cr-stats        その記録を、どのクローラーが・いつ・どのページを読んだかで数えて見せる(2026-10-25)
 // - /api/kpi-stats       主に見る3つの数字(AI の依頼読み・AI のリンクからの来訪・サイト名の検索)を日ごと・週ごとに見せる(worker/kpi.js。2026-11-06)
 // - /mcp/{鍵}            サイトの計測を Claude につなぐ部品(MCP サーバー。worker/mcp.js。2026-11-06)
+// - { } ` を含む住所   記事のコードの中の文字をクローラーが住所と見て来たもの。410 を返す(2026-11-22)
 // - 5分ごとの scheduled  SNS の予約投稿の時刻が来ていたら GitHub Actions を起こす(worker/sns_cron.js)。前の日の3つの数字がまだなければ集計して残す(worker/kpi.js)
 //
 // 守り(2026-10-23)
@@ -44,6 +45,15 @@ export default {
       } catch { /* 数え損ねても転送はする */ }
       return secured(Response.redirect(to.toString(), 301));
     }
+    // 記事に載せたコードの中の文字(src="{src}"・${MSG_URL} など)を、クローラーが住所と見て取りに来る(2026-11-22。64記事分)。
+    // ページではないので 404 より「もうない」の 410 を返し、取りに来る回数を減らす。{ } ` を含むファイルはサイトにない
+    if (/[{}`]|%7B|%7D|%60/i.test(url.pathname)) {
+      try {
+        const bot = crawlerOf(request, url);
+        if (bot) ctx.waitUntil(crRecord(request, env, url, bot, 410).catch(() => {}));
+      } catch { /* 数え損ねても返す */ }
+      return secured(new Response('Gone', { status: 410, headers: { 'x-robots-tag': 'noindex', 'content-type': 'text/plain; charset=utf-8' } }));
+    }
     let res = await env.ASSETS.fetch(request);
     // 記事の全文ページ(/record/{slug}.md。2026-11-01)は、検索では記事ページを正とする(canonical)。文字コードも付ける
     const full = res.ok && url.pathname.match(/^\/record\/([^/]+)\.md$/);
$ node --check worker/index.js && echo syntax-ok
syntax-ok
$ node -e 'const re=/[{}`]|%7B|%7D|%60/i; for (const p of [...]) console.log(re.test(p)?410:"pass",p)'
410 /files/LOG502/%7Bsrc%7D
410 /record/%24%7BMSG_URL%7D
410 /files/LOG511/%7B%60
pass /record/day18
pass /files/LOG502/02_sec12.py.txt
pass /null
pass /files/LOG502/%27%20%2B%20LOGO%20%2B%20%27

' + LOGO + ' の形(/files/LOG502/%27%20%2B%20LOGO%20%2B%20%27)は { を含まないので対象外のまま。数が少ないので、今回は広げなかった。

  • ねらい:コードの中の文字から生まれた住所に、「もうない」とはっきり返す
  • 変わったこと:{ } ` を含む住所は、404 ではなく 410 を返す。ほかの住所の返し方は変えていない
  • 見込める効果:GPTBot・ClaudeBot・Amazonbot が同じ住所を取りに来る回数が減る見込み。ただし Google は 404 と 410 をほぼ同じに扱う(下の Codex の指摘)。来週のクローラーの記録で、410 の住所への再訪が減るかを見る

Codex のレビュー(依頼箱の依頼255)

サイトの決まりでは、公開後に戻しにくい変更(住所・転送など)は外のレビューを挟む。変更を枝 crawler-410 に置き、依頼箱(Mac の上で Claude Code に依頼を渡して自動で回す仕組み)から Codex(OpenAI のコードの AI)にレビューを頼んだ。依頼箱の Claude Code は Codex を起動するだけで、レビューそのものはしない。

依頼255(依頼箱に置いた依頼文)

---
作業フォルダ: /Users/shimazueiichi/r2r2r-scripts
上限時間: 60
---
# Codex に、サイトの worker で { } ` を含む住所に 410 を返す変更をレビューしてもらう

あなた(Claude Code)の仕事は **Codex を起動してレビューを任せることだけ**。レビューそのものはしない。r2r2r-scripts を含め、どのファイルも変更しない。

## 手順

1. Codex CLI があるか確かめる:`command -v codex || ls ~/.npm-global/bin/codex`。見つからない・ログインが切れている場合は、何もせずに止めて、報告の「決めてほしいこと」にその旨を書く。
2. 次をそのまま実行する(依頼書の中身をあなたが要約・書き換えしない):

```bash
REVIEW_DIR="$HOME/Library/Mobile Documents/com~apple~CloudDocs/デスクトップ/ADAPT DESIGN/じぶんの/PixelstoMotors/_crawler410_review_20261122"
find "$REVIEW_DIR" -type f -exec brctl download {} \; 2>/dev/null
git clone -q --depth 1 -b crawler-410 https://github.com/PixelstoMotors/p2m-site "$REVIEW_DIR/p2m-site" 2>&1 | tail -3
codex exec --skip-git-repo-check -C "$REVIEW_DIR" -s workspace-write \
  "codex_review_request.md を読んで、その指示どおりにレビューし、報告を codex_report.md としてこのフォルダに書いてください。crawler410.diff と p2m-site/ は読むだけで、書いてよいのはこの報告ファイルだけです。" \
  > "$REVIEW_DIR/_codex_run.log" 2>&1
```

   clone に失敗した場合は、p2m-site なしで codex を動かしてよい(crawler410.diff だけでレビューさせる)。そのことを報告に書く。
3. 終わったら `codex_report.md` ができたか確かめる。
   - できていれば、報告には「できた」とそのパスと、Codex の報告の全文を写す。
   - できていなければ、`_codex_run.log` の末尾 40 行を報告に写す。

## 守ること

- Codex の報告の中身をあなたが評価・手直ししない。
- `-s workspace-write` を外さない・制限を外す指定を足さない。
- 失敗しても自分でレビューを代わりにやらない。

報告の最後は「判定:合格/止めた(決めてほしいことあり)/失敗」のどれか1つで終える。

codex_review_request.md(Codex に渡したレビューの依頼)

# レビュー依頼:worker で { } ` を含む住所に 410 を返す

## 対象
- 差分:`crawler410.diff`(p2m-site の main と枝 crawler-410 の差)
- 全体:`p2m-site/`(枝 crawler-410 を clone したもの。`worker/index.js` の fetch)

## 背景
- 記事に載せたコード(`public/files/LOG{N}/*.txt`・`LOG{N}_full.md`・`/record/{slug}.md`)の中の `src="{src}"`・`${MSG_URL}`・`{s.img.startsWith('/')` などを、GPTBot・ClaudeBot・Amazonbot が住所と見て取りに来て、404 が週に数十種類出ている(64記事分)。
- コードは全文を載せる決まりなので、中身は変えない。代わりに、住所に `{` `}` `` ` ``(またはそのエンコード %7B %7D %60)を含むものへ 410 を返し、取りに来る回数を減らしたい。
- サイトに `{ } `` ` `` を名前に含むファイルはない(`find public src/pages -name '*[{}\`]*'` が空)。

## 見てほしいこと
1. 正しいページ・ファイル・API・転送(`movedTo`・`/pixelstomotors/`・`/api/`・`/media/`・`/mcp/`)を誤って 410 にしてしまう場合がないか。特に、クエリ文字列(?via=… や ?key=…)は `url.pathname` に入らないので対象外のはずだが、確かめてほしい。
2. 置いた位置(movedTo の転送のあと、ASSETS.fetch の前)が正しいか。
3. 410 にするのが 404 より悪くなる点(検索・AI のクローラーの扱い)がないか。
4. クローラーの記録(crRecord)に 410 で残す書き方に問題がないか。

## 報告の形
- 指摘ごとに「重さ(必須/推奨/据え置き)・場所・中身・直し方」
- 最後に「判定:このまま出してよい/直してから出す」

codex_report.md(Codex の報告・全文)

# crawler410 レビュー報告

## 1. 一部の住所は 410 の処理を通らない

- **重さ:推奨**
- **場所:** `p2m-site/wrangler.jsonc` の `assets.run_worker_first`、`worker/index.js:32–57`
- **中身:** `/api/`、`/media/`、`/mcp/` は判定より先にそれぞれの処理へ渡される。`/pixelstomotors/` はまず 301 で接頭辞を外し、その転送先が通常のパスなら次のリクエストで 410 になる。また、`/_astro/`、`/site/`、`/og/`、`/thumbs/`、`/embeds/`、`/sim/`、`/favicon` で始まるパスは `run_worker_first` の除外対象で、静的アセットがない場合も Worker の 410 判定を通らない。したがって「文字を含むすべての住所に 410」ではない。優先処理は既存の API、R2 のファイル、MCP の鍵、旧 URL の転送を壊さないために有益だが、これらの経路に誤認 URL がある場合は今回の対策は届かない。Cloudflare の[ルーティング設定の説明](https://developers.cloudflare.com/workers/static-assets/routing/worker-script/)でも、否定パターンは Worker の先行実行から除外される。
- **直し方:** この範囲を仕様として明記し、実際の 404 記録に除外経路があるか確認する。必要な経路だけ、既存の正常なファイルや API を壊さない方法で別途対応する。無条件に判定を先頭へ移す必要はない。

## 2. 410 の記録はページ・テキストと認識されたものに限られる

- **重さ:推奨**
- **場所:** `worker/index.js:50–54`、`worker/index.js:580–592`
- **中身:** `crRecord` の呼び方、非同期の `ctx.waitUntil`、失敗時に応答を妨げない扱い、ステータス 410 の保存と集計は既存の 301・通常応答と整合している。一方 `crawlerOf` は GET・HEAD、既知の User-Agent、`CR_PAGE` に合うパスに限定する。例えば `/files/LOG410/{src}.png` は 410 を返すが末尾が `.png` なので記録されない。対象外経路も記録されない。よって 410 の記録だけでは対策対象の全アクセス数や削減効果を測れない。パスは従来どおり先頭 160 文字に切られる。
- **直し方:** 全 410 を観測したい場合は、410 専用に User-Agent の判定とパス拡張子の判定を分け、既知のクローラーに限って記録する方法を検討する。現在のページ・テキスト限定で十分なら、その制限を明記して据え置く。

## 3. 410 でクロールが減るとは限らない

- **重さ:据え置き**
- **場所:** `worker/index.js:47–55`
- **中身:** Google は [404 と 410 を同じように扱い](https://developers.google.com/crawling/docs/troubleshooting/http-status-codes)、どちらも対象 URL をインデックスから除外する。したがって Google について 410 が 404 よりクロールを減らすとは言えない。GPTBot・ClaudeBot・Amazonbot がこの変更でどの程度再訪を減らすかも確認できず、効果は保証できない。410 は永続的に利用できないことを表すため、今後この文字を含む正当なパスを作る場合はその URL が除外されるリスクがある。`X-Robots-Tag: noindex` が付いていても 410 自体で取得は失敗する。
- **直し方:** 410 は対象が今後も存在しないという前提で採用し、公開後に対象 URL の応答とアクセス推移を観測する。将来該当文字を含む正規パスを追加するときは判定を見直す。

## 確認結果

- `new URL(request.url)` の `pathname` のみを正規表現で検査するため、正常なパスの `?via={...}`、`?key=%7B...%7D` などのクエリ文字列だけで 410 にはならない。大文字・小文字の異なる `%7B`、`%7D`、`%60` も検出する。
- `movedTo` の後に置くことで、既存の移転先が優先される。特に `/files/` のダッシュ修正は該当文字を含むパスでも先に 301 になる。`ASSETS.fetch` の前なので、Worker が処理する通常経路では対象を 410 にできる。この優先順位による既存の正常なページ、転送、API の誤った 410 は確認できなかった。
- ファイル名に該当文字がないという依頼文の前提と、静的なルートの構成に基づく確認であり、本番 R2 の全キーや実際の Cloudflare 上の応答は検証していない。

**判定:このまま出してよい**
2026-11-22T09:05:53 開始 20261122_255_Codexにサイトのworkerの410をレビューしてもらう.md[列:コード]
2026-11-22T09:09:31 完了 20261122_255_Codexにサイトのworkerの410をレビューしてもらう.md → 結果/20261122_255_Codexにサイトのworkerの410をレビューしてもらう_20261122_0905.md

判定は「このまま出してよい」。指摘の1(/_astro/ や /media/ などはこの判定を通らない)は、今回の404がすべて /files/ と /record/ なので影響しない。指摘の3(Google は 404 と 410 を同じに扱う)は、上の「見込める効果」に書いた。main に入れて公開した(commit b568594)。

直したあとの worker/index.js(全文)

02_worker_index.js.txt48,385字・723行・javascript
// サイトの入口。ほとんどのページは作っておいた静的ファイル(dist/)をそのまま返す。
// ここで処理するのは3つだけ:
// - /pixelstomotors/…   旧 URL の形。/pixelstomotors を外した URL へ 301 で転送する
// - /media/{ファイル名}  記事・4コマの画像と動画を R2(p2m-media)から返す(GitHub には入れないため)
// - /api/message         メッセージフォームの送信を R2(p2m-messages)に保存し、メールで知らせる
// - /api/hk-event        更新を知らせるハコブくんが「出た・押された・あとで見に来た」を R2(p2m-messages の hk-events/)に1件ずつ残す
// - /api/hk-stats        その記録を日ごと・更新ごとに数えて見せる(数だけ。誰かは分からない)
// - /api/ev              サイトの使われ方(1回のページ表示ごとの、読んだ深さ・押したもの・迷い)を R2(p2m-messages の ev/)に残す
別のタブで開く保存

公開後の確かめ

公開から約2分後に 410 に替わった。正しいページ・ファイル・クエリ付きの住所は、今までどおり 200 を返す。

$ curl -s -o /dev/null -w '%{http_code}' https://pixelstomotors.com/files/LOG502/%7Bsrc%7D
410
410 /record/%24%7BMSG_URL%7D
200 /record/day18
200 /files/LOG502/02_sec12.py.txt
200 /llms.txt?via=%7Bx%7D
200 /

レビュー用の枝 crawler-410 は、GitHub への接続が2回切れて消せていない。中身は main に入っているので、残っていても動きには関わらない。

作業ログ ― これから確かめること

確かめること何で見るかいつ
/null が減ったか
クローラーの記録の /null の回数(11/16 の週は60)
11/23〜11/29 の週の記録
410 にした住所への再訪が減ったか
クローラーの記録の、410 を返した住所の回数
同じ週から2週
Google の順位が戻るか
Search Console の日ごとの掲載順位と表示
12/4(予約済み)
直接来る人が、どこで知って来ていた人か
直接の来訪が多かったページ(/gpu-buy-or-rent・/issues・/message)に、来た所が分かる印を付けたリンクを置くか、考える
次の週の分析
サイト名の検索(11/16 の週)
Search Console11/25 以降