Pixelsの起源が二つに増える
CLICK TO EXPLORE
— 4 STEPS / CLICK TO OPEN
01
色を見る
vs
物を見る
02
マットの
正体
03
FoundationPose
の壁
04
Pixelsの
起源が二つ
▲
上のステップをクリックして探索を開始
01 / 色を見るのと、物を見るのは違う
現状のHSV色マスクは「赤い領域」を拾うだけ。マットの赤も、影の赤も、服の赤も区別しない。
NOW / HSV mask
NEXT / YOLOv8
block 0.94
PROBLEM
色マスクの限界
赤いマット・赤い影・赤い服も全部「ブロック」として拾う
SOLUTION
物体認識へ
YOLOv8は「形」と「クラス」を学習。色ではなく物体として認識
問題にならないことと、見えていないことは違う
02 / マットは「世界に置いた物差し」だった
黒マットは座標系の物理基準。二つの仕事を担っている。これを別の手段に引き継げばマットは外せる。
DESK
X (620mm)
Z (450mm)
黒マット = 座標系の物理基準
FUNCTION 1
座標対応
FUNCTION 2
平面 Z=0
REPLACE WITH
Hand-Eye Calib
グリッパー青シール3点を流用、カメラ↔ロボット関係を自動算出
REPLACE WITH
iPhone LiDAR
机の平面を実測。Z=0仮定なしで3D位置が取れる
マットを外すことは、物理基準を別の知覚に引き継ぐこと
03 / FoundationPoseを夢見て、Macの壁にぶつかった
最先端は座標を明示的に出さない方向に進化している。FoundationPoseは魅力的だが、Macでは動かない。問いに戻った。
座標を出さない方向 →
STAGE 1
マット
世界に物差し
STAGE 2
マーカー
物に物差し
STAGE 3
FoundationPose
CADから6DoF
STAGE 4
End-to-End
画像→動作
DREAM
FoundationPose
CADを渡せば6DoFが取れる。Unityのジオメトリと完璧に噛み合う
REALITY
CUDA only
M1では動かない。立方体ブロックに6DoFはオーバースペック
GPU専用PCを足した瞬間、「iPhoneとUnityだけで」が崩れる
04 / Pixelsの起源が二つに増える
残ったスタックはYOLOv8 × Unity合成データ × iPhone LiDAR。全部M1で動く。学習だけクラウドに投げる。Unityが動作と知覚を両方シミュレートする。
PIXELS TO MOTORS
Camera Pixels
実機センシング
Render Pixels
Unityデジタルツイン
知覚モデル
YOLOv8n / MPS
Motors
mechArm
2つの起源が知覚モデルに合流する
LOCAL / M1
推論
YOLOv8n + LiDAR + Hand-Eye Calib
全部Macで動く
CLOUD
学習
Colab / RunPod
30-60min、数百円
Unityは、動作だけでなく
知覚もシミュレーションし始めた
マットを外すことは、物理的な物差しへの依存を止め、
Unityの合成ピクセルと実画像を混ぜる思想への移行を意味する