PIPELINE
VLM統合パイプライン
01
iPhone
撮影
Iriun / index 1
02
HSV
検出
赤ブロック重心
03
座標
変換
World→Robot
04
アーム
制御
send_coords()
05
VLM
判定
Claude API
パネルを選択してください
各ステップをクリックすると詳細が表示されます。
COORDINATE DATA
取得済み座標データ
APPROACH_PICK — get_coords()
[134.9, -173.1, 49.9
-97.14, 55.44, -143.21]
関節角度: [-54.22, 81.91, -30.14, -8.08, -50.27, -29.44]
PICK — get_coords()
[138.8, -167.5, 35.1
-96.25, 58.15, -143.63]
関節角度: [-46.93, 102.74, -43.33, 3.6, -60.11, -31.9]
カメラ基準点（detect_block_position）
world_x = -258.5 mm
world_y = +204.8 mm
Pixel: (338, 859) / PICK定位置に置いた際の実測値
変換式（オフセット）
robot_x = -world_x − 119.7
robot_y = -world_y + 37.3
OFFSET_X=-119.7 / OFFSET_Y=+37.3 / Z=35.1固定
VLM JUDGMENT
Claude API 判定結果（検証）
● failure
ブロックなし
● failure
ブロックが箱の外
○ success
ブロックが箱の中
STRUCTURAL ISSUE
発見した設計の矛盾
send_coords() + send_angles() 混在問題
現在の設計（矛盾あり）
send_coords(above) ← 追従 send_coords(approach) ← 追従 send_angles(PICK) ← 固定に上書き set_gripper_state(1)
修正方針（翌日）
send_coords(above) ← 追従 send_coords(approach) ← 追従 send_coords(Z=35.1) ← 追従を維持 set_gripper_state(1)