iPhoneで撮った3Dスキャン（coffeecup）の精度問題とUnityへの取り込み検証

coffeecup_1をUnityにインポートする前に、3Dpressoで生成したモデルと実物を並べて比較した。

結論から言うと、精度は出ていない。 でも今日わかったのは、それが3Dpressoの限界ではなく、撮影環境の問題だったということだ。

※注釈：デジタルツイン学習（R2R2R）の検証プロセス 本プロジェクトは、AIの判断を物理的動作へ変換する設計を検証するものです。現実空間をデジタルツイン化し、仮想空間での大量試行（Real-to-Render）から得た最適解を、実世界のモーター駆動（to-Real）へ還元する「R2R2Rパイプライン」の実装過程を記録・考察します。

実物と3Dモデルの差

実物のコーヒーカップはこういう特徴を持っている。

• 均一なオレンジ色の陶器

• 表面に光沢あり

• 胴体はほぼ完全な円筒

• 取っ手は小さく角張った四角いループ

3Dpressoのモデルと比べると、取っ手はほぼ再現できていた。問題は胴体だ。上がすぼまって見えたり、口縁が歪んでいたり、色も赤茶寄りになっていた。

なぜ精度が出なかったのか

フォトグラメトリには天敵がある。

単色 × 光沢面だ。

AIが3D形状を復元するとき、複数の写真から「同じ点」を見つけ出して位置を計算する。特徴点のマッチングが必要になる。

ところがこのカップは、

• 均一なオレンジ一色 → 特徴点が少ない

• 光沢あり → 視点が変わるたびに反射が変わる → 同じ点に見えなくなる

この2つが重なると、AIは形状をうまく推定できない。胴体が変形して見えたのはこのためだ。

3Dpressoの精度の問題ではなく、素材と撮影環境の相性問題だった。

改善策

光沢を消せば解決できる。

調べた結果、マット化スプレーが有効だとわかった。スプレーを吹きかけて表面の光沢を一時的に消してからスキャンする方法だ。

選択肢はいくつかある。

本命：AESUB Blue（昇華型） 3Dスキャン専用のドイツ製スプレー。約4時間で成分が自然昇華して消える。拭き取り不要なので、取っ手の隙間にも安心して使える。1缶5,000円前後。

代替：8×4パウダースプレー（無香料） 制汗用のパウダースプレー。白い微粒子が均一に付着してマット化できる。830円で手に入る。まずこれで効果を確認してから、AESUBに移行する判断をする。

今回は8×4パウダースプレーで試すことにした。

撮影方法の比較実験

3Dpressoモデリング-coffeecup_1

3Dpressoモデリング-coffeecup_2

3Dpressoモデリング-coffeecup_3

スプレーを待つ間、撮影方法そのものを変えたらどうなるかを試した。同じコーヒーカップ、同じ環境で2種類の方法で撮影し直した。

① coffeecup_2：アプリのガイドに従って自分が回って撮影
② coffeecup_3：カップを回転させながら動画撮影→WEBでアップロード

結果はこうなった。

②のカップを回す方法が明確に優位だった。 カメラが固定されているので視点が安定し、背景も一定に保てるのが理由だ。

ただし①も②も共通の問題が残った。撮影台（木の板）が一緒にスキャンされてしまうことだ。②はEditで手動除去したが、毎回この作業が必要になるのは効率が悪い。

改善アイデア：カラーシール

台座が混入する原因は、AIがカップとテーブル面を分離できないからだ。

解決策としてテーブルにカラーシールをランダムに貼ることを試してみる。

テーブル面にランダムなシールで特徴点を作る
↓
AIがテーブル面を認識しやすくなる
↓
カップとテーブルが自動分離される可能性

100均やコンビニで手に入る。コスト的にまず試す価値がある。

精度改善のロードマップ

今日の実験を踏まえて、改善の順番が見えてきた。

一つずつ変数を潰していく。総投資額13,000円前後でiPhoneフォトグラメトリの精度が大きく改善できるか、検証していく。

設計判断

スキャン精度が出ないと気づいたとき、最初に頭をよぎったのは「もっと良いツールを使うべきか」という方向だった。

でも立ち止まって考えた。

精度より体験の成立を優先する。精度はあとからお金で解決できる。

今のフェーズで必要なのは、coffeecup_1がUnity上でロボットアームに掴まれる体験が成立することだ。スキャン精度が85%か60%かは今は関係ない。

取っ手は再現できている。胴体の変形も、Collider設計で補正できる。このモデルでLOG85のインポート・Collider構築に進む。