SUMIKA — 3D物件探索プロトタイプ
SUMIKA — 3D Listing Exploration Prototype
Gaussian Splatting で撮影した物件の3Dシーンをブラウザで滑らかに探索できるプロトタイプ。地価・日照・交通アクセスなどの属性をベクトル埋め込みとして結合し、自然言語での物件検索を実験する。
ライブデモ
実際のアプリケーション画面のプレビュー
パークタワー晴海
おすすめ間取り図 - 3LDK
ブリリアタワー目黒
レジデンシャル代々木
グランドメゾン白金台
クレヴィア豊洲
プレシス武蔵小杉
課題
従来の不動産検索は絞り込み条件のチェックボックスに依存し、「静かで朝日が入る家」のような感覚的クエリに応えられない。また360°写真は視点が固定され、実寸把握が難しい。
ソリューション
Gaussian Splatting で軽量化した3DシーンをThree.js / WebGPUで描画しながらストリーミング。テキスト検索は CLIP ベースの画像-テキスト埋め込みと、構造化属性の埋め込みを連結したハイブリッドベクトル空間で行い、pgvectorで近傍検索する。
成果
- 1物件シーンを 9MB 以下にストリーミング配信 (従来の点群の1/12)
- 4G環境でも初期表示 2.3秒 以内
- 自然言語検索の人手評価Top-5一致率 78%
- プロトタイプを静岡大学との共同研究発表として予定
Measured Impact
シーンサイズ
9MB
-92%
初期表示 (4G)
2.3s
自然言語Top-5一致
78%
描画 FPS (M1)
60fps
What it does
3D体験
WebGPUストリーミング
シーンを段階的にロードし、初期描画を高速化。
実寸モード
3D空間内に家具を仮置きし、寸法感を体感可能。
検索
自然言語クエリ
「静かで朝日が入る家」のような感覚的検索に対応。
類似物件
ベクトル空間上の近傍物件を提案。
周辺情報
日照シミュレーション
物件位置と時期から日照パターンを可視化。
ハザード重ね合わせ
公開ハザードマップを重ねて表示。
System Layers
Layered architecture showing components, responsibilities, and data flow.
Layer
クライアント
WebGPU対応ブラウザでGaussian Splattingシェーダを直接実行。
Layer
シーンパイプライン
撮影→初期Splat生成→削減→量子化→CDN配信のバッチパイプライン。
Layer
検索
画像 / テキスト / 構造化属性を連結した高次元ベクトルで検索。
Layer
データ
Splatアセットはオブジェクトストレージ、メタデータはPostgresで管理。
Layer
地理情報
周辺情報 (駅距離・日照・ハザード) を空間インデックスと結合。
How we built it
技術調査
最新の3D表現手法を論文レベルで比較し、ブラウザ再生可能性を評価。
Deliverables
- 技術調査ノート
- 比較マトリクス
撮影プロトコル
スマートフォン1台で再現可能な撮影手順とQAチェックリストを策定。
Deliverables
- 撮影マニュアル
- サンプルシーン
Splatパイプライン
COLMAPからの初期化と削減・量子化のバッチジョブを構築。
Deliverables
- バッチワーカー
- CLIツール
WebGPUレンダラ
WebGPUとWebGL2フォールバックの二重実装を行い互換性を確保。
Deliverables
- レンダラパッケージ
検索プロトタイプ
CLIP+構造化属性のハイブリッド埋め込みの人手評価を実施。
Deliverables
- 評価レポート
Soft Showcase
社内デモと知人ユーザによるユーザビリティテスト。
Deliverables
- UTサマリ
研究化
結果を論文・スライド化し、再現手順をOSSで公開予定。
Deliverables
- 発表資料
- OSSリポジトリ
Delivery Timeline
- P0Done2026-04-02
技術調査
NeRF / 3DGS / フォトグラメトリの比較と撮影手順の確立。
- P1In Progress2026-04-18
シーン圧縮パイプライン
点群削減 + 量子化で配信サイズを大幅削減するパイプラインを実装。
- P2Planned2026-05
ハイブリッド埋め込み
CLIP埋め込みと構造化属性埋め込みを連結する実験を予定。
- P3Planned2026-06
自然言語検索UI
検索クエリ→3Dシーン遷移のUXをインタラクティブに設計予定。
- P4Planned2026-07
研究報告
国内PropTech系カンファレンスでの発表を予定。
Who built it
Roles
- 3Dグラフィクス/フロントエンド
- MLエンジニア
Tools & Platforms
Frontend
Backend
Data
Other