クワマイでもできる

クワマイでもわかる

ソーシャルVRに点群を持ち込みたい

f:id:kuwamai:20201213200032p:plain VRChat、Cluster、StylyなどのソーシャルVRに点群を持ち込みたい。なぜなら点群がかわいいから。今回はスマホで点群を撮影、パソコンで編集、ソーシャルVR向けの素材に変換するとこまでご紹介。

本記事はBoze Advent Calendar 2020 - Qiitaに登録されています。VRとかVRに関わるものの記事が多いみたい。

動いている様子

渋谷の点群データをClusterに表示した例。とりあえず表示しただけでまだワールドとして体裁は整えてない。

点群ではないけどVRChatに恒星データを表示した例。PCVR、Oculus Quest両方に対応。同様のワールドをClusterにもアップし、こちらもPC、モバイル(スマホなど)両方に対応できた。

モバイル対応したのでStyly ARにもアップロードするだけで簡単にAR表示できた。

スマホで点群撮影

最近は点群が撮れるスマホが増えてきた。iPhone X以降ならTrue depthが使えるし、iPhone 12 ProならLiDARが使える。Androidは使ってないからわからない*1けど、iPhone向けアプリをいくつか紹介。

ちなみに撮影した点群はあとでCloudCompareに読み込んで編集するので、形式は問わず何かしらの点群データが取れればOK。スキャンしなくとも自分で点の位置と色を用意するのも楽しそう。例えば星とか*2

EveryPoint

EveryPoint

EveryPoint

  • URC Ventures Inc
  • ユーティリティ
  • 無料
今回はこのAppを使った。取得できる点群数が無制限みたいで描画負荷の限界まで撮れる。プレビュー機能が無いのが残念。今後追加されたらいいな。

SiteScape

SiteScape - LiDAR Scanner 3D

SiteScape - LiDAR Scanner 3D

  • SiteScape Inc.
  • 写真/ビデオ
  • 無料
点群数の限界はあるけどアップデートでちょっとずつ増えてる。プレビュー機能もあるので狭い範囲ならちょうど良さそう。

3d Scanner App

3d Scanner App™

3d Scanner App™

  • Laan Labs
  • ユーティリティ
  • 無料
メッシュ生成が主体だけど点群も書き出せる。僕は点群スキャン用には使ってないので詳細はよくわかってない。

Polycam

Polycam - LiDAR 3D スキャナー

Polycam - LiDAR 3D スキャナー

  • Christopher Heinrich
  • 写真/ビデオ
  • 無料
同じくメッシュ生成が主体だけど点群も書き出せる。こちらも僕は点群スキャン用には使ってないので詳細はよくわかってない。

Capture

Capture: 3D Scan Anything

Capture: 3D Scan Anything

  • Standard Cyborg
  • 写真/ビデオ
  • 無料
True depthを使うタイプなのでiPhone X以降のデバイスで使える。残念なことにアップデートが来なくてLiDARには対応してない。プレビュー機能も美しいしクラウドにアップできるしで使いやすい。

点群を編集する

撮った点群を切り抜いたりノイズ除去したりしたい。今回CloudCompareを使ってみたけど長くなったので別記事にした。下記記事を参照。

点群をテクスチャに書き込む

現状点群がそのままアップできるソーシャルVRは多分無いので、点群をテクスチャに書き込んでshaderで展開する方式を用いる。まずはテクスチャへの書き込み。みんなが簡単に使えるようにGoogle Colaboratoryを使ってみた。使い方は下記リンク先に書いてるのでそっちを見て欲しい。

Unityに表示する

無事テクスチャができたはずなのでUnityに表示する。下記リンクから必要なパッケージをUnityにimportする。

生成したテクスチャもimport。こんな感じの設定にする。

f:id:kuwamai:20201214015854p:plain f:id:kuwamai:20201214015901p:plain

新しくマテリアルを作ってPointCloud prefabにセットすると完成。あとは個々のプラットフォームにアップロードするだけ。

f:id:kuwamai:20201214020208p:plain

点群展とかしてみたい

せっかくアップロードできるようになったのでみんなで点群を持ち寄ってみたい。お友達どうしでできないかな。持ち寄れる人は教えて。

関連記事

モバイル環境に対応させる際に気をつけたところをメモした。よかったら見て。

*1:Tangoはちょっと遊んでたよ

*2:こんなん作りました→ VRChatに銀河を作る[2] - クワマイでもできる