ARが描く驚きの世界：デジタルツインで実現！コモングラウンドリビングラボ（CGLL）での実験記録

皆さん、こんにちは。明段舎株式会社のブラウンです。

「次世代の空間映像で人々の生活を豊かにする」をコンセプトに、ウェブとリアルの垣根のない未来を目指し、デジタルと現実空間をつなげることに取り組んでいます。

全国で350件以上のバーチャルツアー制作実績を持つ弊社では、Matterport Pro2やLeica BLK 360 G1といった最新機材とドローンを駆使し、高精度な3Dデータやデジタルツインを制作しています。

近年、AR技術の進化には目覚ましいものがあり、私もその可能性に注目しています。AR技術を使えば、現実世界にデジタル情報を重ね合わせ、今までにない表現や体験を生み出すことができます。そこで、AR技術とデジタルツインを組み合わせることで、展示空間をさらに魅力的にできるのではないかと考え、大阪商工会議所のサポートで「コモングラウンドリビングラボ」（CGLL）で実証実験を行うことができました。

実は2年前にも、大阪市港区の「POWERARTS」で同様の実験を試みたのですが、その時はWi-Fi環境が大容量のコンテンツに対応できず、うまくいきませんでした。今回はその反省を活かし、万全の準備で臨みました。

実験場所として選んだCGLL

今回の実験場所として選んだコモングラウンドリビングラボ（CGLL）は、大阪市北区天満橋にある、スマートシティ実現に向けた実証実験場です。様々な分野の企業や団体が集まり、互いに協力しながら、新しい技術やサービスを生み出すためのオープンイノベーションの場となっています。

CGLLを選んだ理由は、広々とした実験空間、安定したWi-Fi環境、そして異業種交流による刺激が得られる点に魅力を感じたからです。CGLLのメンバーや企業間で定期的なミーティングも開催されており、お互いのVRやARの取り組みを聞くことがそれぞれの良い刺激になっています。

CGLLでの奮闘の2日間

CGLLでの実験は2日間にわたって行われました。

1日目は、Leica BLK 360スキャナーを使ってCGLLの実験空間をくまなくスキャンし、Matterportを使って点群データを処理してデジタルツインを作成しました。2年前の失敗を教訓に、Wi-Fi環境と機材の選定、コンテンツの圧縮などに細心の注意を払いました。作業をしたパソコンではかくかくとした動きもなく綺麗に滑らかに映っていました。デジタルツインが完成した時は、本当に嬉しかったです。

Leica BLK G1

Leica BLK 360での撮影のイメージ（建物測量の案件より）

2日目は、いよいよARコンテンツの表示検証です。過去の失敗が頭をよぎり、緊張感が高まりました。しかし、ここで予期せぬトラブルが発生！API接続がうまくいかず、ARコンテンツが表示されないのです。

APIはデジタルツインの保存先のMatterportのサーバーとAR表示ソフトの「AR Connect」の間のものです。3時間に及ぶ格闘の末、AR Connectの開発者であるPhoria社の方々とオンライン会議でつなぎ、協力して原因を突き止めました。なんと、原因は設定ミス！初歩的なミスだと思われるかもしれませんが、突き止めるのにプロでもそれぐらいの時間を要するほど、設定項目が複雑なのです。安堵と同時に、トラブルシューティングを通して、改めて確認の大切さ、プロでも難しい設定の複雑さを痛感しました。

ARコンテンツの2つのアニメーション

トラブル解決後、ついにARコンテンツの表示に成功しました！

今回表示したのは、2つのアニメーションです。1つは、比較的軽量な恐竜のアニメーション（約5MB）。もう1つは、フォトグラメトリで作成した、私が永遠にバク転し続けるアニメーション（音声付き）です。私は42歳なので、現実ではバク転なんてできませんが、ARなら夢が叶います（笑）。

CGLLでの恐竜のアニメーション

CGLLでブラウンがバク転をする様子（笑）

これらのアニメーションは、CGLLの両端に配置しました。約50メートル離れた場所に表示されたARコンテンツは、1回の位置合わせで正確に表示され、スムーズに動作しました。まるで、本当に恐竜が歩き回り、私がバク転しているかのような、不思議な感覚に包まれました。

スマホで位置合わせのイメージ（「POWER ARTS」のAR展示より）

ARが切り開く未来の展示

今回の実験を通して、AR技術の可能性を改めて実感しました。AR技術を使えば、展示空間に新たなコンテンツや情報が追加でき、より魅力的な体験を提供することができます。

例えば、博物館では展示物の解説をARで表示したり、歴史的建造物をARで復元したりすることができます。ショールームでは、商品の詳細情報をARで表示したり、バーチャル試着を体験したりすることができます。イベントでは、ARを使った空間演出やインタラクティブなゲームで、参加者を楽しませることができます。教育現場では、ARで教材を視覚化したり、仮想空間での体験学習を実現したりすることができます。

AR技術とデジタルツインの組み合わせは、未来の展示のあり方を大きく変える可能性を秘めていると言えるでしょう。

まとめ：挑戦の先にある未来

コモングラウンドリビングラボ（CGLL）での実験は、2年前の失敗を乗り越え、AR技術の可能性を再確認する貴重な経験となりました。ARとデジタルツインが創造する未来の展示に、大きな期待を寄せています。

今回の実験を通して、改めて「挑戦することの大切さ」を学びました。失敗を恐れず、新しい技術に挑戦することで、未来を切り拓くことができるのだと実感しました。

最後に、大阪商工会議所とコモングラウンドリビングラボ（CGLL）の皆さん、そしてPhoria社の開発者の皆さんに、心より感謝申し上げます。

関連リンク

大阪商工会議所のプレスリリース

実証実験報告（当社ブログ）

明段舎のデジタルツイン作成サービス

 

下記は動画での実証実験報告です。

バーチャル牛舎・Virtual Cattle Barn

Virtual Cattle Barn (or Virtual Gyu-sha in Japanese) was produced for the National Competitive Exhibition of Wagyu (or the “Wagyu Olympics” as they are known) held in October in Kagoshima Prefecture, Japan, and was intended to provide the visitors with a feeling of what a real cattle farm is like. It was also nominated for the Digital Twin Awards in 2022.

The Virtual Gyu-Sha transports you to a small cattle farm in Kagoshima Japan. It opens with a traditional virtual tour 360 and you are greeted by the atmospheric sound of the late Summer Japanese countryside recorded at the scene. You are overlooking the 4 barns. If you click any of the barns they will open a Matterport space in a pop-up window and the roar of the exhaust fans and the clanking of the cattle harnesses against the the steel enclosures can be heard clearly. Inside there are videos of the daily activities of the farmers and the cattle.

Most of Virtual Gyu-Sha was photographed with a Sony α7RⅣ mirrorless camera and A Sanyang 14mm Fisheye lens. The photos were converted to 360s and super-imposed on the original Pro2 scans of the 4 barns. The Pro2 scans were mosty hidden as the cattle move too fast for the Pro2’s shutter. The mirrorless camera 360s were heavilly HDR edited to make the dark cattle easier to see in the dark barn which also has a lot of sunlight coming in as there are no walls.

There are several videos embeded in the virtual tours. Most of the videos were made by us here at Meidansha (except the scene of a cow giving birth which was made on the farmer’s phone). The video editing was by Kevin Doyle Jr.

A special thanks to Kagoshima Prefecture and the National Competitive Exhibition of Wagyu (or the “Wagyu Olympics” as they are known) for choosing to use virtual tour technology and Meidansha for this production.

 

当社は、3D・360度・VRでご提供します。

上記の撮影：明段舎株式会社

撮影機材はMatterport Pro2・Sonyα7RⅣ・12mm F2.8 ED AS NCS FISH-EYEです。

『つながるデジタル空間』、明段舎

撮影について詳しくはこのブログ投稿をご覧ください。

POWERARTSはUSJのパフォーマー達が2004年に創業したアクロバットサーカススクール。

講師は現役エンターティナーでプロから一般、４歳〜シニア世代まで5000人以上が通うアカデミーです
(2020年３月現在）

サーカス技を一般のフィットネスに改良した『エアリアルティシュー』や柔軟サーカス『コントーション』などレアなクラスもいっぱい。

とにかくテーマパークのような楽しいスクールです♪

 

当社は、3D・360度・VRでご提供します。

上記の撮影・AR：明段舎株式会社

撮影機材：Matterport Pro2

『つながるデジタル空間』明段舎

撮影について詳しくはこちらです。

現地にて、上記のVR撮影埋め込み中のCGをAR化いたしました。

下記の動画にて閲覧できます。