インタラクティブボルダリング

2017年5月4日に光市室積で開催されたミタフェスにて、ボルダリングジムJappaaanの室内企画としてインタラクティブなボルダリングを体験できるアトラクションを展示しました。

Jappaaan代表の三由さんとのコラボレーションで制作されたこのアトラクションは、仮想の火をつけられるたいまつを使ったおそらく世界初のインタラクティブクライミングゲームです。

 

まず床に置かれたたいまつを拾い上げて火種から火をつけます。

片手にたいまつを持ちながら壁を上るのは結構難しいのですが、クライミングに必要な3点で登る感覚を身に付けるのにとても良いらしいです。

ウォールの青いブロックは水という設定で、たいまつが触れると火が消えるようになっています。

水をよけながら火を運んで、4m近くの高さにある2つの聖火台に制限時間内に火を付けるとクリアです。

今回の構成は、高さ4mのクライミングウォールに映像を投影するため、ウォールから4.5mほどの天井近くにプロジェクターを取り付けて、床置きで約2mの高さにKinectを設置しています。

たいまつは、Kinectの赤外線センサーでたいまつに巻き付けられた反射テープの位置を解析して座標を取得しています。

4m四方の範囲をKinectで解析するためには、ウォールから3.5m程度の距離を取る必要があるのですが、距離が離れると赤外線画像に映るたいまつが小さくなり、位置の取得が難しくなってしまいますので、OpenCVでたいまつを拡大する処理を行って、できるだけ位置をロストしないようにしています。

当日は、子どもを中心に2人組で協力してプレーしてもらいましたが、とても盛り上がってよかったです。

初心者の子どもでも、普段なら怖くて登れないような高さに登ってしまうほどゲームに熱中してくれました。

時間が経つにつれて、たいまつの反応が悪くなるという課題も見つかりましたが、それも改善しつつ、ぜひまた展示させていただきたいと思っています。

およげ!ふしぎのビーチでたからさがし

4/2・4/2の2日間、周南市のKRYハウジングサイトにて、新作のデジタルアトラクション「およげ!ふしぎのビーチでたからさがし」を展示してきました。

「およげ!ふしぎのビーチでたからさがし」は、今後展開していくデジタルアトラクションシリーズの第一弾で、子どもたちが大好きなボールプールとインタラクティブアートを組み合わせたものです。

4,000個の白いボールで満たされたボールプールに映し出した美しいサンゴの海の中を自由に泳ぎ回る色とりどりの魚たちと一緒に、泳いだり、潜ったりして遊ぶことができます。

 

海の中を泳ぎ回る魚たちは、人の近くに来ると向きを変えたり、「魔法のお皿」の中に集めるたりすることができます。

これらの機能は、前作の「Cone of Light」で得られた技術を活かし、Kinectで得られる深度情報や赤外線画像を元に、OpenCVで画像解析を行いながら、リアルタイムで映像を出力しています。

「たからさがしタイム」では、海底から現れる謎の宝箱を「魔法のお皿」を使って開けることができるなど、ゲーム要素も取り入れながら、子どもたちがより楽しい時間を過ごせるよう工夫しています。

また、より多くのイベント会場で導入していただけるように、センサーやプロジェクター、スピーカーを上部に設置するための鉄製構造物を製作しました。

会場の天井の高さが3m以上で広さが4m×6m程度の屋内であれば、会場設備に手を加えることなく2時間程度で設置可能で、撤去も1時間程度しかかかりません。

「およげ!ふしぎのビーチでたからさがし」を含むデジタルアトラクションシリーズは、1日からご提供いたしますので、興味のある方はぜひnodeまでお問い合わせください。

夢色アサンブラ

 

シティケーブル周南の番組「夢色アサンブラ」に出演させていただきました。
高下先生、CCS田中さん、とても良いインタビューにしていただきありがとうございました。

Cone of Light

12月2日から25日までの金土日限定で「Cone of Light」を展示してきました。

「Cone of Light」は、ツリー型透過スクリーンを空中に設置して、真上からプロジェクターで、オーディオに反応する映像をツリーに投影すると同時に床面に映したオブジェクトを踏んで遊べるデジタルインスタレーションです。

ツリー型スクリーンは、八角錐状の鉄製のフレームの内側に8cm幅にカットした透過スクリーンを張り巡らせたものを制作しました。

投影する映像は、Unityで制作したアプリからリアルタイムに出力していて、投影領域の中央部分はツリーに投影するための、時間とともに色が移り変わる円形の映像で、その外側はランダムに出力した無数のオブジェクトが画面内を移動するようになっており、その上を歩く人の位置によってオブジェクトが消せる仕組みになっています。

 

今回、Kinectを初めて使ったのですが、UnityからKinectを直接扱える公式アセット(公式アセットに含まれるサンプルコードが有能)を利用して、深度データを使うことにしました。

取得した深度データをフレームごとにグレースケールの画像に変換し、二値化やノイズ除去、輪郭抽出など位置測定の基本的な処理をOpenCVを使って実装しています。UnityでOpenCVを使う方法はいくつかありますが、OpenCV for Unityという有料のアセットがあったのでそれを使いました。このアセットは、Unityで直接扱えるようにOpenCVをC#で記述することはできますが、ドキュメントが本家を参照するようになっていて、それがC++のドキュメントだったので、書き直しに意外と手間取らせられました。

一定以下のサイズの影はノイズとしてフィルタリングしていますが、その結果、小さい子供を認識しないという問題があり、今後の課題となりそうです。

今回の展示では様々な年齢層の方にお越しいただきましたが、中でも小学生以下のお子様には長時間遊んでいただけたのがとてもうれしい反応でした。

結果としては商業施設でインタラクティブアートを展示することの効果を自分も含めて関係者の方々に実感していただいたことが一番大きな成果ではないかと思います。

未来の海の運動会

 

7月31日、阿知須のきらら浜にて開催された「未来の海の運動会」に、YCAMチームのお手伝いとして参加してきました。

今回担当したのは、YCAMが「未来の山口の運動会」のために開発した「YCAMボール」を、民間利用を想定したアプリとしてリビルドすることです。

「YCAMボール」は、振動をカウントするアプリをインストールしたiPodを特製のビーチボールの中に仕込んだもので、各ボールのカウントをリアルタイムでホストに送ってカウントを競い合うことができるものです。

本家「YCAMボール」は、アプリがoF、ホスト側はMAXで作られており、OSCで通信する仕様でしたが、今回は「YCAMボール」を民間での利用を想定して作り直すということで、いろいろと試行錯誤を重ねた結果、AppStoreからアプリをダウンロードすれば手元のiPhoneだけで簡単に遊べるのがベストかなと思い、クライアント/ホストをひとつのアプリで運用できて、ネットワークを通じてお互いにデータを送り合うアプリを開発するには、ネットワークゲームの実装も可能なUnityで開発するのがよいと判断しました。

この民間向け「YCAMボール」では、同じアプリの中で、ホストにしたiPhoneはスコアを表示する画面とゲーム進行の管理できて、ディスプレイに映像を出力すれば本家と同じようにリアルタイムでカウントを表示することもできますし、クライアントにしたiPhoneは、状況に応じてクライアントを2〜8台くらいの幅で増減できるようにしたいと考えています。

この民間向けの「YCAMボール」アプリは、「YCAMボール」専用ビーチボールを用意してもらえば、簡単に遊んでもらえるような仕様を考えていますので、今後一般公開することができればぜひ遊んでいただきたいと思います。

民間向けの「YCAMボール」は、運用の手軽さを重視して制作しましたが、今回の「未来の海の運動会」は、割と大掛かりなイベントで、システムの問題で競技が止まるという悲惨な状態はできるだけ避けたかったので、ホスト用のアプリは別に作ってホストをノートPCで運用することにしました。

また、Wifiのローカルネットワーク内で運用するのですが、参加者や一般の公園利用者がWifiを使うことも多く、周波数帯が混雑するとゲームの進行に支障をきたすことも懸念されたのですが、そこは経験豊富なYCAMチームが機材のセットアップや電波状況の監視を行ってくれたため、とてもスムーズに運用することができました。

本番当日は、雲ひとつない晴天に恵まれましたが、この真夏の暑さでボールの中のiPodが高温になり止まってしまうものもあったため、急遽、4個の「YCAMボール」を2組用意して、状況に応じて入れ替えることができるよう準備するなど慌てるところもありましたが、簡単にクライアントを入れ替えることができる仕様だったので、そこは本当に良かったと思います。

実際の競技の中では、使用された時間が短かったので、幸い本番中には問題が起きませんでしたが、屋外で機器を扱う場合には自然環境も十分想定して準備することが大事だと改めて感じさせられました。

今回の「未来の海の運動会」では、「YCAMボール」が2つの競技で使用されて、この競技を自分たちで考えた子供たちもとても楽しそうに遊んでくれていたので、このイベントを手伝うことができてほんとうに良かったです。

今後も子供たちが喜んでくれるような仕組みをたくさん作って、山口をもっと面白くできたらと思っています。

Yamaguchi Mini Maker Faire 2015

IMG_1509

IMG_1502

9月19日・20日に山口情報芸術センター(YCAM)で開催されたYamaguchi Mini Maker Faire 2015に、ONIGIRIというチームで出展してきました。

今回出展した「HANDWAVE」は、手の動きで映像の動きと音楽をコントロールすることができる作品です。

手の動きや指の数を検知するセンサーには、前から使ってみたかったLeap Motionを採用しました。

疑似立体ホログラムの元となる映像は、Unityで3Dのオブジェクトを作って4方向に配置したカメラの映像を1画面で表示させています。

床に置いたプロジェクターから目線の高さに水平に設置したスクリーンに向けて真上に映像を投影すると、リアプロジェクションされた映像がスクリーンの上に置かれた逆さピラミッド型のアクリル板に反射して垂直に見えることで疑似360°立体ホログラムを実現しています。

音楽は、Leap Motionで読み取った手の動きに合わせて、Unityの中に組み込んだシーケンサーで音源を切り替えて再生しています。

 

実際に操作してみると手や指の動きを正しく認識させるの苦戦したので少し心配だったのですが、当日はお子さんからお年寄りの方までたくさんの人に遊んでいただき、たくさんの笑顔を見せていただくことができました。

これを励みに新しい作品に取り組んでいきたいと思います。

YAMAGUCHI MINI MAKER FAIREに出展します

empathyhouse

 

YCAM開館10周年を記念して行われる「YAMAGUCHI MINI MAKER FAIRE」に共同で出展します。

EMPATHY HOUSE
他人の目線に入り込み「OUT OF BODY EXPERIENCE(体外離脱感)」を味わう小空間。
大人が一人入ることのできる小さな家「EMPATHY HOUSE(共感の家)」。そこには、AVATAR(分身)たちの主観的映像がネットを介した生中継によって映し出されています。この小空間に入ったSUBJECTER(被験者)は、映像に包まれてAVATARと共感(EMPATHY)し、マスメディアともチャットとも異なった不思議な「体外離脱感」を味わうことになるでしょう。

 

日時 2013年8月10日(土) 12:00〜18:00
2013年8月11日(日) 10:00〜18:00
会場 山口情報芸術センター[YCAM]スタジオA、山口市中央公園
入場 無料

Hello world!

本日、2013年3月1日より「node」になりました。
今後は、生まれ育った周南市を中心にウェブデザインをやっていきたいと思います。
周南市のみなさん、こんにちは。どうぞよろしく。