AR開発ツール: Spark AR StudioとLens Studio

はじめに

この記事は新しい技術にチャレンジし続けるpalanのアドベントカレンダーDay3の記事です！
昨日は「Figmaのインタラクティブコンポーネントの基本と作り方」についての記事でした。

今回は、世界的に最も広く利用されているSNSのInstagramとSnapChatのARフィルターを開発するツールをご紹介いたします。

Spark AR Studio

概要

Spark AR Studioは、米Facebook社(現Meta Platforms社)が開発・提供する、Instagram用のARフィルター開発ツールです。

Mac OS、Windows向けに開発用のアプリケーションが提供されており、誰でも無料で利用可能です。

フェイストラッキング

• Fece Mesh: 顔の形状のメッシュに自由にテクスチャを貼れます。
• 顔の位置・角度

• 髪を認識して色付け

フェイストラッキング(イベント系)

以下の要素をトリガーにしてイベントを発火できます。
ノーコードでも扱えますが、JavaScriptなどを用いて複雑な処理を実装することも可能です。

• hasMouthOpen：口の開閉
• hasRightEyeClosed, hasLeftEyeClosed：左右の目の開閉
• isHappy, isKissing, isSmiling, isSurprised：表情を取得
• onBlink：まばたき
• onNod：頷く
• onShake：頭を振る
• isLeanedBack, Forward, Left, Right：傾ける
• isTurnedRight, Left：左右を向く

ボディトラッキング

セグメンテーション：Web会議のバーチャル背景のように、人物と背景を分割できます。

ハンドトラッキング

手の位置を追跡することができます。

平面認識

カメラに写っている風景から自動的に平面を認識し、そこにオブジェクトを表示することができます。

画像のタップ

フェイストラッキング等と同様に、画面のタップをトリガーにイベントの発火などが可能です。

ビデオ通話(ベータ機能)

Instagramのビデオ通話機能の中にARフィルターを実装することができます。
ちょっとしたゲームなど、インタラクティブなことができると面白そうです。

シェーダー

少し知識のあるエンジニアやデザイナーの方なら、自分でシェーダーを弄って、かなり自由度の高いフィルターを作成することも可能です。

Lens Studio

概要

Lens Studioは、米Snap社が開発・提供する、Snapchat用のARフィルター開発ツールです。

Mac OS、Windows向けに開発用のアプリケーションが提供されており、誰でも無料で利用可能です。

できること

基本的な機能としてはSpark AR Studioと変わりませんが、
Lens Studioはユニークな機能と豊富なテンプレートが特徴です。
ここではその一部の機能をご紹介いたします。

ボディトラッキング

• Skeletal

上半身のみですが、骨格のトラッキングが可能となっています。

• Full Body Triggers

ジェスチャーをトリガーとして、様々なイベントを発火させることができます。

Pet

ペットの顔を認識することができます。
目、鼻、口、頭、耳などの位置が補足可能です。

Snap Camera（PC向けアプリ）

既に使っている方もいるかもしれませんが、PC用に配信されている「Snap Camera」用のARフィルターも、Lens Studioで開発することができます。
Snap Cameraを使えば、ZoomやGoogle MeetのようなWeb会議システム上で、ARフィルターを使うことが可能です。

まとめ

世界規模で広く利用されている2つのSNSアプリ用のARフィルター開発ツールをご紹介いたしました。

Spark AR Studioは基本的な機能を抑えた上で、さらにリッチな開発が可能な拡張性が優れており、
Lens Studioは上で紹介したようなユニークな機能や、PCでも利用可能といった幅広い対応が強みとした挙げられます。

どちらのツールも、エンジニア以外の方でも簡単にARを作成することができるようになっており、今回紹介しきれなかった非常に沢山の機能があるので、是非触ってみて下さい。
より詳しい使い方は公式ページのドキュメントや、様々な方が記事を投稿されているので、そちらをご参照ください。
Spark AR Studio公式サイト
Lens Studio公式サイト

また、bageleeを運営しているpalanでは、ブラウザで簡単に作成・体験ができるARサービスを提供しております。
ご興味のある方はぜひお問い合わせください！