ハンドトラッキング

Hand Tracking Profile (ハンドトラッキングプロファイル)

Hand Tracking profile は Input System profile 配下にあります。これは、手の表示をカスタマイズするための設定を含んでいます。

Joint Prefabs (ジョイントプレハブ)

ジョイントプレハブはシンプルなプレハブを使って可視化されます。Palm と Index Finger は特別重要で独自のプレハブを持っていますが、他のジョイントは同じプレハブを共有しています。

デフォルトでは、ハンドジョイントのプレハブは、シンプルな幾何プリミティブです。必要であれば、これらを置き換えることができます。もしプレハブが指定されなければ、空の GameObjects が代わりに作成されます。

Warning

ジョイントプレハブに複雑なスクリプトやレンダリングコストの高いものを使うことは避けてください。なぜなら、ジョイントオブジェクトは毎フレーム移動し、かなりのパフォーマンスコストがかかるためです！

Hand Mesh Prefab (ハンドメッシュプレハブ)

ハンドメッシュはハンドトラッキングデバイスから完全に定義されたメッシュデータが提供された場合に使われます。プレハブ内のレンダーできるメッシュはデバイスからのデータで置き換えられるので、立方体などのダミーのメッシュで十分です。プレハブのマテリアルは、ハンドメッシュに使われます。

ハンドメッシュの表示は、パフォーマンスに顕著な影響を与える場合があります。そのため、Enable Hand Mesh Visualization オプションをアンチェックすることで完全に無効にすることができます。

ハンドの可視化設定

ハンドメッシュとハンドジョイントの可視化は、それぞれ Hand Mesh Visualization Modes と Hand Joint Visualization Modes の設定で消したり付けたりすることができます。これらの設定はアプリケーションモード固有です。つまり、エディターではいくつかの機能を有効にし (例えば、エディターでのシミュレーションではジョイントを見る)、デバイスにデプロイする際 (プレイヤービルドでは) 同じ機能を無効にすることが可能です。

エディターではハンドジョイントの可視化をオンに (エディター内シミュレーションでハンドのジョイントがどこか見えるように)、プレイヤーではハンドジョイントの可視化とハンドメッシュの可視化をオフに (パフォーマンスへの影響があるため) することが一般的に推奨されることにご注意ください。

スクリプト

ハンドジョイントそれぞれの位置と姿勢は MixedRealityPose として、入力システムから要求することができます。

別の方法として、入力システムはジョイントに追従する GameObjects へのアクセスを許可しています。これは、別の GameObject が連続的にジョイントを追跡すべき場合には有用です。

利用可能なジョイントは TrackedHandJoint 列挙型で一覧にされています。

Note

ジョイントオブジェクトは、ハンドトラッキングがロストした時に破棄されます! ジョイントオブジェクトを使うすべてのスクリプトは、エラーを避けるために null の場合を処理してください。

所定のハンドコントローラーへのアクセス

特定のハンドコントローラーは時々 (例えば、入力イベントを扱う際に) 利用可能です。この場合、ジョイントデータは IMixedRealityHand インターフェイスを使ってデバイスに直接リクエストすることができます。

コントローラーからジョイントポーズを取り出す

TryGetJoint 関数は、リクエストされたジョイントが何らかの理由で利用できない場合に false を返します。この場合、結果のポーズは MixedRealityPose.ZeroIdentity となります。

public void OnSourceDetected(SourceStateEventData eventData)
{
  var hand = eventData.Controller as IMixedRealityHand;
  if (hand != null)
  {
    if (hand.TryGetJoint(TrackedHandJoint.IndexTip, out MixedRealityPose jointPose)
    {
      // ...
    }
  }
}

Hand Visualizer (ハンドビジュアライザー) からの Joint Transform (ジョイントトランスフォーム)

ジョイントオブジェクトはコントローラービジュアライザーからリクエストすることができます。

public void OnSourceDetected(SourceStateEventData eventData)
{
  var handVisualizer = eventData.Controller.Visualizer as IMixedRealityHandVisualizer;
  if (handVisualizer != null)
  {
    if (handVisualizer.TryGetJointTransform(TrackedHandJoint.IndexTip, out Transform jointTransform)
    {
      // ...
    }
  }
}

シンプルなジョイントデータへのアクセス

特定のコントローラーが与えられていない場合に、ハンドジョイントデータに便利にアクセスするためのユーティリティクラスが提供されています。これらの関数は、現在トラッキングされている最初に利用可能なハンドデバイスのジョイントデータをリクエストします。

HandJointUtils からジョイントポーズを取り出す

HandJointUtils は最初にアクティブなハンドデバイスを問い合わせる静的クラスです。

if (HandJointUtils.TryGetJointPose(TrackedHandJoint.IndexTip, Handedness.Right, out MixedRealityPose pose))
{
    // ...
}

Hand Joint Service (ハンドジョイントサービス) からの Joint Transform (ジョイントトランスフォーム)

IMixedRealityHandJointService は、トラッキングしているジョイントの GameObject の永続的なセットを保持します。

IMixedRealityHandJointService handJointService = null;
if (CoreServices.InputSystem != null)
{
    var dataProviderAccess = CoreServices.InputSystem as IMixedRealityDataProviderAccess;
    if (dataProviderAccess != null)
    {
        handJointService = dataProviderAccess.GetDataProvider<IMixedRealityHandJointService>();
    }
}

if (handJointService != null)
{
    Transform jointTransform = handJointService.RequestJointTransform(TrackedHandJoint.IndexTip, Handedness.Right);
    // ...
}