TAKTO ONEは、指の動きを関節ごとに読み取り、腱を通じて指を引く力も加えるオープンソースのハンド外骨格です。カメラ映像から手を認識する方式とは異なり、関節に取り付けた磁気エンコーダーで動きを捉え、装着者の手の動きを記録や制御に使います。
関節の動きを磁気エンコーダーで読む
TAKTO ONEは、指の関節に磁気エンコーダーを取り付け、関節の角度を計測します。指がカメラから隠れたり、視野の外に出たりしても、映像上の見え方に頼らず関節の動きを取得する設計です。
指の関節には計12個のエンコーダーを配置し、各指の動きを関節単位で読み取ります。手首の向きは2つの慣性計測装置（IMU）で計測します。指の動きはヘッドセットの映像から推定しません。
関節基板にはAS5600磁気角度センサーを使い、関節の磁石がセンサーの中心軸上に来るよう配置します。手のひら側の基板にはI²Cマルチプレクサーを載せ、複数のセンサー信号をまとめます。
腱で指を引き、動きを制御する
装置はアクチュエーターで腱を引き、計測した動きに合わせて指に力を加えます。制御処理はTeensyマイコン上で動作し、動作中の制御ループにパソコンを介さない構成です。
制御モードには、待機、電流を直接指定するモード、装着者の動きに追従する状態から目標位置へ動かす状態まで連続して調整するモードがあります。調整値や目標位置、電流上限はシリアル通信で設定できます。
本体のクラウンを回すと、補助の度合いを連続的に変えられます。補助をゼロにすると、装置は装着者の動きに追従します。
記録と再生をソフトウェアでつなぐ
本体のファームウェアは、各フレームのエンコーダー値、手や前腕の姿勢、筋電位の値、モーターの状態などをSDカードへ記録します。センサー取得データは、記録、シリアル通信、ディスプレイで共通して使います。
保存した動きは、手のモデルを関節角度に合わせて動かす3Dビューアーで再生できます。記録には、ヘッドセットが計測した手首の移動経路や撮影時の環境メッシュも含められます。
ブラウザー上のコンソールには、装置の状態や関節の動きを表示するデジタルツインがあります。実機がない場合はシミュレーションを表示し、実機に接続した場合は同じ画面でライブの状態を扱います。
VR向けの指入力装置との違い
Valve Indexのコントローラーは、以前Knucklesと呼ばれていた装置です。中央の握り部分で各指の動きや握る力を検知し、手を開閉する動作を入力できます。
Knucklesの指センサーは静電容量式です。中指、薬指、小指は握り部分で、親指と人差し指はトリガーやボタンで検知します。中指などの曲がり具合は、伸ばした状態を0、握り込んだ状態を1とする値で扱います。
TAKTO ONEは指の動きを読み取るだけでなく、アクチュエーターと腱で指を引く力も加えます。Valve Indexのコントローラーは、触覚フィードバックを主要なハードウェア機能として備えていないと評価されています。
腱駆動の触覚手袋で研究されている方式
腱駆動式の触覚手袋には、親指と人差し指の2本に力を伝える研究例があります。この方式では、腱を使う機構で指関節へ力を加え、指先には接触板で触覚刺激も与えます。
その研究では、アクチュエーターごとに力センサーを組み合わせ、指関節に加える力を調整しました。関節への力の配分は、参加者が感じる力の知覚を基に計算しています。
実験では、関節への力に指先の触覚刺激を加えると、接触力に対する知覚感度が高まり、接触のリアリティーと明瞭さも改善しました。これは2本指向けの研究結果であり、TAKTO ONE自体の性能評価ではありません。
