2020年度

【2020年度】

○手に追従するUIの研究における深層学習による認識のためのデータセット作成ツールの開発

　手に追従するUIの研究では，手を認識するために深度センサからのデータを画像化し，その画像を学習させた分類器を使用していた．深度データを画像化する際に，深度値の範囲を制限して画像化するため，使用者の手の高さが異なる場合などにおいて制約が生じるほか，精度を向上させいにくいなどの課題があった．そこで，深度データを機械学習（Deep Learning）で扱う方法を検討するために，学習に用いるデータセットの作成ツールを開発した．

○天井に設置したセンサによる空中手書き文字入力の認識についての研究

　空中で文字を書くジェスチャを認識して文字を入力するための方法を検討した．既存研究では使用者の前方や側方などにセンサを設置するため，利用者の立ち位置に制約が生じるなどの課題があった．本研究では天井に下方へ向けて設置した深度センサを用いてジェスチャを認識する方法を検討した．既存研究の課題を解決することができると期待される．

○振動を用いた感情表現の研究における基盤Webアプリの開発

　SNSなどのテキストベースのコミュニケーションツールにおいては，スタンプや顔文字などを使って互いの感情を表現する工夫がとられている．本研究ではさらなる感情表現の方法として，端末のバイブレーション機能に注目することにした．振動パターンとそれに対する感じ方には一定の傾向があるとする報告がある．そこで，メッセージの送信と同時に振動パターンを伝え，受信者側で振動あっせる機能を持つチャットシステムを試作した．

○作図学習支援システムのための作図状態の認識方法の研究

　初等，中等教育で行われる基本的な作図学習を支援する方法を検討した．既存方法として，仮想的な定規やコンパスなどの道具を端末内で実現し，端末内で作図学習を行う方法がある．しかし，仮想的な定規やコンパスではその使用方法や幾何学的な意味を体感しにくい．そこで，物理的な道具を使用しながら作図学習する際に，その作図状態を認識して学習支援を行うARベースの支援システムの実現方法を検討している．本研究では作図状態を認識するための基礎的研究を行った

○天井から下方に向けて設置したRGB-D センサによる指差しポインティングの研究

　指さすジェスチャをシステムが認識して，その方向にポインタを表示したり，そのほうにあるオブジェクトを操作したりする手法がある．既存研究では，利用者の前方や側方にセンサを設置するため，複数人で同時に使用する場合，他者の陰に隠れることで使用できなくなるオクルージョンが発生しやすい．そこで本研究では，天井に下方へ向けて設置したRGB-Dセンサを使用し，指差しジェスチャをAIにより認識することでこれを実現する方法を検討した．複数人で同時に使用できるほか，立ち位置や向きの制約を改善したり，技術的には教室全体へ拡張可能になるなど多くの有効性が期待できることを試作を通じて示した．
（参考：野田雄希，水谷晃三，天井から下方に向けて設置したRGB-D センサによる指差しポインティングの研究，情報処理学会 第83 回全国大会講演論文集，5ZB-08，2021．）