アドカレ2024 技育展2024

技育展2024振り返り 【製作 編】

技育展2024振り返り 【製作 編】

はじめに

本記事はKINKI KNIGHTS アドベントカレンダー2024 17日目の記事です．
著者は4記事目にして初めて24時でに書き切ったぱぁ（Twitter: @sin_one_third）です．
今回はは先月参加させていただいた技育展2024にて製作したアイトラッキング技術についての記事です．
👀👀👀

今回の製作物

目次

  1. 技育展って何？
  2. 製作経緯
  3. 視線追従技術
  4. 試作
  5. 本製作
  6. まとめ

技育展って何？

一言でいうとを学生が技術作品を発表するコンテストです，技育展公式の説明は下記．

image.png (235.6 kB)

技育展は、アウトプットの促進を目的としたエンジニアを目指す学生のための、国内最大規模のピッチコンテストです。
IT技術を用いた作品であれば、アプリケーションでもロボットでも何でも応募可能です。
自らの作品を技育展の場で発表し、もの創りの楽しさ、厳しさ、可能性を知りながらコンテストの頂点に挑みましょう！
（引用：技育展公式）

特徴としてはアプリケーションでもロボットでも何でも応募可能とあるように，IT関連の技術さえ使用していれば何を作ってもいいことが挙げられます．
今回私は視線追従技術を用い，ヘッドギアを製作し技育展に出場しました．

製作経緯

今年の9,10月頃にマスクを見かける機会が多く，自分でも作ってみたいと考えたことがきっかけです．
マスクフェスがTwitterに流れてきたり，友人に勧められて見始めた仮面ライダーの敵が付けてる仮面がかっこよかったり．

日本最大級マスクの展示即売会 マスク好きによるマスク好きのための祭典（公式Twitter）

o1200080015491808993.jpg (78.6 kB)

仮面ライダーガヴに登場するエージェント

こういった作品を見てオリジナルのマスクを作ろうと考えた際に，自分の特徴を出したいと考えた結果，着用者の目線の動きを追従し，目の部分が動くマスクを作ってみようと思い，製作を開始しました．

ちょうど研究にてアイトラッカーに触れたり，視線に関する論文を読んだこともきっかけでした．

視線追従技術

視線追従の技術について調べたところ，瞳孔検出か機械学習のどちらかが用いられていることが大半でした．

画像認識を用いた瞳孔検出

目の中で最も黒い黒目（瞳孔）を画像認識を用いて検出する手法です．
webカメラや赤外線カメラを用いるため，カメラと距離が近くないといけないという制限があります．
反面，検出精度は高く安定した視線追従が出来ました．

実際の瞳孔検出の様子 ちょっとキモイ

顔器官に対する機械学習

目や鼻，口などの顔器官を特徴点とし，Dlibなどのライブラリを用いて教師あり学習を行う視線追従手法が多くみられました．
視線追従以外にも顔のあらゆる器官を検出するため，口の動きなども検出可能です．
画像認識と同様にwebカメラを用いますが，顔全体が検出可能な距離まで離れる必要があります．

me_screenshot_09.10.2024.png (13.0 kB)

実際の顔器官に対する機械学習の様子 OpenPoseの顔版

試作

技育展予選の際は機械学習を用いて製作していました．
ちょうど機械学習の理論を一から学んだ時期だったため，機械学習を使って何かしたいという気持ちでこの手法を選択しました．

構成

  • GUI表示・処理：SurfacePro7
  • webカメラ：適当（昔ロボコン用に購入し，購入3秒後に基板むき出しにしたため不明）
  • 使用言語：Python
  • 機械学習ライブラリ：Dlib
  • その他：OpenCV, NumPyなど

本製作

試作時に視線追従の精度が悪く，GUIとして表示している目の挙動が暴走することが多々ありました．
検出精度向上のため，光を遮る暗所環境で赤外線カメラによる画像認識に変更しました．
また，Surfaceを使用する都合上，名称をマスクではなくヘッドギアとし，
ブラウン管を頭とするゲームキャラのようなシルエットを目指しました．

最終発表時の製作物

視線追従と表示の様子 目のモデルも切り替えられます

構成

image.png (479.3 kB)

コード

GitHubにてコードを公開しました．
カメラ，OpenCV，NumPyがあれば動かせるのでぜひ遊んでみて下さい！！！

まとめ

いかがだったでしょうか．
開発期間が1ヶ月弱と短期間でしたが，その分迷わず一気に製作しきれたと感じます．
また，頭に装着し外に持ち出せる，ヘッドギアとして完成させ，ものづくりイベントに出展できればと考えています．



明日はらーめんおじさんによるCloudFlareを用いたロボコンリモート開発になります．
早いものでロボコンもリモートでできる時代が来たらしいです．お楽しみに！

告知

また，KINKI KNIGHTSではチーム拡大と目標達成に向け、クラウドファンディングを開始しました．
大きな大会に出場する際の莫大な製作費やオフライン活動費用として使用させていただきます．
皆様の応援をよろしくお願いします．


All News →