Sensing Solution ハッカソン2022
2024/5/18 更新
「Sensing Solution ハッカソン2022」は、SONYが主催するハッカソンイベントの一つです。
このイベントでは、参加者がさまざまなセンサーテクノロジーを活用して新しいアプリケーションやプロダクトを開発することを目指します。
私が大学3年生の時に友人4名と参加しました！
ここでは、詳細な技術については省きますが、大まかな内容について記載しています！
チーム「アミティエ」とは
私たちのチーム「アミティエ」は、AI画像処理を活用してハンドサイン操作を実現するスマートスピーカー「TeClock」を開発しました。
ちなみに、「アミティエ」はフランス語で「友情」という意味です！
メンバーは4名で、それぞれが得意分野を活かしてプロジェクトに貢献しました。
アイデアの背景
スマートスピーカーは今や多くの家庭で使われていますが、音声操作が主流のため、聴覚・言語障がい者には利用が難しいという課題があります。
また、生活音による誤動作の問題もありました。
私たちは、誰もが平等に利用できるスマートスピーカーを目指し、音声以外の操作方法を導入することにしました。
開発のプロセス
「問題提起」、「解決策の提案」、「デモンストレーション」、「技術の詳細」の順で説明していきます。
問題提起
私たちは以下の3つの問題点に着目しました。
1. 聴覚・言語障がい者には音声操作が難しい。
2. 世界中の多言語に対応するコストが高い。
3. 生活音による誤動作が発生する。
解決策の提案
以上3点の問題を解決するために、AI画像処理を用いたハンドサイン操作を導入することにしました。
これにより、音声操作の代わりに手の動きでスマートスピーカーを操作できるようにしました。
デモンストレーション
イベントでは、ハンドサイン操作のデモンストレーションを行い、聴覚・言語障がい者や高齢者、子供たちにも利用しやすいことをアピールしました。
具体的には、時計、カレンダー、家電操作の3つの主要機能をハンドサインで簡単に操作できるようにしました。
技術の詳細
以上3点の問題を解決するために、AI画像処理を用いたハンドサイン操作を導入することにしました。
これにより、音声操作の代わりに手の動きでスマートスピーカーを操作できるようにしました。
結果と今後の展望
ファイナリストまで選ばれましたが、あと一歩賞の受賞まで届きませんでした。しかし、私たちの「TeClock」が多くの参加者や審査員から高い評価を受けました。
今後は、認識精度の向上や多様なハンドサインに対応するモデルの改良を進め、さらに実用的なスマートホームデバイスを目指していきます。
また、病院や教育現場など、さまざまな利用シーンでの展開を視野に入れています。
おわりに
「Sensing Solution ハッカソン2022」に参加したことで、チームでの問題解決能力や技術力を大いに向上させることができました。
今後もこの経験を活かし、より多くの人々の生活を豊かにする開発に取り組んでいきたいと思います。
「Sensing Solution ハッカソン2022」での経験は、私たちにとって大きな財産となりました。
このブログを通して、少しでも多くの方に私たちの挑戦と成果を知っていただければ幸いです。
参考資料
SONY Spresense公式サイト