Logo Logo

/GET/ENTRIES/WORKS/yegnb35z86

ARグラスを用いた介護用システム「あいメモ」 preview

term: 2024.03 - 2025.12

role: フルスタック開発 + ARグラス制御

member: 3名

link: TBD

gh-repo: https://github.com/202508sp

tags

systemdesignplan

skills

FigmaTypeScriptSvelte

ARグラスを用いた介護用システム「あいメモ」

ARグラスを活用した介護向けメモシステム「あいメモ」を、高校の課題研究として 3 名で共同開発しました。

開発の背景

高齢化が進む日本で、介護士の「記録業務」にかかる時間と負担を減らすことが課題として挙げられています。 手が塞がりやすい現場でも記録をフリーハンドで行えるよう、ARグラスとダッシュボードを統合したシステムの開発を目指しました。

システム構成

レイヤー

技術・要素

ARグラス ディスプレイ

透過 OLED + ミラーシール

カメラ・マイク

ESP-EYE

視線検出

ESP-EYE 映像 → OpenCV → 視線コマンド変換

音声認識

音声 → テキスト変換サービス

フロントエンド

SvelteKit(ダッシュボード)

バックエンド・インフラ

AWS(Serverless Framework)

筐体設計は Fusion 360 でモデリングし、Creality Ender 3 V3 KE で 3D 印刷しました。 眼鏡の有無に関わらず装着できるよう、アタッチメント形式の構造を採用しています。

担当範囲

フロントエンド(SvelteKit によるダッシュボード)・バックエンド開発・DB / API 構築・ARグラスのファームウェア・音声操作と視線操作の AI 実装を担当しました。 ダッシュボードではホーム画面の D&D・利用者リストの閲覧と詳細表示機能を実装しており、視線・音声を組み合わせた複合インターフェースの設計も行いました。