＜１−研究の目的と背景＞
今日、日常会話が困難な障害者・高齢者とのコミュニケーションの方法として、「伝の心」（(株)日立ケーイーシステムズ）、「話っ子」（(株) センサ）に代表される、身体装着したセンサ情報によりメニュー選択する方式と、視線検出により文字単位で入力する方式とがある。しかし、身体装着方式では、ユーザが制約されるため自在なコミュニケーションが困難であり、また、視線検出方式では、視線の固定負担が大、意図／非意図の判断が困難、という問題点があった。 そこで、本研究では、『口周辺領域の明度分布の解析を用いた顔画像処理によるノンバーバル・コミュニケーションの研究』という新しい視点からのアプローチによるコミュニケーションシステム開発を目標とした。ユーザの前に設置したカメラ画像から取得した口周辺領域の明度ヒストグラム情報を解析し、口唇画像認識をおこなうことにより、日常会話を伝達するシステムのプロトタイプ開発を行った。
＜２−処理の流れ＞
図１ 処理の流れ
＜３−グループ化された日常会話と口唇割り当て＞
以下のように、4つずつのグループに階層化を行った。
- "あ" ⇒ あいさつ ： おはよう・こんにちは・ こんばんは・ありがとう
- "い" ⇒ 飲食関係 ： のどが渇いた・お腹すいた・ ジュース欲しい・お菓子欲しい
- "う" ⇒ 訴え ： 腰が痛い・お腹痛い・足が痛い・かゆい
- "え" ⇒ 他の訴え ： 音楽が聴きたい・カーテンを開けて・花がきれい・本が読みたい
また、以下のように、口唇形状の変化を用いてグループ選択結果の確認を行うようにした。
- 口の形状を維持 ⇒ OK
- 口を開閉 ⇒ キャンセル
＜４−口唇画像認識処理の流れ＞
各口唇形状と明度ヒストグラムは以下のように対応する。
※ 実線・点線で囲った部分が特徴的な個所である。
図２ 口唇の明度ヒストグラムこの結果より、以下に示すフローチャートに基づき"あ"・"い"・"う"・"え"の識別を行った。各しきい値は、報告者の口唇画像を用いた実験により定めた。
＜５−まとめ＞
口唇画像認識を用いたノンバーバル・コミュニケーションシステムのプロトタイプ開発を完了し、報告者を含めた5名により、口唇形状の認識実験を行った結果、正しく認識されることを確認した。