Multi-Party Conversation Support

ろう・難聴者は，複数人での会話において，誰が何を話しているかを即時に把握することが難しく，会話への対等な参加が妨げられやすい．そこで，音声認識・音源位置推定等の技術を活用したインタラクション・システムにより，ろう・難聴者と聴者のコミュニケーション促進を目指す．

In multi-party conversations, d/Deaf and hard of hearing (DHH) people often have difficulty in immediately grasping who is saying what, which makes equal participation in conversations difficult.

This project aims to promote communication between DHH and hearing people through interaction systems utilizing technologies such as speech recognition and sound source localization.

ろう・難聴者と聴者が混在する複数人会話では，音声認識による発話の文字化に加えて，「誰が」発話したかという話者情報の提示が重要となる．

そこで，ピクシーダストテクノロジーズ株式会社が開発したマイクアレイ音源位置推定型音声認識システム「VUEVO」を用い，ろう・難聴者1名と聴者3名による複数人会話の支援を評価する共同研究（研究課題「ろう・難聴者と聴者のコミュニケーション促進を目指したインタラクション・システムに関する研究」，2024年11月〜2025年5月）を実施した．

評価では，同心円表示・話者区別ありタイムライン・話者区別なしタイムラインの3種類の表示を，ワードウルフや雑談等の場面で比較し，主観評価とNASA-TLXによる認知的負荷を測定した．その結果，話者識別の可視化が会話参加の質を向上させることを確認し，情報処理学会アクセシビリティ研究会（AAC）にて発表した．

In multi-party conversations involving both DHH and hearing people, presenting who is speaking is as important as converting speech into text.

In collaboration with Pixie Dust Technologies, Inc., we evaluated multi-party conversation support using VUEVO, a microphone-array-based speech recognition system with sound source localization developed by the company, in groups of one DHH person and three hearing people (research project: "Research on Interaction Systems for Promoting Communication between Deaf/Hard of Hearing and Hearing Individuals," November 2024 - May 2025).

Three visualization formats (a concentric-circle display, a timeline with speaker identification, and a timeline without it) were compared in scenarios such as Word Wolf games and casual conversations, using subjective evaluations and NASA-TLX cognitive workload measurements. The results confirmed that visualizing speaker identification improves the quality of participation in conversations, and the findings were presented at the IPSJ Special Interest Group on Accessibility (AAC).