人同士の対話における意思疎通では、言語情報のみならず表情や頭部運動などの非言語情報も重要です。しかし現在のオンライン会議システムでは、対面会議に比べ非言語情報が伝わりにくく、参加者の内心把握が困難です。
本研究ではマルチモーダルな推定器を作成し、会議参加者の同意・不同意の推定を行っています。分析の結果、会議参加者間の非言語情報には個人差があることを確認しました。また推定に用いる特徴量を絞り込むこと、類似する動作を行う参加者をグループ化することが推定精度の向上に繋がることが示されました。

同意・不同意可視化までのフローチャート

オンライン会議の様子