ABOUT
キーワード / keyword
コミュニケーション
communication
Paragraph of text beneath the heading to explain the heading.
顔の知覚
face perception
Paragraph of text beneath the heading to explain the heading.
多感覚情報処理
multi-sensory information processing
Paragraph of text beneath the heading to explain the heading.
身体認知
body cognition
Paragraph of text beneath the heading to explain the heading.
deep learning
Paragraph of text beneath the heading to explain the heading.
VR・AR
Paragraph of text beneath the heading to explain the heading.
主な研究テーマ / We mainly focus on the following topics
顔や声の知覚認知過程
Perception and cognition of faces and voices
私たち人間は顔の表情や変化を見ることで他者の感情や意図を無意識に理解しています．人間は瞬間的に提示された顔の情報からでもその人の人種や性別を理解し，過去の記憶と統合し個人を特定することが出来ます．これらの能力は私たちが日常生活で他者とのコミュニケーションを円滑に行い，感情や他者の状態を共有するために不可欠です． 当研究室では，人間が顔の情報をどのように知覚しているのか，そのプロセスや特徴について詳しく探求し，他者の感情や意図を解釈するのかを明らかにすることを目指しています．また，心理学，神経科学，コンピュータサイエンスなどの異なる学問領域からのアプローチを統合し，顔や声の知覚認知について総合的な理解をすることで人工知能への応用など，社会での実用化を目指しています．
We humans unconsciously understand the emotions and intentions of others by looking at facial expressions and changes. We can understand a person's race and gender even from momentary facial information presented to us, and we can integrate this information with our past memories to identify individuals. These abilities are essential for us to communicate smoothly with others in our daily lives and to share our emotions and the states of others. Our laboratory aims to explore in detail the processes and characteristics of how humans perceive facial information and interpret the emotions and intentions of others. We also aim to integrate approaches from different disciplines, such as psychology, neuroscience, and computer science, to gain a comprehensive understanding of the perceptual perception of faces and voices for practical applications in society, including applications to artificial intelligence.
深層学習による顔表情生成と評価
Creation and evaluation of expressive faces by deep learning
顔表情は，人々の感情や意図を伝える重要な要素であり，コミュニケーションや人間関係の構築において重要な役割を持っています．一方で，顔表情生成の過程は複雑であり，リアルな表情を生成することは困難でした．当研究室では，これらの課題に対して深層学習を用いることで，表情生成と評価の革新的なアプローチについて追求するとともに，人間の表情生成や評価に関わる脳の神経メカニズムや心理的プロセスを理解し，コンピュータの表情生成の能力向上を目指しています．さらに，生成された表情の評価についても研究を行っており，生成された表情がどれだけ自然であり，人間の感情に近いかを客観的に評価するための指標の確立にも取り組んでいます．深層学習を活用した表情生成と評価の発展によって，コンピュータとの自然なコミュニケーションを実現することを期待します． ※深層学習とは大量のデータからパターンを学習し，新たな情報の生成や解析に応用することを指します．
Facial expressions are an important element in conveying people's emotions and intentions and play an important role in communication and the development of human relationships. On the other hand, the process of facial expression generation is complex, and it has been difficult to generate realistic facial expressions. By using deep learning to address these issues, our laboratory is pursuing innovative approaches to facial expression generation and evaluation, as well as understanding the neural mechanisms and psychological processes of the brain involved in the generation and evaluation of human facial expressions, with the aim of improving the ability of computers to generate facial expressions. Furthermore, we are also studying the evaluation of generated facial expressions, and are working to establish an objective index for evaluating how natural and close to human emotions the generated facial expressions are. We expect that the development of facial expression generation and evaluation using deep learning will lead to natural communication with computers. *Deep learning refers to learning patterns from large amounts of data and applying them to the generation and analysis of new information.
VR技術等による多感覚情報処理
Multimodal information processing by VR/AR technologies
従来の情報処理は主に視覚や聴覚に依存していましたが，現実の体験をよりリアルに再現し，没入感を高めるにはさらなる多感覚の統合が必要です．認知情報学研究室では，VR技術を中心に，視覚，聴覚，触覚，運動などのさまざまな感覚情報を統合し，よりリアルな感覚体験を提供する手法を開発しています． 我々は多感覚情報処理技術のさまざまな領域での活用を目指し，研究を進めています．VRを用いた実用体験の例として医療分野があげられます．手術の訓練やリハビリテーションにおいて，VRを使用することで実際の体験に近い環境を提供し，医療従事者や患者のスキル向上や回復をサポートすることが可能です．当研究室では医療関係者との合同研究などによってこれらの研究を行っています．また，教育分野においてもVRを活用した学習体験が効果的です．実際の環境では困難な体験や実験を安全かつ効果的に行うことができます．生物学や物理学の実験，歴史的な場所や文化体験の再現など，より身体的かつ体験的な学びを提供することができます．さらに，エンターテイメント分野では，VRゲームや映画など，仮想空間内での視覚，聴覚，触覚の統合により，ユーザーを臨場感あふれる世界に引き込むことを目指した研究を進めています．
Conventional information processing relies primarily on visual and auditory senses, but further multisensory integration is necessary to reproduce realistic and immersive real-life experiences. In the Cognitive Informatics Laboratory, we are developing methods to provide more realistic sensory experiences by integrating various sensory information such as vision, hearing, touch, and motion, with a focus on VR technology. Our research aims to apply multisensory information processing technology to a variety of areas, and one example of practical experiences using VR is in the medical field. In surgical training and rehabilitation, the use of VR can provide an environment that is similar to the actual experience, helping medical professionals and patients to improve their skills and recovery. Our laboratory conducts these studies through joint research with medical professionals. Learning experiences using VR are also effective in the field of education. Experiences and experiments that would be difficult to perform in real environments can be performed safely and effectively. It can provide more physical and experiential learning, such as experiments in biology and physics, or recreating historical places and cultural experiences. Furthermore, in the entertainment field, we are conducting research on VR games and movies that aim to bring users into a realistic world by integrating the senses of sight, sound, and touch within a virtual space.