바라보기, 언어, Multi Modality, 멀티 모달리티, AI

바라보기, 언어, Multi Modality, 멀티 모달리티, AI

 

---

멀리 모달리티는 한 사람이 자신의 감정, 생각, 행동 등을 다른 사람들과 다르게 인식하고 경험하는 성향을 말합니다. 일반적으로 멀리 모달리티를 가진 사람은 다른 사람들의 생각이나 감정을 이해하기 어려워하며, 이로 인해 대인관계에서 문제가 발생할 수 있습니다.

멀리 모달리티를 가진 사람들은 대체로 감정적으로 냉정하거나, 다른 사람들의 언어, 표현, 몸짓 등을 해석하는 데 어려움을 겪는 경향이 있습니다. 또한, 이들은 자신의 입장에서 일방적으로 생각하거나 행동하기 쉽기 때문에, 타인의 관점에서 생각하거나 행동하는 것이 어려울 수 있습니다.

멀리 모달리티는 일반적으로 자폐 스펙트럼 장애(ASD)와 관련이 있으며, 다른 심리적 장애와도 연관이 있을 수 있습니다. 따라서, 멀리 모달리티를 경험하는 사람은 적극적인 치료나 상담을 통해 대인관계 및 사회적 상호작용에 더 잘 적응할 수 있도록 지원받을 수 있습니다.-GPT

---

멀리 모달리티를 가진 사람들의 특징을 이해하고, 그들이 어떤 상황에서 어떤 행동을 취할지 예측하는 AI를 멀리 모달리티 AI라고 합니다.

멀리 모달리티 AI는 일반적으로 자연어 처리(Natural Language Processing) 기술과 기계 학습(Machine Learning) 알고리즘을 사용하여 구현됩니다. 이를 통해, AI는 대화를 나누는 상대방의 발언, 언어적인 표현, 몸짓, 표정 등을 분석하고, 그것을 멀리 모달리티를 가진 사람들의 특징과 연관시켜 예측할 수 있습니다.

예를 들어, 멀리 모달리티 AI는 대화 상대방이 특정 표현을 사용할 때, 그것이 멀리 모달리티를 가진 사람들에게 불편한 표현인지 아닌지를 판단할 수 있습니다. 또한, 대화 상대방의 표정이나 몸짓을 분석하여 그들의 감정 상태를 파악하고, 이에 맞게 대화를 이어나갈 수 있습니다.

멀리 모달리티 AI는 대화 상대방의 언어적인 표현과 몸짓을 분석하고, 이를 멀리 모달리티를 가진 사람들의 특징과 연관시켜 예측하는 능력을 가지고 있습니다. 이러한 기술은 대인관계나 사회적 상호작용에서 멀리 모달리티를 가진 사람들이 더 잘 적응할 수 있도록 돕는 데 도움이 될 수 있습니다.-GPT

---

Multi Modality, 멀티 모달리티

시각, 청각을 비롯한 여러 인터페이스를 통해서 정보를 주고받는 것을 말하는 개념이며, 이렇게 다양한 채널의 모달리티를 동시에 받아들여서 학습하고 사고하는 AI를 '멀티모달 AI'라고 합니다.

모달리티(Modality)는 '양식', '양상'이라는 뜻인데요. 보통 어떤 형태로 나타나는 현상이나 그것을 받아들이는 방식을 말합니다. -삼성SDS 인사이트 리포트

---

멀티 모달의 정의​ 

사람과 사람 사이의 의사소통(커뮤니케이션)은 주로 음성과 제스처였다. 그럼 사람과 기계 사이의 커뮤니케이션은 어떻게 할까? 전통적으로 키보드라는 디바이스를 통해 텍스트가 주로 사용되어 왔다. 하지만 스마트폰의 등장 이후 단말기가 소형화되면서 키보드를 이용한 사람과 기계 사이의 커뮤니케이션은 한계에 달했다. 이에, 음성, 제스처, 펜 등을 활용한 멀티 모달 인터페이스가 발전하게 되었다. 여기에 AI 기술의 발달로 음성처리 기술이 획기적으로 발전하면서, 사람과 기계 사이의 커뮤니케이션은 의사소통까지도 가능한 사용자 친화형 기술로 변모하는 중이다.

 

멀티 모달은 앞서 소개한 바와 같이, 여러 가지 형태와 의미로 컴퓨터와 대화하는 환경을 뜻한다. 그리고, 모달(=모달리티, modality)은 인터랙션 과정에서 사용되는 의사소통 채널을 말한다. 예를 들어, 우리가 PC에 무언가를 입력하려고 할 때 사용하는 키보드나 마우스 등이 하나의 모달리티를 위한 디바이스라고 할 수 있다. 즉, 모달리티란 한 가지 방식의 사람-컴퓨터 의사소통 ‘채널’을 뜻한다.

 

우리가 보통 사용하는 PC 입력 방법 외에 또 다른 모달리티는 무엇이 있을까? 바로 접촉하지 않아도 입력 가능한 제스처(동작), 음성 입력은 물론 표정 인식과 시선 인식까지도 각각의 모달리티라 할 수 있다. 종합해보면, 전통적인 텍스트 외에 음성, 제스처, 시선, 표정, 생체신호 등 여러 입력 방식을 융합해 인간과 컴퓨터 사이에 자연스러운 의사소통이 가능한 사용자 친화형 기술을 가능케 해주는 것이 멀티 모달이라 정리할 수 있다.

 

우리가 사용하는 스마트폰에서도 멀티 모달을 흔히 볼 수 있다. 안드로이드 OS 스마트폰의 경우 텍스트를 입력할 때 자판으로 버튼을 눌러 텍스트를 완성할 수도 있지만 마이크 버튼을 활성화하면 음성으로 말하는 것을 텍스트로 변환시킬 수 있다. 텍스트 입력을 위해 자판과 음성 모두 이용할 수 있는 멀티 모달의 사례이다. 

 

하지만 위 사례에서 두 모달리티가 동시에 일어나지는 않는다. 서로 번갈아가면서 의사소통을 하고 있다. 물론 두 가지 이상의 모달리티를 동시에 사용하는 경우도 있는데, 주로 게임에서 볼 수 있다. 키보드만 이용하던 고전 게임이 아니라 1인칭 슈팅 게임이나 롤플레잉 게임 등에서 마우스와 키보드를 모두 이용하는 게임이 여기에 해당된다. 마우스는 조작하는 캐릭터의 시선과 방향은 물론 총을 쏘는 행동 인터랙션을 담당하고, 키보드는 캐릭터의 이동을 담당하는데 동시에 입력하면서 캐릭터의 신체 부분을 각자 담당하는 것이다. 

 

멀티 모달 기술은 게임, 오락 등으로 이미 실용화해 사물인터넷과 연동된 기술로 확산되고 있으며 향후 온 몸에 컴퓨터를 두르는 유비쿼터스(ubiquitous) 세상에서 인공지능을 가미한 미래 입력 방식으로 진화할 것이라는 게 전문가들의 예측이다. 

 

아직까지도 다소 생소한 개념인 멀티 모달은 사실 10여년 전부터 꾸준히 개발되어 왔다. 특허청에 따르면 멀티 모달 인터페이스와 관련된 특허출원은 지난 2009년부터 꾸준히 증가해오다가 2017년부터 제스처, 얼굴, 생체신호 등의 입력 방식을 활용한 출원이 증가했다. 특히 맥박이나 심박수, 홍채, 지문과 같은 생체신호 부분의 특허출원이 급증한 것으로 나타났다. -AhnLab

 

---