중증 마비 환자가 머릿속으로 의도한 말과 몸짓을 동시에 해독할 수 있는 새로운 뇌-컴퓨터 인터페이스(BCI)가 개발됐다. 인공지능(AI)을 활용해 뇌의 전기적 활동을 분석하고 언어와 비언어적 표현을 거의 동시에 구현하는 기술로, 마비 환자의 보다 자연스러운 의사소통을 지원할 가능성이 주목된다.
AI로 말과 몸짓을 동시에 해독
미국 샌프란시스코 캘리포니아대(UCSF) 연구진은 뇌에서 발생하는 전기 신호를 AI로 분석해 사용자가 의도한 말과 몸짓을 함께 인식할 수 있는 뇌 임플란트를 개발했다. 연구 결과는 국제학술지 ‘네이처 신경과학’에 발표됐다.
이 장치는 뇌 신호를 해독해 사용자가 말하려는 내용을 문자로 변환하고 화면에 표시한다. 동시에 가상 아바타가 사용자의 의도에 맞는 동작을 표현하도록 설계됐다.
기존 BCI가 문자 입력이나 로봇 팔 제어 등 특정 기능 하나를 수행하는 데 초점을 맞췄다면, 이번 기술은 서로 다른 형태의 의사소통 신호를 동시에 처리한다는 점에서 차이가 있다.
언어뿐 아니라 비언어적 표현까지 구현
사람의 의사소통은 말만으로 이뤄지지 않는다. 대화 과정에서 고개를 끄덕이거나 어깨를 으쓱하고 손을 움직이는 등 다양한 비언어적 표현이 함께 사용된다.
이러한 몸짓은 감정이나 의도를 전달하고 말의 의미를 보완하는 역할을 한다. 중증 마비 환자 역시 같은 방식으로 자신을 표현하려는 의도를 가질 수 있지만, 신체를 자유롭게 움직이기 어려워 이를 실제 행동으로 나타내는 데 한계가 있다.
BCI 기술이 발전하면서 일부 환자는 생각만으로 글자를 입력하거나 로봇 팔과 같은 외부 장치를 움직일 수 있게 됐다. 그러나 기존 시스템 대부분은 한 번에 하나의 기능을 수행하도록 설계돼 실제 대화에서 나타나는 복합적인 의사소통을 재현하는 데 제약이 있었다.
신경 신호의 중첩과 간섭 문제 해결
이번 연구의 핵심 과제는 말과 몸짓을 동시에 시도할 때 발생하는 신경 신호를 정확하게 구분하는 것이었다.
언어와 신체 움직임에 관여하는 뇌 활동은 서로 완전히 독립돼 있지 않다. 여러 행동을 동시에 의도할 경우 관련 신호가 겹치거나 서로 영향을 줄 수 있어 각각의 의미를 정확하게 해독하기 어려워진다.
연구진은 AI 기반 분석 기술을 활용해 이러한 신호의 중첩과 간섭을 구분하고, 말과 몸짓에 해당하는 정보를 동시에 식별하는 방식에 초점을 맞췄다.
감각운동피질에 253개 전극 배치
연구진은 실험 참가자 2명의 뇌 감각운동피질 표면에 253개의 전극 배열을 갖춘 뇌피질전도(ECoG) 장치를 이식했다.
많은 수의 전극을 사용한 것은 감각운동피질의 넓은 영역에서 발생하는 신경 활동을 측정하기 위해서다. 이를 통해 언어와 움직임에 관련된 다양한 신호를 동시에 포착할 수 있도록 했다.
뇌피질전도는 일반적인 뇌파검사(EEG)와 측정 방식에서 차이가 있다. EEG는 두피에 전극을 부착해 뇌의 전기적 활동을 간접적으로 측정하는 반면, ECoG는 대뇌 피질 표면에 직접 전극을 배치해 전기 신호를 기록한다.
이 방식은 전극을 이식하는 과정이 필요하지만 뇌 활동을 보다 직접적으로 기록할 수 있어 정밀한 신경 신호 분석이 필요한 BCI 연구에 활용된다.
보다 자연스러운 의사소통 기술로 발전
이번 연구는 BCI가 단순한 문자 입력이나 외부 기기 제어를 넘어 사람의 복합적인 의사소통 방식을 구현하는 방향으로 발전하고 있음을 보여준다.
말과 함께 몸짓까지 해독할 수 있다면 중증 마비 환자가 가상 아바타 등을 통해 자신의 의도와 반응을 더욱 자연스럽게 표현하는 데 도움이 될 가능성이 있다.
다만 이번 연구는 참가자 2명을 대상으로 진행된 만큼 기술의 정확성과 안정성, 장기간 사용 가능성 등을 확인하기 위한 추가 연구가 필요하다. 향후 다양한 사용자를 대상으로 성능을 검증하고 시스템을 개선하는 과정이 실제 활용 가능성을 결정할 것으로 보인다.
Joon-seo Han은 Wpick.kr에서 뉴스, 정치, 경제, 기술, 스포츠, 엔터테인먼트 및 라이프스타일 전반을 다루는 기자입니다. 독자에게 신뢰할 수 있고 이해하기 쉬운 정보를 전달하는 것을 목표로 하며, 복잡한 이슈를 명확하게 정리해 제공합니다. 시사성과 실용성을 균형 있게 고려하여 최신 이슈와 일상에 도움이 되는 이야기를 중심으로 보도합니다. 항상 사실 기반의 보도와 독자 중심의 시각을 바탕으로 다양한 사회적 흐름을 전달합니다. 빠르고 정확한 보도를 통해 독자들이 중요한 정보를 놓치지 않도록 돕습니다.
