인공지능(AI)을 사용해 강화된 뇌 판독 임플란트를 통해 마비가 있는 두 사람이 전례 없는 정확성과 속도로 의사소통을 할 수 있게 되었습니다.
별도의 연구에서 둘 다 8월 23일에 발표되었습니다. 자연, 두 연구팀은 신경 신호를 텍스트나 합성 음성으로 말하는 단어로 변환하는 뇌-컴퓨터 인터페이스(BCI)를 설명합니다. BCI는 각각 분당 62단어 및 분당 78단어로 음성을 디코딩할 수 있습니다. 자연스러운 대화는 분당 약 160단어로 이루어지지만, 새로운 기술은 이전의 어떤 시도보다 빠릅니다.
스탠포드 대학의 신경과학자인 프랜시스 윌렛(Francis Willett)은 “마비가 있는 사람에게 유연한 대화를 복원하여 그들이 말하고 싶은 것이 무엇이든 신뢰할 수 있을 만큼 높은 정확도로 자유롭게 말할 수 있는 미래를 상상하는 것이 이제 가능합니다”라고 말했습니다. 논문 중 하나를 공동 집필한 캘리포니아에서 8월 22일 기자 회견에서.
네덜란드 마스트리흐트 대학의 전산 신경과학자 크리스티안 허프(Christian Herff)는 이러한 장치가 “가까운 미래에 제품이 될 수 있다”고 말합니다.
전극 및 알고리즘
Willett과 그의 동료들은 세포 수준에서 신경 활동을 해석하고 이를 텍스트로 변환하는 BCI를 개발했습니다. 그들은 근위축성 측삭 경화증이라고도 알려진 운동 신경 질환을 앓고 있는 67세의 Pat Bennett와 함께 연구했습니다. 이 질환은 근육 조절 능력이 점진적으로 상실되어 움직이고 말하는 데 어려움을 겪는 질환입니다.
첫째, 연구자들은 Bennett를 수술하여 언어와 관련된 뇌의 표면 아래 몇 밀리미터 부분에 작은 실리콘 전극 배열을 삽입했습니다. 그런 다음 Bennett가 125,000단어의 대규모 어휘 세트와 50단어의 소규모 어휘 세트를 사용하여 다양한 구문을 말하려고 시도할 때 Bennett의 뇌에서 고유한 신호를 인식하도록 딥 러닝 알고리즘을 훈련했습니다. AI는 음성 단어를 구성하는 음성의 하위 단위인 음소에서 단어를 해독합니다. 50단어 어휘의 경우 BCI는 이전 최첨단 BCI보다 2.7배 빠르게 작동했으며 9.1%의 단어 오류율을 달성했습니다. 125,000 단어 어휘의 경우 오류율이 23.8%로 증가했습니다. 윌렛은 기자회견에서 “네 단어 중 약 세 단어가 정확하게 해독됩니다.”라고 말했습니다.
베넷은 기자들에게 보낸 성명에서 “말을 하지 못하는 사람들에게 이는 더 큰 세상과 연결을 유지할 수 있고, 계속 일하고 친구와 가족 관계를 유지할 수 있다는 것을 의미한다”고 말했다.
뇌 활동 읽기
별도의 연구에서 샌프란시스코 캘리포니아 대학의 신경외과 의사인 에드워드 장(Edward Chang)과 그의 동료들은 18년 전 뇌간 뇌졸중으로 말을 할 수 있는 능력을 잃은 47세 여성 앤(Ann)을 대상으로 연구했습니다.
그들은 Willett 팀과 다른 접근법을 사용하여 253개의 전극을 포함하는 종이처럼 얇은 직사각형을 뇌의 피질 표면에 배치했습니다. 전기피질검사(ECoG)라고 불리는 이 기술은 덜 침습적인 것으로 간주되며 수천 개의 뉴런의 결합된 활동을 동시에 기록할 수 있습니다. 팀은 1,024 단어 어휘를 사용하여 249 문장을 말하려는 Ann의 시도와 관련된 Ann의 뇌 활동 패턴을 인식하도록 AI 알고리즘을 훈련시켰습니다. 이 장치는 분당 78단어를 생성했으며 평균 단어 오류율은 25.5%였습니다.
신경 활동을 보다 정확하게 포착하는 Willett 팀이 사용한 임플란트가 더 큰 어휘에서 이를 능가했지만 “ECoG를 사용하면 낮은 단어 오류율을 달성할 수 있다는 것을 알게 되어 기쁘다”고 신경기술 연구원인 Blaise Yvert는 말합니다. 프랑스 그르노블 신경과학연구소.
Chang과 그의 팀은 또한 Ann의 뇌 신호를 합성 음성과 얼굴 표정을 모방하는 애니메이션 아바타로 변환하는 맞춤형 알고리즘을 만들었습니다. 그들은 결혼식 비디오 녹음을 통해 훈련시켜 부상 전 앤의 목소리처럼 들리도록 목소리를 맞춤화했습니다.
Ann은 연구가 끝난 후 피드백 세션에서 연구원들에게 “자신의 목소리와 비슷한 목소리를 듣는다는 단순한 사실이 감정적입니다.”라고 말했습니다. “스스로 말할 수 있는 능력이 생겼을 때 정말 대단했어요!”
“음성은 우리 정체성의 정말 중요한 부분입니다. 이는 단지 의사소통에 관한 것이 아니라 우리가 누구인지에 관한 것이기도 합니다.”라고 Chang은 말합니다.
임상적 적용
BCI를 임상에 사용하려면 많은 개선이 필요합니다. “이상적인 시나리오는 무선으로 연결하는 것입니다.”라고 Ann은 연구자들에게 말했습니다. 일상적인 사용에 적합한 BCI는 눈에 보이는 커넥터나 케이블이 없는 완전히 이식 가능한 시스템이어야 한다고 Yvert는 덧붙였습니다. 두 팀 모두 더욱 강력한 디코딩 알고리즘을 통해 장치의 속도와 정확성을 지속적으로 향상시키기를 희망합니다.
그리고 두 연구의 참가자들은 여전히 말하기에 대해 생각할 때 안면 근육을 사용할 수 있는 능력을 가지고 있으며 말하기와 관련된 뇌 영역은 손상되지 않았다고 Herff는 말합니다. “이것이 모든 환자에게 해당되는 것은 아닙니다.”
Willett은 “우리는 이것을 개념 증명으로 여기며 이 분야의 업계 사람들에게 이를 누군가가 실제로 사용할 수 있는 제품으로 변환할 수 있는 동기를 제공한다고 봅니다.”라고 말합니다.
또한 장치의 신뢰성을 입증하기 위해 더 많은 사람들을 대상으로 테스트를 거쳐야 합니다. 캐나다 밴쿠버에 있는 브리티시 컬럼비아 대학의 신경윤리학 연구원인 Judy Illes는 “이러한 데이터가 아무리 훌륭하고 기술적으로 정교하더라도 상황에 맞게 매우 신중하게 이해해야 합니다.”라고 말합니다. “우리는 대규모 인구에 대한 광범위한 일반화 가능성을 지나치게 약속하는 것에 주의해야 합니다.”라고 그녀는 덧붙입니다. “아직 거기까지 왔는지 잘 모르겠어요.”
이 기사는 허가를 받아 복제되었으며 2023년 8월 23일에 처음 게시되었습니다.
