CREAM 프로젝트는 감정적 반응을 이끌어낼 수 있는 소리 조작 도구를 사용하여 뇌에 대한 통찰력을 얻음
- 이 연구는 이미 언어 문제 진단부터 뇌 수술 환자 평가에 이르기까지 새로운 임상 응용 분야에 영감을 주고 있음
- 과학에서는 음악이 음식이나 섹스와 동일한 뇌 경로를 활성화한다는 사실을 발견했으나, 지금까지의 연구는 주로 음악을 실험하는 것이 아니라 단순히 음악의 영향을 관찰하는 데 중점을 둠
- ”실험에서는 일반적으로 행복한 음악을 연주한 다음 이것이 어떻게 행복한 감정을 불러일으키는지 기록했다. 음악이 기억을 불러일으키는가, 아니면 생리학을 변화시키는가와 같은 근본적인 메커니즘에 대한 의문은 아직 남아있다.“(프로젝트 코디네이터, CNRS 신경과학자 Aucouturier)
치료약 연구자들이 활성 분자가 생리적 경로를 표적으로 삼는 방법을 조사하는 것처럼 CREAM 프로젝트는 오디오 처리 기술을 사용하여 소리의 감정 기록을 변경한 다음 청취자의 감정에 미치는 영향을 테스트함
- 다학제적 프로젝트인 CREAM은 음성 및 음악 기술 방법을 빌려 프랑스, 일본, 스웨덴, 영국 등 4개국에서 600명이 넘는 참가자와 작업
- 감정을 정의하고 분류하는 방법에 대한 신경과학적 합의는 이미 존재하나, CREAM은 감정 상태가 미묘한 소리의 ’특징들‘로 표시되는 방식에 대한 중요한 통찰력을 제공
프로젝트의 핵심 이정표는 SMILE 소프트웨어 특허권 취득에 있음
- 이 도구는 화자가 웃을 때 목소리에 발생하는 음색 변화를 음향적으로 시뮬레이션 할 수 있음
- “웃는 소리를 시뮬레이션하면 어떤 목소리에도 실시간으로 적용하여 더 행복하게 들리게 만드는 알고리즘을 만들 수 있다.”(Aucouturier)
- 청취자에 대한 이러한 사운드 시뮬레이션의 영향은 뇌, 심장 및 안면 근육의 변화를 각각 기록하기 위해 두피, 가슴 및 얼굴에 장착된 전극을 사용하여 측정됨
- “청취자들이 우리의 SMILE 알고리즘으로 조작된 목소리를 들었을 때 화자가 이전보다 더 친근하다고 말하면서 또한, 스스로도 먼저 미소를 짓기 시작했다”(Aucouturier)
- 스핀아웃 회사인 AltaVoce는 현재 특히 전화 기반 고객 관계를 위한 커뮤니케이션 향상 도구로 SMILE 소프트웨어를 상용화하고 있음
악기가 목소리만큼 감정적으로 표현될 수 있다는 것은 잘 알려져 있으나, 과거의 대부분의 실험에서는 템포와 볼륨과 같은 기본 매개변수만 변경되었음
- 웃음소리, 목소리의 떨림, 목소리의 ’거친 소리‘와 같은 소리 특징들을 음악 샘플에 적용함으로써 테스트 참가자들은 조작이 음성 샘플에 적용될 때와 유사한 감정적 반응을 경험
- 이러한 사운드 변형 기술은 범죄자와 악의적인 행위자가 더욱 설득력 있고 매력적인 가짜 오디오를 제작할 수 있는 등 명백한 윤리적 우려를 불러일으킴
- 따라서 Aucouturier는 이러한 위험을 억제하는 방법에 대한 논의에도 적극적으로 참여하고 있음
이 프로젝트의 무료 오픈 소스 도구는 현재 프랑스의 여러 병원에서 다양한 용도로 사용되고 있음
- DAVID는 녹음된 음성의 감정을 변경할 수 있는 무료 실시간 음성 변환 도구이며, ANGUS는 임의의 음성 신호에 대한 각성과 거친 신호를 시뮬레이션 할 수 있음
- CLEESE는 주어진 사운드에 대해 무작위 또는 결정론적 피치, 시간 척도, 필터링 및 게인 변환을 수행하기 위한 Python 도구 상자임
- 응용 분야에는 뇌졸중 생존자의 언어(실어증) 문제 진단, 혼수상태 환자의 의식 검사, 선천적 시각 장애 환자의 사회적 인지(특히 ’듣는‘ 감정을 모방하는 능력) 탐구, 환자가 수술을 위해 마취되기 전 음성 불안 마커 식별 등이 있음
- 자폐 스펙트럼 장애 및 외상후 스트레스 장애에 대한 응급 의학 분류, 뇌 신경교종 수술의 영향 평가에 대한 작업도 진행 중
- “우리는 광범위한 신경 및 정신 질환을 진단하기 위해 소리를 사용하여 건강한 뇌의 정서적 특성을 제어하고 측정할 수 있는 기술을 개발하고 있다”
현재 프랑스의 혼합 연구 FEMTO-ST 연구소를 기반으로 하는 Aucouturier는 새로운 분야로 영역을 확장하고 있음
- Aucouturier는 EU가 지원하는 Lullabyte 프로젝트에 참여하면서 유럽의 10개 실험실과 협력하여 수면 중에 두뇌가 소리를 처리하는 방식을 연구하고 있음
- “우리가 배운 내용을 사용하여 수면의 질, 기억 강화 및 꿈의 기억을 향상하는 창의적인 응용 프로그램을 개발하거나 심지어 꿈의 내용을 수정하는 데 사용할 수도 있다”
CREAM 프로젝트
- 기간 : 10.01.~2019.09.30.
- 예산 : 약 150만 유로 (EU 지원 약 150만 유로)
- 총괄 : CENTRE NATIONAL DE LA RECHERCHE SCIENTIFIQUE (프랑스)
SOURCE : EC R&I Success Stories
