스페인의 한 연구 지원 기관은 AI를 활용해 연구비 지원 제안서 중 성공 가능성이 낮은 제안을 사전 걸러내는 시범 운영을 진행
- 연간 약 1억 4,500만 유로의 연구비를 지원하는 라 카익사(La Caixa) 재단은 생의학 공모에서 약 1/6 수준의 제안을 특별히 학습된 AI가 자동으로 탈락시키는 절차를 도입, 두 명의 인간 평가자가 이를 확인
- 대규모 언어 모델(LLM)은 연구 제안서의 내용을 이해할 수 없고, 과거 성공 사례들과의 언어적 유사성을 기반으로 판단하기 때문에 논란의 여지가 있음. 또한 EU는 AI의 환각 및 편향 문제로 인해 제안서 평가에 AI 사용을 경고한 바 있음
- 그러나 많은 제안서의 압도당하는 상황에서 일부 연구 자금 지원자들은 이를 선별하기 위해 AI 도구를 활용하고자 할 수 있음
- 프로젝트 책임자 Carbonell은 AI 심사 프로세스의 목표는 자금 지원 가능성이 낮은 제안서를 걸러냄으로써 검토자의 부담을 줄이는 것이라고 설명(재단 생의학 공고에는 매년 약 800건의 지원서가 접수, 성공률은 4~5%에 불과)
재단은 대규모 언어 모델을 학습시켜 선정 가능성이 낮은 제안서를 걸러내었으며, 이를 인간 평가자가 검토. AI가 혁신적인 제안을 탈락시켜 평가를 보수적으로 만들 수 있다는 우려 존재
- La Caixa는 AI 선별 도구를 만들기 위해 Hugging Face의 기존 대규모 언어 모델 3개를 사용, 이전 제안서와 평가 점수를 입력하여 모델을 학습. 이후 세 모델은 새로운 제안서와 이전 제안서 간 유사성을 확인하여 심사 진행
- 2022년 시범운영 당시 AI가 546개 제안서 중 116개 제안서를 걸러냄
- 두 명의 인간 평가자는 AI가 탈락시킨 116건 중 30건을 되살림. 그중 한 건은 전통적인 심사 방식에서 실제로 선정됨
- Carbonell은 AI가 혁신적인 제안을 탈락시킬 수 있음을 인정하며, 이러한 제안서의 가치를 인식하는 인간 심사자의 판단이 중요함을 강조
현재까지는 사회적 수용성, AI 법률, 설명 가능성 부족 등의 문제로 효과가 제한적. 재단은 인간 평가자의 업무 경감이 AI 활용의 주된 목표임을 강조하였으며, 향후 시스템 확장 계획을 밝힘
- Carbonell은 사람의 개입 없이도 AI 단독 필터링이 기술적으로는 가능하나, 사회적 수용성과 EU AI 법률 등의 문제로 당장은 제한적이라고 말함
- 설명 가능성 부족도 LLM의 문제점으로 지적되며, 현재 AI 의사결정의 내부 논리를 이해하기 위한 연구 프로젝트가 진행 중
- 시간 절약 측면에서도 효과가 제한적. AI는 빠르게 판단하지만 이후 인간 검토에 몇 주가 소요
- 그러나 주된 목표는 시간 단축이 아닌 평가자 업무 경감
- 일부 심사자는 AI 유용성에 회의적이며, 일정 수준 이상의 제안서를 무작위로 선정하는 추첨 방식이 더 공정하고 비용 효율적일 수 있다고 주장
- 재단은 AI가 탈락 대상이 아닌 ‘가장 유망한 제안’을 추리는 방식으로 향후 평가 시스템을 확장할 계획
