최근 분석은 ERC의 혁신적 연구자에 대한 선정률이 낮은 것에 대해 본래 취지를 훼손한다고 지적
- 최근 분석에 따르면, 유럽연구위원회(ERC)는 ‘고위험·고수익’ 연구를 지원한다는 설립 취지와 달리, 혁신적 연구 경력을 보유한 지원자가 오히려 선정에서 불리한 경향이 있는 것으로 나타남
- 또한 ERC 평가 패널이 제안서 과부하로 인해 지원자의 성공에 대한 인용 기반 지표를 구글링하는 등의 편법을 사용하고 있음이 지적됨
평가에 있어 연구의 참신성은 오히려 불리하게 작용함
- 분석은 신청자의 이전 연구 기록을 기반으로 한 대리 지표를 사용하여 그들이 이전 논문에서 참조한 학술지 조합의 독특성을 바탕으로 참신성을 측정
- 신청자의 과거 논문이 다학제적·비정형적 인용 구조를 가질수록 참신성이 높다고 간주해 분석한 결과, 이러한 이력을 가진 연구자들의 보조금 선정 확률이 낮은 경향이 확인됨
- 특히 명문 기관 소속이 아닌 초기 경력 연구자일수록 그 편향이 더욱 두드러졌음
- 다만, 이미 인용 실적이 높거나 권위 있는 기관 소속 연구자의 경우, 참신한 연구 이력이 오히려 긍정적으로 평가되는 경향이 있었음
- 한 ERC 대변인은 보고서가 제시한 한계를 인지하고 있으며, 공정하고 투명한 심사 절차를 지속적으로 점검 중이라고 발표
ERC 심사위원들은 제안서 과다로 간접 지표에 의존하는 경향이 있음
- 심사위원들이 수백 건의 제안서를 평가하면서 저널 인용지수(JIF) 같은 간접 지표를 참고한 사례가 많은 것으로 조사됨
- Veugelers 교수는 본인 역시 심사 시 JIF를 검색한 경험이 있음을 언급. 동 지표가 왜곡될 수 있다는 판단하에 ERC는 2021년부터 JIF 활용을 공식적으로 금지함
ERC가 고위험·고수익 연구를 지원한다는 초기 목표가 점차 약화되었다고 평가됨
- 심사위원들이 대규모 자금이 투입되는 만큼 실패 가능성이 높은 프로젝트를 기피하는 경향이 있어, 고위험·고수익 연구보다 실현 가능성이 높은 프로젝트가 선호되고 있음
- Veugelers는 ERC 설립 이후 고위험·고수익 연구에 대한 강조가 점차 약화되었으며, 대신 ‘우수성’을 더 중시하는 방향으로 변화했다고 평가
- 또한, 최근 ERC는 ‘잠재적으로 혼란스럽고 문제적’이라며 평가 기준에서 ‘고위험·고수익’ 문구를 삭제한 바 있음
분석은 혁신성 중심의 평가 방식을 위한 실험적 제도 도입을 제안
- Veugelers 교수는 미국 국립과학재단(NSF)의 ‘골든 티켓’ 제도를 ERC에 도입해볼 것을 제안함. 이는 개별 심사위원이 다수 반대와 무관하게 한 건의 제안을 단독 승인할 수 있도록 보장하는 방식으로, 집단적 보수성에서 벗어나 혁신적 제안을 구제할 기회를 제공
- 아울러 다학제 프로젝트나 실패 경험이 있는 연구자들이 심사위원으로 참여하는 구조가 필요하다는 점도 강조됨
