연구 평가의 효율성과 공정성을 높이려고 노력하는 가운데, 동료평가(peer review)와 문헌계량지표(bibliometric indicators) 중 어떤 방식을 사용할지를 두고 여전히 논쟁이 이어지고 있음
- 20년 이상 전 세계적으로 연구된 결과에 따르면, 과학·기술·공학·수학·의학(STEMM) 분야에서는 정확성, 확장성, 비용 효율성 측면에서 문헌계량지표가 동료평가보다 우수한 것으로 나타남
- 동료평가는 오랫동안 과학 연구 평가의 ‘황금 기준’으로 여겨져 왔으나, 현재 연구평가의 규모는 이러한 면밀한 검토를 불가능하게 만듦
- 예를 들어, 이탈리아의 2015~2019년 연구 평가 사례에서는 STEMM 분야의 한 평가자가 단 6개월 동안 평균 449편을 평가해야 했으며(하루 약 3.7편), 거의 모든 평가자(97.6%)가 자국 출신으로 다양성과 객관성에 한계가 있었음
- 연구 결과에 따르면 동료평가는 논문의 장기적 영향력을 예측하는 데 있어 미흡한 것으로 나타나며, 성별 편향 등 구조적 문제가 반복되기도 함
- 비용 면에서도 문제로, 예를 들어 영국의 2021년 연구 우수성 평가(REF)는 약 4억 7,100만 파운드가 소요됨. 이로 인해 기관들은 제출할 연구 성과의 수를 제한해야 하고, 평가가 5~7년마다 실시되어 실시간 관리나 정책 수립에 큰 기여를 하지 못함
한 전문가는 중요한 것은 두 방식을 대립 구도로 보는 것이 아니라, 정책 목표에 맞는 균형 있고 현명한 조합을 찾는 것이라고 주장
- 동료평가는 정확성(시간 압박, 전문가 역량 차이), 견고성(평가 대상 성과물 비율에 따라 순위 변동), 신뢰성(제출할 성과물 판단 오류), 기능성(결과의 내부 운영 반영 한계), 비용·시간(고비용, 긴 소요시간) 등 5가지 구조적 한계를 지님
- 반면, 문헌계량지표는 최소한의 비용으로 모든 논문을 빠르게 분석할 수 있고, 국가 시스템 전반으로 빠르게 확장 가능. 또한 성과와 추세에 대한 지속적인 데이터 기반 모니터링이 가능
- 다만, 문헌계량지표도 자가 인용이나 인용 카르텔로 인한 왜곡, 범위 불균형(예술·인문학 등 일부 분야는 비영어로 작성된 연구처럼 대표성 부족) 등의 한계가 존재
- 두 방식 모두 정책·문화·사회적 영향과 같은 정성적 요소는 잘 포착하지 못함
- 예술·인문학 분야에서는 전문가 평가가 필수지만, STEMM과 다수 사회과학처럼 대규모 평가가 필요한 분야에는 문헌계량지표가 더 실용적임. 소규모 평가에서도 전문가들이 계량지표를 참고 자료로 활용하면 판단의 질이 향상될 수 있음
Source: RPN
