`22년 7월부터 유럽 전역의 대학들은 유럽 전역의 연구지원기관 간의 합의에 따라 연구평가 방법을 개혁해왔음
- 대학들은 연구평가를 개혁하여 인용 및 출판된 저널 논문과 같은 정량적 지표보다는 연구의 질에 더 중점을 두기를 원하고 있음
- 한편, 이 개혁은 인용, 영향력 요인, 직원 비율과 같은 명확한 숫자에 주로 의존하는 외부 대학 순위 기관에서 사용하는 방법과 상충함
- 따라서 연구평가개혁이 유럽 연구 기관의 평가 방식을 질적 시스템으로 바꿔감에 따라 세계 순위 시스템도 바뀔지 귀추가 주목됨
세계 주요 순위 시스템은 거의 대부분 학술 설문조사, 대학의 인사 데이터 및 연구 출판물 등의 정량적 기준을 사용하고 있음
- 예를 들어 영국의 QS 세계대학랭킹은 학문적 평판, 고용주 평판, 교수진 대비 학생 비율, 교수진당 피인용 횟수, 유학생과 교수진 비율 등 6가지 일반 지표를 사용함
- 한편, UK Times Higher Education(THE) 순위는 13개의 자체 지표를 사용하고, 중국의 상하이대학랭킹은 6개의 지표를 사용함
일부 메트릭은 모두에게 공통적으로 적용되나 일부의 경우 가중치와 평가방식에 따라 달라질 수 있음
- 예를 들어 QS 순위나 상하이대학랭킹에서 연구 인용 수는 점수의 20%를 차지하는 반면, THE에서는 30%를 차지함
- QS 순위 관리자는 “학계, 학과, 학부 및 기관은 모두 그들이 생산하는 연구의 질에 따라 평가되며, 현재까지 이에 대해 가장 신뢰할 수 있는 측정 기준은 논문 및 인용 결과였다”라고 말함
- THE 대변인은 “THE 세계대학순위는 원래 `03년 지식 창출과 국제 연구 경쟁의 변화하는 지정학을 더 잘 이해하기 위한 연구 평가 도구로 설계되었기 때문에 순위의 초점은 연구에 맞춰져 있다”라고 말함
대학순위는 대학 간 비교를 보다 공정하게 하기 위해 지난 10년 동안 방법론을 변경해왔음
- 예를 들어, QS는 `16년 생명과학 분야보다 인문학 논문이 덜 인용된다는 점을 보완하기 위해 해당 분야의 인용에 가중치를 부여하였음
- THE 랭킹의 경우 `11년 400개 대학에서 `23년 현재 1,700개 대학으로 늘어남에 따라 국가의 규모와 다양성을 고려하기 위해 국제 메트릭을 조정하고 특허에서 얼마나 많은 연구가 인용되는지를 살펴보는 등의 새로운 메트릭을 추가하였음
EU는 `13년 자체 대학랭킹인 U-Multirank를 통해 기존 대학랭킹 전통을 깨고자 하였으나 원하는 변화를 가져오는 데에는 실패함
- U-Multirank는 교육 및 학습의 질, 국제적 방향성, 지식 이전의 성공, 지역발전 기여 등의 질적 평가를 도입하였으며, 사용자가 가장 관심있는 지표를 기반으로 자신만의 맞춤형 순위를 구축할 수 있도록 하였음
- 수집된 데이터는 대학의 성과를 다각도로 볼 수 있게 하였으나, 데이터의 수집 과정이 불필요하게 정교하고 시간이 많이 걸리는 문제가 있었음
이에 따라 유럽대학연합(EUA)과 사이언스유럽이 유럽연합의 지원을 받아 연구평가개혁을 개시하였음
- 대학이 연구평가 프로세스를 어떻게 개혁해야 하는지를 명시한 연구평가 원칙은 독창성에 대한 보상, 연구가 과학·기술·경제·사회·양성평등 등에 미치는 영향을 포함하도록 명시함
- 연구 기관은 협정에 서명함으로써 참여할 수 있으며, 서명자는 평가 기준을 검토하거나 개발하는 방법에 대한 실행 계획을 세워야 함
대학랭킹 시스템은 이러한 연구평가개혁 움직임에 주목하고 있으며, 많은 대학이 연구평가를 개혁한다면 순위 시스템 역시 변경될 수 있을 것으로 보임
- THE 대변인은 “우리는 이러한 발전을 주의 깊게, 관심 있게 지켜보고 있다. 우리는 메트릭과 순위의 적절한 사용에 대한 열린 대화를 환영한다”라고 말하였음
- QS 관리자는 “우리는 항상 해당 부문의 집단 지성과 합의를 반영한다는 견해를 가지고 있다. 이 점에서 우리는 새로운 연구평가 방식이 집합적으로 채택될 때 변화하는 연구 역학을 우리 메트릭에 반영하도록 고려할 것”이라고 말하였음
SOURCE : SCIENCE BUSINESS
