집행위원회(EC)는 연구 기관이 저널 지표에 대한 의존도를 줄이고 인용 횟수가 아닌 연구의 질에 따라 연구자들에게 보상해야 한다고 주장한다.
EC와 이해 관계자들은 연구자 평가를 위한 새로운 지침 관련 계약 초안에 서명할 준비를 마쳐가고 있는 한편, 독일 연구 기관들은 유럽의 이러한 연구 평가의 단일화 방식 개혁에 대해 경고하고 있다.
독일 연구재단(DFG)은 수요일날 공개한 입장 보고서에서 DFG를 포함한 10개 독일 연구 기관의 연합이 유럽의 연구 평가 시스템에 대한 하향식 개혁 방식에 반대한다고 밝혔다. 이들은 만일 제안된 평가 시스템이 법적 구속력이 있는 것으로 판명되면 EU 회원국, 이해 관계자 및 위원회가 공동으로 준비한 협정 초안에 서명하지 않을 것이라고 경고한 바 있다.
DFG 이사장 Katja Becker는 해당 입장 보고서를 발표하면서 성명서를 통해 “DFG는 공개 출판 시스템과 콘텐츠 중심의 평가 문화에 전념하고 있다”고 말하였다.
DFG는 연구기관 평가 문화의 변화가 필요하지만, 연구 관리자들이 새로운 시스템을 완전히 신뢰할 수 없을 경우 개혁은 성공할 수 없다고 주장한다. Becker 이사장은 “학계가 장학금 평가 및 출판에 있어 질적인 차원을 우선시할 수 있도록 이러한 변화에 대한 신뢰를 증진하고자 한다”고 말하였다.
EC와 유럽 전역의 수많은 연구 협회는 현재 연구 평가 시스템이 시대에 뒤떨어지고 있으며 이를 보다 효율적으로 만들기 위해서는 개혁이 필요하다고 말하고 있다. 새로운 시스템은 출판된 논문 수, 인용 및 관련 저널의 명성에 대해 연구원에게 보상하는 대신 저널 지표에 대한 의존도를 낮추면서 연구의 질적인 측면을 살펴보아야 한다.
이러한 주장은 이미 이전에도 있어왔다. 2013년에 국제 연합은 연구자 평가에서 출판 지표의 비중을 줄이기를 희망하며 샌프란시스코에서 '연구 평가에 대한 선언(DORA)'에 서명한 바 있다.
EC는 EU 내 연구를 위한 연구 표준화를 위해 부활된 유럽연구영역(ERA) 계획의 정책 의제에 연구 평가 개혁을 포함하고 있다. EC는 현재 평가 개혁을 구현하고 올해 안에 테스트를 착수하기 위해 조직 연합으로부터 지지를 결집하고 있다.
DFG는 연구자들의 경력이 '학업적 성과의 증거로 인정되는 매우 구체적인 출판 형식의 정량적 평가와 너무나 체계적으로 연결되어 있다'는 데 동의하지만, 연구 평가에 대한 개혁은 연구 자금을 지원하는 대학, 연구 기관, 아카데미 및 공공 연구 자금 제공자로부터 직접 출발해야 한다고 주장한다. "연구에 대한 책임 있는 평가를 보장하고 향후 출판 시스템의 적절한 개발을 보장하는 것은 이해 관계자의 임무”라고 그 보고서는 지적하고 있다.
DFG는 출판 지표에 크게 의존하여 연구를 평가하는 것이 과학과 인문학에 부정적인 영향을 미칠 수 있음을 인정하고 있다. 저자의 학문적 결과와 성과의 누적된 영향을 평가하는 척도인 h-index와 같은 참고문헌 측정뿐만 아니라 총 출판 및 인용 수와 같은 측정항목은 점점 더 문제가 되고 있다. 연구자들은 연구의 내용에 집중하는 대신 출판 게임에서 더 높은 점수를 확보하기 위해 시스템을 활용하고 경력을 발전시킬 수 있다.
DFG는 연구 기관들과 자금 지원 기관이 출판물의 질을 평가하는 새로운 방법을 제시할 것을 권장하고 있다. 해당 보고서에 따르면 더 넓은 범위의 출판물을 수용하는 것은 자금 지원 기관과 재단의 책임이다. "출판지의 명성은 공식적인 평가 기준에서 제거되어야 하고 실용상 최소한으로 유지해야 한다.”
DFG의 생명과학 부서장 Tobias Grimm은 독일 내에서 연구 평가 개혁에 대한 논의가 진행중이지만 EU 협정에 서명한 대학 네트워크는 거의 없다고 밝혔다. "연구 평가에 대한 현실적인 토론은 이 EC 이니셔티브와는 독립적”이라고 그는 말하였다.
Grimm 부서장에 따르면 사람들이 출판 지표들을 조작하려고하기 때문에 연구 기관들은 해당 지표에 덜 의존해야 한다. 그는 DFG가 검토 시스템을 변경하려고 하고 있고, DORA 선언에 서명했으며, 곧 프로젝트 내용에 더 중점을 둔 연구자들을 위한 새로운 이력서 템플릿 및 응용 프로그램 지침을 발표할 것이라고 언급하였다. 동시에 그는 EC가 개혁을 과학의 소유권에 두는 것이 매우 중요하다고 말하였다.
독일 연구 시스템은 대학 및 자금 지원 기관에서 특정 연구 분야에 중점을 둔 연구원 네트워크에 이르기까지 매우 다양한 참여자가 있는데, 연방 정부는 교육 및 과학에 대한 책임이 미미하다. 관할권은 16명의 선정자와 대학 및 연구 수행 기관, 연구 자금 제공자 및 자선 단체의 복잡한 네트워크로 분할되어 있으며 기관의 자율성에 대한 강한 의지가 있다.
EU 주도의 개혁
EC는 개혁을 추진하기 위해 2021년 초부터 이해 관계자들의 의견을 수렴하기 시작하였다. 그러나 독일 연구 기관은 EU 정책에 편승하는데 그다지 열성적이지 않았고 잠재적인 하향식 법적 구속력 합의에 대해 우려하게 되었다.
지난달 EC는 협상에 참여하는 핵심 연구 이해관계자 그룹에게 이메일을 보내 4월 26일까지 합의 초안에 대한 작성을 요청하였다. 이에 대한 회신은 5월 19일 화상으로 진행되는 이해 관계자 총회의 회담을 통해 전달될 예정이다.
이 합의의 초안은 유럽대학협회(EUA) 및 사이언스유럽의 대표자들로 구성된 팀과 현재 유럽의 다양한 연구 기관의 정책 고문인 전(前) 화학연구원 Karen Stroobants가 함께 작성하고 있다. EC는 '조력자'의 역할을 맡았다.
초안 작성 팀 외에도 EC는 EU 및 국가 수준에서 20개 조직의 핵심 그룹을 설정하는 데 도움을 주고 있다. EC는 또한 개혁에 대한 합의에 서명하기를 원하는 거의 300개 조직의 목록을 작성하였다. 이 과정은 이해 관계자와 정책 입안자가 개혁의 목적이 무엇인지, 연구자에게 설명할 방법과 저널 지표를 보완할 지표가 무엇인지 파악하는 데 도움을 주기 위한 것이다.
핵심 협상 그룹의 20명 중 한 명인 유럽 연구집중대학길드의 사무총장인 Jan Palmowski에 따르면 곧 합의가 완료될 수 있다. 사무총장은 인터뷰에서 "이 작업은 이번 여름에 완료되어 이르면 가을까지 준비될 예정”이라고 말하였다.
개혁 협정의 초안 작성 과정이 마무리됨에 따라 Grimm 부서장은 DFG가 백지 서명을 하기 전에 협상의 결과를 보기를 원하기 때문에 협정에 서명하지 않았다고 밝혔다. 핵심 그룹의 일원이기도 한 Grimm 부서장은 "정교화되어야 하는 문서에 서명자가 있었고 서명할 빈 페이지가 있었다”라고 말하였다. DFG를 포함한 10개 독일 연구 기관의 연합은 아직 협정 서명하기를 보류하기로 결정했다.
사무총장 Palmowski는 작성이 완료되면 더 많은 기관이 협약에 서명할 것이라고 확신하고 있으나, 그에 따르면 후에 EC와 이해 관계자는 합의된 개혁을 이행하는 과정에서 진행 상황을 모니터링하는 방법을 결정해야 할 것이다. 그는 EU가 다양한 지침과 법률을 적용한 고등 교육 및 연구 분야에서 수십 개의 국가 및 지역 관할권을 보유하고 있기 때문에 회원국이 잘 수행토록 하는 것이 어려울 것이라고 주장한다.
이제 주요 현안은 기관들이 방향 감각을 유지하면서 적응할 수 있도록 하는 제한적이지 않은 방식으로 합의 초안을 작성하는 것이라고 사무총장은 말하였다. 독일 관련 질문에 대해 사무총장은 길드의 회원 대학 대다수가 이미 연구원 및 그들의 작업에 대한 질적 평가와 독립적으로 측정항목이 사용되지 않도록 하기 위해 노력하고 있다고 말한다.
