연구 제안서를 작성하고 평가하는 것은 매우 시간이 많이 걸리고 직·간접적으로 상당한 비용이 발생할 수 있음
- 예를 들어, 2021년 연구에 따르면 한 사람이 유럽연구위원회(ERC)에 대한 제안서를 작성하는 데 3~6개월이 걸리는 것으로 추산됨
- 이는 10%의 선정률을 고려할 때 자금 지원을 받은 각 제안서마다 2.5~5년의 작업 기간이 있다는 것을 의미하며, 여기에 제출되지 않은 제안서와 신청을 홍보하고 지원하기 위한 기관 및 국가적 투자는 제외됨
- 일부 과학자들은 기금을 찾는 데 최대 60%의 시간이 걸린다고 추정, 기금 제공자의 경우 제안서 평가 비용(행정 및 평가 관리자, 검토자 및 편집자 등)은 할당된 예산의 약 20~35%로 추산
이에 따라 자금 지원 기관은 이러한 노력 비용을 줄일 방법을 실험하고 있으며, 그중에는 기존의 단일 평가를 2단계 절차로 대체하는 것이 포함됨
- 2단계 평가 절차에서 신청자는 초기 검토를 위한 짧은 제안서를 제출한 후, 이 첫 번째 단계를 통과한 경우에만 전체 신청서를 제출하게 됨
- 대부분의 연구 공고에서 나쁜 제안서와 좋은 제안서를 구별하는 것은 비교적 간단하지만, 좋은 제안서와 훌륭한 제안서를 구분하는 것은 훨씬 어려움
- 2단계 절차에서는 ‘가능성 있는’ 제안서와 ‘확실히 아닌’ 제안서를 분류하는 절차를 가속화함으로써, ‘좋은’ 제안서와 ‘훌륭한’ 제안서를 구분하는 데 집중할 수 있음
노르웨이 최대의 건강 연구 기금인 댐(Dam) 재단은 2020년에 2단계 평가 절차를 도입
- 이전에는 모든 공고에 10페이지 분량의 단일 제안서가 필요했으나, 이는 초기 2페이지 분량의 제안서로 대체되었으며, 이 단계를 통과한 신청자만이 10페이지 분량 후속 제안서를 작성하게 됨
2단계 절차 도입의 효과를 측정하기 위해 연구팀은 단일 절차의 긴 제안서 593개와 2단계 절차의 짧은 제안서 668개, 긴 제안서 184개의 평가를 비교하고, 신청자와 검토자를 대상으로 설문조사를 진행
- 단일 절차의 신청자들은 긴 제안서를 작성하는 데 평균 37일(1인 기준)이 소요된다고 추정
- 2단계 절차의 신청자들은 짧은 제안서를 작성하는 데 평균 16.75일이 소요되었고, 긴 제안서의 경우 36일이 소요되었음
- 제안서의 거의 4분의 3이 1단계 절차에서 거부되었기 때문에 2단계 절차는 평균적으로 신청자의 시간을 38% 절약한 것으로 나타남
- 검토자들의 추정에 따르면 2단계 절차는 제안서를 평가하는 데 소요되는 시간도 평균 28% 감소
- 신청자들은 새로운 절차를 환영했으며, 2~4%만이 불만족을 표하였음
2단계 평가는 더욱 일관적인 결과를 보이는 경향이 있음
- 평균적으로 검토자는 짧은 제안서를 평가하는 데 있어 의견이 일치하는 경향이 있는데, 이는 짧은 제안서 평가 시에 평가자가 극단적인 점수를 피하기 때문으로 보이며, 한편으로는 긴 제안서 검토시 인지적 피로와 더 불규칙한 판단으로 이어질 수 있기 때문으로 보임
- 또, 한 가지 요인으로는 평가 기준의 수를 9개에서 4개로 줄인 것 때문으로 생각되는데, 이는 평가 기준이 많으면 정확도도 떨어진다는 의견
전반적으로 이러한 연구 결과는 2단계 절차가 연구 제안서 평가를 더욱 효율적으로 만들고 연구 커뮤니티의 부담을 덜어줄 수 있다는 주장을 뒷받침
SOURCE : Research Professional News
