인간-AI 협업의 성공에서 인간의 학습 효과가 과소평가되고 있다는 연구 결과

ㅇ 독일 연구진, 기존 연구에서 인간

-AI 협업 효과가 과소평가됐을 가능성 제기- 인간과 AI의 협업은 생산성 향상에 기여할 것으로 기대되지만, 기존 연구에서는 협업팀의 성과가 인간과 AI 중 더 우수한 쪽의 단독 성과보다 낮은 것으로 나타남

- 그러나 독일 막스플랑크 인간발달연구소가 주도한 새로운 재분석 연구는 기존 평가가 인간-AI 협업의 효과를 과소평가했을 가능성을 제시함

ㅇ 인간-AI 협업의 잠재력은 과소평가되고 있다고 밝혀

- 독일 막스플랑크 인간발달연구소가 주도한 국제 공동연구팀은 미국 국립과학원회보(PNAS)에 발표한 연구에서 2024년 인간-AI 협업에 관한 종합 분석 결과를 재검토함

- 기존 연구 74건을 분석한 결과, 인간-AI 협업 성과는 인간과 AI 중 더 우수한 쪽의 단독 성과보다 평균적으로 낮아 협업의 시너지 효과가 부정적인 것으로 평가됨

ㅇ 과소평가된 인간의 학습 효과

- 연구진은 기존 연구 74건 중 피드백을 제공한 사례가 10건에 불과해 인간-AI 협업의 학습 효과가 충분히 검토되지 않았다고 지적함

- 메타회귀분석 결과, 참가자가 AI의 설명과 의사결정에 대한 피드백을 모두 제공받은 경우 인간과 AI 중 더 우수한 쪽의 단독 성과를 넘어서는 협업 효과가 나타나는 경향이 확인됨

- 반면 AI의 설명만 제공하고 피드백이 없는 경우에는 협업 성과가 오히려 낮아졌으며, 피드백만 제공한 경우에는 뚜렷한 차이가 나타나지 않음

- 연구진은 피드백을 통해 AI의 신뢰성을 판단하는 방법을 학습할 때 AI의 설명이 협업 성과 향상에 기여할 수 있다고 분석함

ㅇ 남은 과제: 인과관계와 생성형 AI

- 기존 연구 74건 중 피드백 제공 여부를 실험적으로 비교한 연구가 없어, 이번 재분석만으로는 학습 기회와 협업 성과 간 인과관계를 확정하기 어려움

- 연구진은 이를 검증하기 위한 추가 실험과 생성형 AI 및 대규모 언어모델(LLM)에 대한 적용 가능성 연구가 필요하다고 강조함

- 또한 챗봇의 답변은 오류가 있을 수 있어 독립적인 피드백으로 활용하기 어렵고, AI에 지나치게 의존하는 ‘인지적 외주화’가 장기적으로 학습 능력과 기존 역량을 저하시킬 위험이 있다고 지적함 AI 도입 과정에서 인간의 학습 고려 필요

- 연구진은 인간-AI 협업의 효과를 높이기 위해서는 단순한 성과 비교를 넘어 인간의 학습 과정을 고려하는 방향으로 연구 접근법을 전환해야 한다고 강조함

- 특히 AI의 설명과 결과에 대한 피드백을 함께 제공하는 것이 협업 성과 향상에 유망한 방법이지만, 이를 검증하기 위한 실험 연구는 아직 부족하다고 지적함

- 또한 AI 시스템을 설계할 때부터 인간의 학습과 역량 향상을 중심에 두어야 인간-AI 협업의 잠재력을 충분히 실현할 수 있다고 제언함

Source: MPG