본문
AI 시스템, 사용자 압박에 쉽게 굴복해 잘못된 기후정보 제공
ㅇ UNESCO·UCL 연구, AI 모델이 사용자의 반복적 압박에 취약해 잘못된 기후정보를 제공할 수 있음을 확인
- 영국 유니버시티칼리지런던(UCL) 연구진이 주도하고 유네스코가 발간한 연구는 주요 대규모 언어모델(LLM) 33개의 기후변화 정보 신뢰성을 분석했으며, 이 중 5개 모델은 13개 언어로 평가함
- 분석 결과, AI 모델은 기본적인 기후변화 사실을 비교적 정확하게 설명했으나, 디지털 자료가 부족한 언어에서는 신뢰성이 저하되는 것으로 나타남
- 또한 과학적 근거에 대한 판단이나 사용자의 답변 변경 압박에도 정확도가 낮아지는 경향이 확인됨
- 최상위 모델의 기본 기후변화 사실 정확도는 88~96%였으나, 과학적 근거의 타당성 판단에서는 71~77%에 그침
ㅇ 사용자가 기후변화 관련 사실·연구 결과에 반대 의사를 표명할 경우 AI 답변 정확도 급락
- 평가 대상 AI 모델 15개 모두에서 사용자가 정확한 답변에 반복적으로 이의를 제기하자 기후정보의 정확도가 31~35%포인트 하락함
- 특히 잘못된 반론을 수용해 답변을 수정한 사례의 약 80%는 사용자의 첫 번째 이의 제기에서 발생함
- 모든 모델이 반복적인 압박에 따라 정확한 답변을 유지하지 못하고 사용자의 잘못된 편향을 수용하는 경향을 보임
ㅇ 사용자의 의견에 동조하려는 AI의 ‘아첨 성향(AI sycophancy)’ 현상
- 연구 주저자는 AI가 기후변화 관련 기본 정보의 접근성을 높일 수 있지만, 복잡한 과학적 추론과 정보의 신뢰성 측면에서 명확한 한계가 있다고 지적함
- 특히 AI는 사용자의 반론에 따라 정확한 답변을 변경할 수 있어 과학자나 전문가를 대체하기 어렵다고 강조함
- 이에 따라 AI를 기후변화 대응에 효과적으로 활용하려면 답변을 검증할 수 있는 전문인력과 목적에 맞게 개발·검증된 AI 시스템이 필요하다고 설명함
ㅇ 연구진, AI 모델이 제공하는 기후정보의 신뢰성 관련 추가 문제점 발견
- 다국어 평가 대상 AI 모델 5개는 영어·스페인어·프랑스어·포르투갈어에서 88% 이상의 정확도를 보였으나, 디지털 자료가 부족한 언어에서는 정확도가 크게 하락함
- 벵골어·힌디어는 83.6%, 우르두어는 81.4%, 스와힐리어는 78.3%의 정확도를 기록했으며, 동일한 질문에도 언어에 따라 상충되는 답변이 나타남
- 연구진은 기후변화 취약지역의 언어에서 AI 정보의 신뢰성이 낮으며, 디지털 자료가 부족할수록 격차가 커질 수 있다고 지적함
ㅇ AI 모델, 기후정책 효과 평가에서도 상당한 한계 노출
- AI 모델들은 단일 기후정책이 2100년까지 지구 기온에 미치는 영향을 평가하는 과제에서 최대 94.5%의 정확도를 보임
- 그러나 석탄세와 천연가스세 등 두 정책을 결합했을 때의 효과를 평가하는 과제에서는 평균 정확도가 33.8%로 급락함
- 이는 무작위 추측 수준인 33.3%와 거의 차이가 없어, 복합적인 기후정책 효과를 분석하는 AI의 추론 능력에 한계가 있음을 보여줌
ㅇ AI 모델의 답변과 En-ROADS 기후 시뮬레이터 예측 결과 비교·검증
- 이번 연구에는 기후정책 효과 분석 시뮬레이터인 En-ROADS가 활용됨
- 연구진은 AI가 기후변화에 관한 과학적 사실을 설명하는 데는 우수하지만, 이를 바탕으로 신뢰할 수 있는 정책 분석을 제공하는 능력에는 한계가 있다고 지적함
- 특히 사용자의 반론에 따라 답변을 부정확하게 수정하거나 불충분한 근거를 바탕으로 추론하는 경향이 있어, AI를 기후정책 의사결정에 활용할 때 신중한 검증이 필요하다고 강조함
Source: UCL
- 이전글버티컬 컴퓨트, imec과 협력 확대, 수직집적 메모리(VIM)의 상용 생산 가속화 26.11.19

