AI 에이전트의 ‘고집’, 집단 의사결정을 조작할 수 있다

ㅇ 독일 CISPA 연구진, 다중 AI 에이전트 네트워크에서 단일 에이전트의 반복적 주장이 전체 판단에 미치는 영향 분석

- CISPA 연구진은 여러 AI 에이전트가 협력하는 네트워크에서 하나의 에이전트가 집단의 판단을 특정 방향으로 유도할 수 있는 새로운 보안 위험을 분석함

- 영향력은 에이전트의 지속적 개입뿐 아니라 네트워크 연결 구조와 다른 에이전트의 판단 변화 성향에 따라 달라짐

- 연구진은 이러한 조건에서 단일 에이전트의 영향이 네트워크 전체로 확산되는 과정을 분석함

ㅇ 여러 AI가 협력할수록 새로운 보안 위험 발생

- 다중 에이전트 시스템은 복잡한 작업을 여러 전문 AI 에이전트가 분담하고 정보를 교환하는 방식으로 다양한 분야에서 활용이 확대됨

- 이 과정에서 다른 에이전트의 정보를 바탕으로 판단을 수정하는 협업 구조가 새로운 공격 경로로 악용될 수 있음

- 특히 개방형 네트워크에서는 특정 에이전트가 정상적인 통신 채널을 통해 주장을 반복하며 다른 에이전트의 판단을 바꾸고, 네트워크 전체의 의사결정을 특정 방향으로 유도할 가능성이 제기됨

ㅇ AI의 의견 형성 과정을 수학적으로 분석

- 기존 연구가 공격 전후의 판단 변화에 초점을 맞춘 반면, 이번 연구는 공격 과정에서 개별 AI 에이전트의 판단 변화에 주목함

- 연구진은 프리드킨-존슨 모델을 적용해 에이전트의 초기 판단 유지 성향과 상호 영향 관계를 수학적으로 규명함

- 실험 결과 이 모델이 LLM 에이전트 간 상호작용을 상당히 정확하게 설명하는 것으로 나타남

- 이를 통해 단순한 공격 성공 여부를 넘어 단일 에이전트가 전체 네트워크의 판단에 영향을 미치는 조건을 수학적으로 분석할 수 있게 됨

ㅇ ‘고집 센’ AI가 집단 판단 좌우할 가능성

- 연구진은 AI 에이전트가 최초 판단을 유지하려는 성향을 ‘고집성’으로 정의하고, 이를 공격 영향력을 좌우하는 주요 요소로 제시함

- 특정 조건에서는 고집성이 높은 악의적 에이전트가 주장을 지속하며 네트워크 전체의 판단을 원하는 방향으로 유도하는 것으로 나타남

- 고집성은 언어 모델·작업·프롬프트에 따라 달라지며, 공격 성공에는 네트워크 내 영향력도 중요한 요인으로 작용함

ㅇ 네트워크 구조 자체가 보안 요소

- 공격 에이전트의 영향력은 AI 에이전트가 서로 연결되는 네트워크 구조와 공격자의 위치에 따라 크게 달라짐

- 별형 네트워크는 공격자의 위치가, 완전 연결 네트워크는 다른 에이전트가 부여하는 가중치가 영향력을 좌우함

- 이에 연구진은 다중 AI 에이전트 시스템의 연결 구조와 에이전트별 영향력을 보안 설계 단계부터 고려해야 한다고 강조함

ㅇ AI 에이전트 간 ‘동적 신뢰 체계’로 공격 완화

- 연구진은 에이전트별 신뢰도를 지속적으로 조정하는 ‘동적 신뢰 메커니즘’을 적용해 네트워크 조작을 방어하는 방안을 시험함

- 반복적으로 잘못된 답을 제시하는 에이전트의 영향력 가중치를 낮추는 방식으로, 실험에서 악의적 에이전트의 영향력을 줄이는 효과가 확인됨

- 다만, 실제 다중 에이전트 환경에서도 동일한 효과를 보이는지 추가 검증이 필요한 것으로 지적됨

- 연구진은 다중 AI 에이전트 시스템의 안전성을 위해 개별 AI 보안과 함께 에이전트 간 신뢰도·네트워크 구조를 고려해야 한다고 강조함

Source: CISPA