생성형 AI의 편의성이 증가하는 만큼 위험도 커져
- 생성형 AI가 다방면으로 활용되면서 편의성은 높아졌지만, 입력 문구나 언어, 맥락이 조금만 달라져도 전혀 다른 결과를 내놓을 수 있다는 위험도 커지고 있음
- 이에 유럽혁신위원회(EIC) 지원을 받은 QuantPi 프로젝트는 생성형 AI 위험관리 플랫폼을 개발함
- 핵심 기술인 PiCrystal은 자동으로 테스트 시나리오를 생성해 AI 모델의 행동을 점검하고, 결과를 문서화해 EU AI Act 등 규제에 대응할 수 있는 감사용 증빙자료로 변환
AI 위험 테스트, 불안정성과 편향 드러내
- QuantPi에 따르면 생성형 AI의 가장 흔한 문제는 화려한 오류보다 입력 방식에 따른 일관성 부족
- 이러한 문제는 실제 환경에서 더욱 두드러지며, 질문 방식에 따라 결과가 달라지거나 특정 집단에서 공정성 문제가 발생할 수 있음
- QuantPi는 TÜV AI.Lab과 함께 대규모 언어모델(LLM) 기반 추천 시스템 분석을 통해 성별·연령 등 다양한 집단까지 검증할 수 있는 충분한 규모의 데이터셋이 필요하다는 점을 확인
기술·법률·경영진이 함께 활용하는 증거 체계
- QuantPi의 특징은 하나의 테스트 결과를 다양한 이해관계자가 각자의 관점에서 활용할 수 있도록 설계했다는 점
지속적인 모니터링 필수
- 자동화된 테스트가 인간의 판단을 대체하는 것은 아니며, 주요 설정과 최종 의사결정은 여전히 사람이 담당
- 또한 AI 모델 업데이트, 프롬프트 변경, 데이터베이스 수정, 외부 데이터 변화 등이 발생하면 기존 검증 결과가 무효화될 수 있어 지속적인 재평가가 필요
- 많은 기업이 규제를 인지하고 있음에도 불구하고 가장 어려워하는 부분으로 감사기관이 인정할 수 있는 수준의 기술적 증거 확보를 꼽음
- 이에 프로젝트 관계자는 기술 테스트 결과를 실제 규제 대응에 활용할 수 있는 증거로 전환하는 데 초점을 맞추고 있다고 밝힘
QuantPi 프로젝트
- 기간: 2024.02~2026.01
- 예산: 356만 9250 유로 (EU 249만 8475 유로 지원)
- 기관: QUANTPI GMBH (독일)
