팀이 시스템과 위험 담당자, 시험, 기준값, 통제가 실제로 실행됐다는 증거를 가리킬 수 있을 때 AI 거버넌스는 쓸모를 갖는다.
Govern: 책임 체계를 세워라
모델, 벤더, 데이터 출처, 연동, 배포 담당자의 인벤토리를 만든다. 결과의 무게와 가역성에 따라 용도를 분류한다. 누가 새 용도를 승인하고, 사고를 감시하며, 시스템을 중단할 수 있는지 정한다.
NIST의 Generative AI Profile은 AI Risk Management Framework를 보완하는 자발적 지침이다. 단일 인증 배지를 제공하는 대신 생애주기 전반의 작업을 체계화한다. 조직의 맥락에 맞게 조정한 구조적인 질문과 행동 목록으로 활용한다.
Map: 실제 배포 모습을 기술하라
사용자, 영향을 받는 사람, 의도한 작업, 예상 가능한 오용, 데이터 흐름, 의존성을 문서화한다. 같은 범용 모델도 아이디어를 내는 샌드박스에서는 위험이 낮고, 복지 수급 결정이나 외부 커뮤니케이션에 연결되면 위험이 높을 수 있다.
가정과 제외 사항을 기록한다. 시스템 동작은 기반 모델만으로 결정되지 않으므로 외부 도구, 검색 코퍼스, 사람의 검토도 포함한다.
Measure: 정의한 위험을 시험하라
파악한 피해와 연결된 시험을 고른다. 문서 답변에는 근거성, 배분 시스템에는 인구집단별 결과, 도구 연결 에이전트에는 프롬프트 인젝션 저항성, 민감한 데이터에는 프라이버시 시험을 적용한다. 결과를 보기 전에 허용 기준을 정한다.
정량 시험과 구조화된 전문가 검토를 결합한다. 평균 성능은 작은 집단이나 드문 워크플로에서의 심각한 실패를 감출 수 있다. 측정을 재현할 수 있도록 모델과 프롬프트, 데이터 버전을 보존한다.
Manage: 통제를 선택하고 감시하라
통제에는 범위 제한, 강화된 데이터 처리, 출력 필터, 사용자 고지, 사람의 확인, 대체 절차, 사고 대응이 포함될 수 있다. 기한과 잔여 위험 수용을 명시된 역할에 배정한다.
사용자와 데이터, 공격은 변하므로 배포 뒤에도 감시한다. 사고와 아차 사고를 맵과 평가 세트에 반영한다. 벤더 업데이트가 있으면 변경 규모에 비례해 검토한다.
증거는 가볍되 실재하게 유지하라
각 시스템에 목적, 담당자, 시험, 결과, 승인, 사고를 연결하는 짧은 위험 기록을 둔다. 운영 로그나 릴리스 게이트에 연결할 수 없는 정책 문서는 피한다.
목표는 서류의 양이 아니다. 우려에서 통제로, 통제에서 증거로 이어지는 반복 가능한 경로를 만드는 것이다.
실전에 적용하는 방법
먼저 NIST AI RMF를 이용해 원칙을 통제로 전환할, 범위가 명확한 워크플로 하나를 고른다. 시스템을 바꾸기 전에 현재 완료 시간, 품질 검사, 흔한 실패 범주, 에스컬레이션 경로, 결과 담당자를 한 페이지에 정리한다. 가장 깔끔한 사례만 고르지 말고 대표 표본을 선택한다. 일반 사례와 어려운 경계 사례, 그리고 멈추거나 추가 정보를 요청하는 것이 정답인 사례를 최소 하나 포함한다.
후보 시스템이 기존 절차를 대체하도록 허용하기 전에 두 시스템을 나란히 운영한다. 오류율이 낮아져도 영향이 큰 새로운 실패를 감출 수 있으므로 성공한 출력과 실패한 출력을 모두 검토한다. 각 시험에 사용한 정확한 구성을 기록하고, 다른 검토자가 결과를 재현할 수 있는 산출물을 보관한다. 파일럿이 끝나면 가장 인상적인 시연을 보고 뒤늦게 판단하지 말고, 미리 합의한 기준에 따라 확대·수정·중단을 결정한다.
벤더나 내부 팀에 물어볼 질문
핵심 주장을 뒷받침하는 증거가 무엇인지, 그 증거를 만든 시스템과 데이터의 버전은 무엇인지, 어떤 조건이 제외됐는지 묻는다. 실제 배포에서 맞닥뜨릴 언어, 입력 유형, 위험 범주별 결과를 요청한다. 변경 사항을 어떻게 알리고 회귀를 어떻게 탐지하는지, 고객이 사고 검토에 필요한 로그를 내보낼 수 있는지도 확인한다.
확신도가 낮거나 의존성이 실패하거나 요청이 지원 범위를 벗어날 때 시스템이 어떻게 작동하는지도 묻는다. 신뢰할 수 있는 제품에는 더 매끄러운 답변만이 아니라 정의된 실패 상태가 있어야 한다. 책임 주체도 중요하다. 누가 워크플로를 멈출 수 있는지, 누가 예외를 승인하는지, 중대한 오류가 운영 환경으로 빠져나갔을 때 누가 영향받은 사용자에게 알리는지 정한다.
실전 체크리스트
- 모델이나 도구를 선택하기 전에 사용자 작업과 중요하게 봐야 할 실패를 정의한다.
- 실제 업무에서 뽑은 작고 버전 관리되는 시험 세트를 유지하고, 까다로운 사례와 적대적 사례도 포함한다.
- 모든 실행에서 모델, 프롬프트, 도구, 검색 설정, 데이터 버전, 지연 시간, 비용을 기록한다.
- 되돌릴 수 없거나 영향이 크거나 외부에 공개되는 작업에는 사람의 확인을 요구한다.
- 평균 점수 하나가 아니라 범주별로 실패를 검토하고, 회귀 사례를 시험 세트에 추가한다.
