AI 공급업체의 문서만으로 이 시스템이 우리 업무에 적합한지 판단할 수 있을까? 모델 카드와 데이터 카드를 함께 읽되, 확인 가능한 사실과 직접 시험해야 할 주장, 조달을 멈춰야 할 공백을 나눠 보자. 카드는 공개 문서이지 독립적인 안전 인증서가 아니다.
양식보다 먼저 구매 결정을 정의한다
승인된 보증 정책을 찾아 고객 문의에 대한 답변 초안을 만드는 도우미를 구매한다고 가정하자. 직원에게 문장을 제안할 수는 있지만, 보증 청구를 승인하거나 환불을 약속하거나 고객에게 답변을 직접 보내서는 안 된다. 구매자가 확인할 것은 제안받은 바로 그 버전이 현행 정책을 정확히 인용하고, 스캔 첨부파일과 실제 고객의 언어를 다루며, 정책이 없거나 서로 충돌할 때 답변을 보류하는지다. 일반적인 정확도 점수만으로는 답이 나오지 않는다.
Mitchell 등의 모델 카드 제안(2019)은 의도한 용도, 관련 조건별 평가 절차와 결과, 성능 차이 및 한계를 설명하도록 한다. Pushkarna 등의 Google Data Cards 연구(2022)는 데이터셋의 출처, 수집과 주석 작업, 용도 및 생애주기상의 결정을 문서화하는 별도의 틀이다. 이는 데이터셋의 동기·구성·수집·처리·사용·배포·유지 관리를 질문으로 정리한 Gebru 등의 Datasheets for Datasets와 같은 이름의 문서가 아니다. 어느 형식도 모든 질문에 답한다고 보장하지 않는다. 모델 카드의 시험 결과는 정해진 조건에서의 결과이고, 데이터 문서는 입력과 시험 자료의 범위를 이해하게 해준다. 둘만으로 우리 설정의 애플리케이션 동작이 입증되지는 않는다.
가상의 비공개 처리 카드 두 장 읽기
다음 ‘공급업체 A’, 제품·데이터셋 명칭, 발췌 내용, 누락 항목과 수치는 모두 설명을 위해 만든 가상 사례다. 실제 업체 문서에서 인용한 내용이나 어떤 제품의 성능 증거가 아니다. 출처 기관명을 가리는 것은 정당한 기밀 보호일 수 있지만, 평가 범위까지 설명하지 않아도 된다는 뜻은 아니다.
- 가상의 모델 카드 — ‘Assist-4, build 18’: 사람이 모든 답변을 승인하는 영어 초안 작성용이며 자동 보증 판정은 용도에서 제외한다. 영어 텍스트만 사용한 가상의 500건 평가에서 ‘92% 정답’이라고 적었지만, 사례 선정 방식, 채점 기준, 불확실성 범위, 스캔 문서·다른 언어별 결과, 실제 검색·프롬프트 설정은 없다. 오래된 정책을 인용할 수 있다는 한계만 명시한다. 구매자 해석: 초안 작성이라는 일부 용도는 맞지만, 가상의 92%로 중요한 실패의 빈도나 통제 효과를 판단할 수 없다.
- 가상의 데이터 카드 — ‘SupportSet-3’: 일정 기간 수집한 동의받은 고객지원 문의를 비식별화했다고 설명하고 출처 기관은 비밀유지계약에 따라 가린다. 답변 유형에 주석을 달았다고 하나, 정책 버전별·언어별 건수, 중복 제거 방법, 주석자 간 이견, 이용·접근 권한, 위의 가상 평가 500건과 학습 자료의 중복 여부는 빠져 있다. 구매자 해석: 기관명을 숨겨도 분포와 평가 분리 방법은 설명할 수 있어야 한다. ‘동의받음’도 동의 범위와 권리 근거를 검토하기 전에는 업체의 주장이다.
모델 빌드가 어떤 학습·미세조정·검색·평가 데이터 버전과 연결되는지 물어보자. 기본 모델의 카드가 검색, 도구, 정책 파일, 안전장치를 덧붙인 시스템 전체를 자동으로 설명하지는 않는다. 원자료 공개가 불가능하다면 통제된 열람, 서명된 방법서, 집계된 분포, 민감 정보를 제거한 표본, 가능한 범위의 재현 가능한 평가 로그를 요청할 수 있다. 모든 질문에 ‘영업비밀’만 답해서는 검토가 진행되지 않는다.
공백을 시험 항목 또는 사용 제한으로 바꾼다
출처와 권리: 자료 유형과 수집 기간, 라이선스·동의 등 사용 권한의 근거, 필터링과 삭제 경로, 주석 지침, 언어·문서 유형별 분포, 기록의 정정·이의제기 담당자를 확인한다. 오래된 보증 정책 답변이 대부분인지, 고객의 비밀 정보가 출력될 수 있는지도 따진다. 공개하지 않은 정보, 보유하지 않은 정보, 측정하지 않은 정보는 서로 구분해 적어야 한다.
평가: 사례 추출 규칙, 학습 자료와 분리된 평가 세트의 구성, 표본 수와 채점표, 사전 합의한 허용 기준, 실패 건수와 의미 있는 경우 불확실성을 요구한다. 현행·구 정책, 일반 텍스트·스캔본, 지원 언어별 결과와 상충하는 문서의 사례를 따로 본다. 구매자가 통제하는 사례에서 독립 검토자가 인용의 정확성, 근거 없는 환불 약속, 적절한 답변 보류를 채점한다. 프롬프트, 검색 색인, 모델 버전과 시험 사례도 보존한다. 가상의 500건 평균만 있고 각 집단의 분모가 없으면 작은 집단의 큰 실패를 감출 수 있다. 관련 조건과 평가 데이터 선택을 설명해야 한다는 점은 원래의 모델 카드 논문에서도 다룬다.
통제: 직원이 발송 전 인용된 정책 원문을 볼 수 있는가? 도우미의 직접 발송 기능은 기술적으로 막혀 있는가? 검색 실패, 첨부파일 판독 실패, 정책 충돌 때는 어떻게 보류하고 담당자에게 넘기는가? 그럴듯한 답변뿐 아니라 거절과 에스컬레이션을 시험한다. 공급업체 카드가 충실하더라도 이 애플리케이션 수준의 시험은 구매자의 책임이다.
제한적 파일럿, 보류, 도입 불가
- 제한적 파일럿 진행(Go): 공급된 빌드와 관련 데이터 버전이 확인되고, 용도와 권리 근거를 충분히 검토할 수 있으며, 언어·입력 형식별 증거가 있다. 구매자가 대표 사례와 실패 사례를 사전에 정한 기준으로 재현해 통과했고, 모든 대외 답변은 사람이 승인한다. 로그, 사고 대응 책임자, 이전 버전으로 되돌리는 절차와 변경 통지가 준비돼 있다. 이는 범위를 제한한 시험 허가이지 전면 운영 승인이나 자동 발송 허가가 아니다.
- 보류(Hold): 관련 카드가 있어도 스캔·언어별 결과, 채점 정의, 학습·평가 자료 분리, 실제 검색 구성에 카드가 적용되는지 확인할 수 없다. 담당자와 기한을 정해 자료를 요청하거나 고객에게 자동 발송하지 않는 격리 시험을 한다. ‘시험하지 않음’을 ‘통과’로 읽지 않는다.
- 이 용도로는 도입 불가(No-go): 필요한 데이터의 사용 권리를 입증하지 못하거나, 중대한 위험의 실질적 검토를 거부하거나, 자동 환불 약속을 막지 못하거나, 통제 시험에서 용납할 수 없는 무근거 약속이 나왔는데 적절한 상향 처리 방법도 없다. 높은 종합 점수로 중대한 실패를 상쇄할 수 없다. 내부 참고용으로 업무를 좁히는 일은 별개의 결정이지 묵시적인 예외 승인이 아니다.
NIST AI 위험관리 프레임워크의 핵심 구조는 거버넌스·맥락 파악·측정·관리(Govern, Map, Measure, Manage)로 위험을 다룬다. Map은 초기 진행 여부를 판단할 맥락을 잡고, 제3자 위험과 Manage 영역은 이후 감시·대응을 다룬다. 자발적 위험관리 틀이지 구매 인증서가 아니며, 카드를 작성했다고 승인해야 한다는 규칙도 아니다.
구매한 버전에 증거를 묶어 둔다
모델 카드, 데이터 카드, 시험 보고서와 예외 결정을 하나의 버전 관리 증거 묶음으로 보관한다. 모델 빌드, 데이터셋·정책 검색 색인 버전, 설정, 허용 용도, 시험일, 검토자, 미해결 공백과 승인자를 기록한다. 모델·데이터·검색 구성의 중대한 변경을 통지받고 재시험하는 조건을 정하며, 사고 조사에 대비해 이전 자료를 남긴다. 새 날짜가 찍힌 카드만으로 위험이 그대로임을 증명할 수는 없다.
마지막 질문은 세 가지다. 어느 주장으로 이 용도를 허용할 수 있는가? 무엇을 직접 시험해야 하는가? 어떤 답변이 없으면 진행을 멈춰야 하는가? 이를 문서로 답할 수 없다면 카드만으로 구매 결정을 내리기는 이르다.
관련 글
신뢰할 만한 AI 에이전트에도 명확한 제한과 감사 기록이 필요한 이유
