1. 들어가며
지난 3화에서 우리는 해외 AI 서비스를 이용하는 경우에도 AI기본법이 적용된다는 것, 그리고 투명성 확보 의무가 최종 서비스 제공자에게 귀속된다는 것을 확인했습니다.
하지만 만약 여러분의 AI 서비스가 ‘고영향 AI’에 해당한다면, 투명성 확보 의무는 시작에 불과합니다. 법 제34조는 고영향 AI 사업자에게 6가지 책무를 부과하고 있으며, 이를 이행하지 않으면 과태료 등 제재를 받을 수 있습니다. 다만, 1년간 유예기간이 설정되어 있습니다.
이번 4화에서는 테크플러스가 새롭게 도입하려는 ‘AI 채용 추천 서비스’를 사례로, 고영향 AI 사업자의 6대 책무를 하나씩 풀어보겠습니다.
2. 상황: 테크플러스의 새로운 도전
이서준 대표: “지난번 문서요약 서비스 잘 정리해줘서 고마워요. 그런데 이번에 새로운 사업을 검토 중이에요.”
박지현 AI팀장: “네, HR Tech 쪽이요. 기업 고객들이 채용 과정에서 AI를 활용해 지원자 적합도를 평가하는 서비스입니다.”
김민수 법무팀장: “잠깐요. 채용에 AI를 사용한다고요? 그거… 고영향 AI 아닌가요?”
박지현 AI팀장: “맞아요. 2화에서 확인했듯이, 채용·고용에 활용되는 AI는 고영향 AI에 해당합니다. 법 제2조제4호 사목이요.”
이서준 대표: “그러면 의무가 더 많아지는 거죠?”
김민수 법무팀장: “네. 훨씬 많아집니다. 법 제34조에서 6가지 책무를 규정하고 있어요. 하나씩 살펴볼게요.”
| 📋 법 제34조 – 고영향 인공지능과 관련한 사업자의 책무 인공지능사업자는 고영향 인공지능 또는 이를 이용한 제품·서비스를 제공하는 경우 다음 각 호의 조치를 이행하여야 한다: 1. 위험관리방안의 수립·운영 2. 설명 방안의 수립·시행 3. 이용자 보호 방안의 수립·운영 4. 고영향 인공지능에 대한 사람의 관리·감독 5. 안전성·신뢰성 확보 조치의 문서 작성과 보관 6. 위원회에서 심의·의결된 사항 |
가. 제1호: 위험관리방안의 수립·운영
김민수 법무팀장: “첫 번째 의무는 위험관리방안 수립입니다. AI 수명주기 전반에 걸쳐 위험을 식별하고, 평가하고, 완화하는 체계를 갖춰야 해요.”
박지현 AI팀장: “수명주기라면… 개발, 배포, 운영, 폐기까지 전 과정을 말하는 거죠?”
김민수 법무팀장: “맞아요. 안전성 확보 가이드라인에서 구체적인 방법을 제시하고 있어요.”
위험 식별 → 평가 → 완화의 3단계
안전성 확보 가이드라인 제4조~제6조는 위험관리의 3단계를 규정합니다.
| 단계 | 내용 | 채용 AI 적용 예시 |
| 1. 위험 식별 | 합리적으로 예상 가능한 위험을 사전에 파악 | 학습데이터 편향으로 인한 성별·연령 차별 가능성 |
| 2. 위험 평가 | 중대성, 실현가능성, 심각성 등을 기준으로 평가 | 차별 발생 시 직업선택의 자유 침해 – 위험도 ‘높음’ |
| 3. 위험 완화 | 위험 평가 결과를 바탕으로 완화 조치 수립·시행 | 데이터 균형화, 편향 테스트, 인간 검토 절차 도입 |
박지현 AI팀장: “위험 식별이라… 채용 AI에서 어떤 위험이 있을 수 있을까요?”
김민수 법무팀장: “크게 세 가지를 봐야 해요. 첫째, 기술적 특성에서 오는 위험. 학습데이터가 과거 합격자 데이터라면 기존의 편향이 그대로 학습될 수 있어요.”
김민수 법무팀장: “둘째, 오남용 가능성. 기업 고객이 우리 서비스를 ‘자동 불합격 처리’에 사용하면 문제가 커져요. 셋째, 악용 가능성. 특정 집단을 의도적으로 배제하는 데 사용될 수 있죠.”
| ⚠️ 실무 포인트: 위험관리조직의 독립성 가이드라인 제5조제3항은 ‘위험평가조직이 독립적으로 운영될 수 있도록 노력하여야 한다’고 규정합니다. 개발팀이 자기 서비스의 위험을 평가하면 객관성을 확보하기 어렵습니다. 별도의 위험평가 조직을 구성하거나, 외부 전문가를 참여시키는 것이 바람직합니다. |
나. 제2호: 설명 방안의 수립·시행
이서준 대표: “설명 방안이라면… 왜 이런 결과가 나왔는지 설명해야 한다는 건가요?”
김민수 법무팀장: “네. 법 제34조제1항제2호가 규정하는 내용이에요. 조문을 보시면…”
| 📋 법 제34조제1항제2호 – 설명 방안 기술적으로 가능한 범위에서의 인공지능이 도출한 최종결과, 인공지능의 최종결과 도출에 활용된 주요 기준, 인공지능의 개발·활용에 사용된 학습용데이터의 개요 등에 대한 설명 방안의 수립·시행 |
박지현 AI팀장: “세 가지를 설명해야 하는 거네요. 최종결과, 주요 기준, 학습데이터 개요.”
김민수 법무팀장: “맞아요. 다만 ‘기술적으로 가능한 범위에서’라는 단서가 붙어 있어요. 딥러닝 모델의 내부 작동을 완전히 설명하는 건 현재 기술로 불가능하니까요.”
이서준 대표: “그러면 어디까지 설명해야 하는 거예요?”
설명가능성(XAI)의 현실적 한계
영향평가 가이드라인은 이 점을 인정합니다. ‘설명가능성의 한계로 평가 대상자가 납득할 만한 근거 제시가 어려운 상황이 발생할 수 있다’고 명시하고 있어요.
하지만 한계가 있다고 해서 아무것도 안 해도 된다는 뜻은 아닙니다. 가능한 범위 내에서 최선을 다해야 합니다.
| 설명 항목 | 채용 AI 적용 예시 |
| 최종결과 | “지원자 A의 직무 적합도 점수: 78점 (상위 15%)” |
| 주요 기준 | “평가 요소: 직무 관련 경력(40%), 기술 역량(35%), 조직 적합성(25%)” |
| 학습데이터 개요 | “최근 3년간 국내 IT기업 채용 데이터 10만 건 기반 학습” |
박지현 AI팀장: “XAI 기법을 적용하면 ‘이 지원자의 점수에 가장 큰 영향을 준 요소는 A입니다’ 정도는 설명할 수 있어요.”
김민수 법무팀장: “그 정도면 현재 기술 수준에서 합리적인 설명이 될 겁니다. 중요한 건 문서화해서 남겨두는 거예요.”
다. 제3호: 이용자 보호 방안의 수립·운영
김민수 법무팀장: “세 번째는 이용자 보호 방안입니다. 여기서 ‘이용자’가 누구인지가 중요해요.”
박지현 AI팀장: “우리 서비스의 경우, 직접적인 이용자는 기업 HR 담당자잖아요. 지원자는 ‘영향받는 자’고요.”
김민수 법무팀장: “맞아요. 하지만 이용자 보호 방안은 영향받는 자까지 고려해야 합니다. 영향평가 가이드라인을 보면…”
| 📋 영향평가 가이드라인 – 이용자 선택권 항목 이용자가 해당 제품·서비스 이용 과정에서 가지는 선택권이나 통제권의 범위를 설명해야 합니다: • AI 기능 미사용 선택 가능 여부 • AI가 도출한 결과 거부 가능 여부 • 이의제기, 수정요청 가능 여부 • 결과 철회 가능 여부 |
이서준 대표: “지원자가 이의를 제기할 수 있어야 한다는 건가요?”
김민수 법무팀장: “네. 가이드라인의 채용 AI 예시를 보면, ‘후보자가 평가 결과에 대해 설명 요청·정정 요구를 할 수 있는 절차를 제공 가능’이라고 되어 있어요.”
이용자 보호 방안 체크리스트
- AI 평가 결과에 대한 이의제기 절차 마련
- 평가 결과 설명 요청권 보장
- 잘못된 정보 정정 요구 절차 안내
- AI 평가 거부 시 대체 평가 절차 제공 여부
- 피해 발생 시 구제 절차 및 담당자 연락처 안내
박지현 AI팀장: “기업 고객에게도 안내해야 하고, 지원자에게도 안내해야 하는 거네요.”
김민수 법무팀장: “그렇죠. 기업 고객에게는 서비스 이용약관에, 지원자에게는 채용 공고나 지원 동의서에 관련 내용을 넣어야 해요.”
라. 제4호: 고영향 AI에 대한 사람의 관리·감독
이서준 대표: “Human-in-the-loop이죠? AI가 자동으로 결정하지 않고, 사람이 최종 판단한다는 거.”
김민수 법무팀장: “맞습니다. 시행령 제27조제1항제4호를 보면, 관리·감독하는 사람의 성명과 연락처까지 게시해야 해요.”
| 📋 시행령 제27조제1항제4호 법 제34조제1항제4호에 따른 해당 고영향 인공지능을 관리·감독하는 사람의 성명 및 연락처 |
박지현 AI팀장: “담당자를 지정하고, 그 사람 이름과 연락처를 홈페이지에 공개해야 한다는 거죠?”
김민수 법무팀장: “네. 단순히 지정만 하는 게 아니라 공개해야 해요. 문제가 생기면 연락할 수 있도록요.”
이서준 대표: “그럼 채용 AI의 경우 어떻게 운영해야 하나요?”
Human-in-the-loop 운영 방안
| 구분 | 실무 적용 방안 |
| 관리·감독 담당자 | AI 서비스 총괄 매니저 지정 (성명·연락처 홈페이지 게시) |
| 인간 개입 지점 | AI 추천 결과를 HR 담당자가 검토 후 최종 결정 |
| 거부권 행사 | HR 담당자가 AI 추천을 무시하고 다른 결정 가능 |
| 이상 탐지 | 편향 지표 모니터링, 임계치 초과 시 담당자에게 알림 |
박지현 AI팀장: “중요한 건 AI가 ‘최종 결정’을 하면 안 된다는 거죠?”
김민수 법무팀장: “그렇습니다. AI는 ‘추천’이나 ‘참고자료’를 제공하고, 최종 결정은 반드시 사람이 해야 해요. 특히 채용처럼 기본권에 중대한 영향을 미치는 영역에서는요.”
마. 제5호: 문서의 작성과 보관
김민수 법무팀장: “다섯 번째 의무가 실무적으로 가장 중요할 수 있어요. 바로 문서화와 보관입니다.”
| 📋 시행령 제27조제2항 – 문서 보관 의무 인공지능사업자는 법 제34조제1항 각 호의 조치를 이행하고 그 근거를 문서로 5년간 보관(전자적 방법을 통한 보관을 포함한다)해야 한다. |
이서준 대표: “5년이요? 꽤 길군요.”
김민수 법무팀장: “네. 그리고 단순히 보관만 하는 게 아니라, 감독기관의 검증 요청에 대응할 수 있어야 해요.”
박지현 AI팀장: “어떤 문서를 남겨야 하나요?”
보관 대상 문서 목록
- 위험관리방안 수립 문서 (위험 식별, 평가, 완화 결과 포함)
- 설명 방안 수립 문서 (설명 방식, 범위, 한계 기술)
- 이용자 보호 방안 문서 (이의제기 절차, 구제 방안 등)
- 관리·감독 담당자 지정 문서 및 이력
- 위 조치들의 이행 증빙 자료 (회의록, 테스트 결과, 교육 이력 등)
| ⚠️ 실무 포인트: 문서 접근성 관리 안전성 확보 가이드라인은 다음을 권고합니다: • 문서 접근 권한은 업무 필요성에 따라 관리 • 내부 감사, 외부 검증, 감독기관 요청 등에 대응할 수 있도록 체계 유지 • 갱신 시 변경 사유와 시점을 함께 기록하여 이력 관리 |
3. 홈페이지 게시 의무: 무엇을 공개해야 하나
박지현 AI팀장: “아까 담당자 연락처를 홈페이지에 게시해야 한다고 하셨잖아요. 그것만 공개하면 되나요?”
김민수 법무팀장: “아니요. 시행령 제27조제1항을 보면, 네 가지를 공개해야 해요.”
| 📋 시행령 제27조제1항 – 홈페이지 게시 항목 인공지능사업자는 다음 각 호의 내용을 사무소·사업장 또는 인터넷 홈페이지 등에 게시해야 한다. 다만, 영업비밀에 해당하는 사항은 제외할 수 있다. 1. 위험관리정책 및 조직체계 등 위험관리방안의 주요 내용 2. 설명 방안의 주요 내용 3. 이용자 보호 방안 4. 해당 고영향 AI를 관리·감독하는 사람의 성명 및 연락처 |
이서준 대표: “영업비밀은 제외할 수 있다고요?”
김민수 법무팀장: “네. 부정경쟁방지법상 영업비밀에 해당하면 공개하지 않아도 됩니다. 예를 들어 모델의 구체적인 알고리즘이나 학습데이터의 상세 내역 같은 건 공개 대상이 아니에요.”
박지현 AI팀장: “그래도 ‘주요 내용’은 공개해야 하니까, 어느 정도 수준에서 정리해야 할지 고민이네요.”
4. 홈페이지 게시 예시 (요약)
| 항목 | 게시 예시 |
| 위험관리방안 | “당사는 AI 채용 서비스의 위험관리를 위해 분기별 편향성 테스트를 실시하고, AI윤리위원회를 통해 위험을 평가합니다.” |
| 설명 방안 | “AI 평가 결과에 대해 주요 평가 기준과 영향 요소를 설명하는 리포트를 제공합니다.” |
| 이용자 보호 | “평가 결과에 대한 이의제기는 ai-support@techplus.kr로 접수 가능합니다.” |
| 관리·감독 담당자 | “AI서비스총괄: 박지현 (02-xxxx-xxxx, jihyun.park@techplus.kr)” |
5. 이용사업자의 책임 경감 조건
박지현 AI팀장: “잠깐요. 저희가 채용 AI 모델을 직접 개발하는 게 아니라, 다른 회사의 모델을 가져다 쓴다면요?”
김민수 법무팀장: “좋은 질문이에요. 3화에서도 잠깐 다뤘지만, 시행령 제27조제3항에 책임 경감 조항이 있어요.”
| 📋 시행령 제27조제3항 – 이용사업자 책임 경감 법 제34조제1항제1호부터 제3호까지의 조치를 모두 또는 일부 이행한 인공지능사업자로부터 인공지능시스템을 제공받은 인공지능이용사업자가 해당 인공지능시스템의 본래 목적이나 용도를 현저하게 변경하는 등 중대한 기능 변경을 하지 않은 경우에는 법 제34조제1항제1호부터 제3호까지의 조치를 모두 또는 일부 이행한 것으로 본다. |
이서준 대표: “개발사가 위험관리, 설명, 이용자 보호 방안을 이미 갖추고 있고, 우리가 크게 수정하지 않으면 그 의무를 이행한 걸로 본다?”
김민수 법무팀장: “맞습니다. 다만 두 가지 조건이 있어요.”
책임 경감의 두 가지 조건
- 개발사업자가 위험관리·설명·이용자보호 방안을 이행했을 것
- 이용사업자가 본래 목적을 현저하게 변경하지 않았을 것
박지현 AI팀장: “그러면 개발사가 이런 조치를 했는지 어떻게 확인하죠?”
김민수 법무팀장: “시행령 제27조제4항이 그 답입니다. 이용사업자는 개발사업자에게 필요한 자료 제공을 요청할 수 있고, 개발사업자는 협력하도록 노력해야 해요.”
이서준 대표: “그래서 3화에서 말씀하신 공급업체 실사가 중요한 거군요.”
김민수 법무팀장: “정확합니다. 계약 단계에서 이 부분을 확실히 해둬야 나중에 책임 경감을 주장할 수 있어요.”
| ⚠️ 주의: 제4호, 제5호는 경감 대상이 아님 책임 경감 규정은 제1호~제3호에만 적용됩니다. 제4호(사람의 관리·감독)와 제5호(문서 작성·보관)는 이용사업자도 독자적으로 이행해야 합니다. |
6. 보너스: 영향평가 노력의무
박지현 AI팀장: “제6호는 뭐예요? ‘위원회에서 심의·의결된 사항’이라고 되어 있던데.”
김민수 법무팀장: “그건 향후 AI위원회에서 추가로 결정하는 사항들이에요. 아직 구체화되지 않았으니 넘어가고, 대신 영향평가에 대해 짚어볼게요.”
| 📋 법 제35조 – 고영향 인공지능 영향평가 인공지능사업자가 고영향 인공지능을 이용한 제품 또는 서비스를 제공하는 경우 사전에 사람의 기본권에 미치는 영향을 평가하기 위하여 노력하여야 한다. |
이서준 대표: “‘노력하여야 한다’니까 의무는 아닌 거죠?”
김민수 법무팀장: “엄밀히 말하면 ‘노력의무’입니다. 하지만 두 가지 이유로 영향평가를 실시하는 게 좋아요.”
영향평가를 해야 하는 이유
- 공공기관 납품 우선권: 법 제35조제2항에 따르면, 국가기관 등이 고영향 AI 서비스를 도입할 때 영향평가를 실시한 제품을 우선 고려해야 합니다.
- 신뢰성 입증: 영향평가 결과를 공개하면 고객사에게 서비스의 신뢰성을 입증할 수 있습니다.
박지현 AI팀장: “공공기관에 납품하려면 사실상 필수라는 거네요.”
김민수 법무팀장: “그렇죠. 영향평가 가이드라인에서 구체적인 방법을 제시하고 있으니, 다음 화에서 자세히 다뤄볼게요.”
7. 테크플러스 액션 아이템
이서준 대표: “정리하면, 채용 AI 서비스를 런칭하기 전에 뭘 준비해야 하는 거죠?”
김민수 법무팀장: “정리해 드릴게요.”
| No | 책무 | 조치 사항 | 담당 |
| 1 | 위험관리방안 | 위험평가조직 구성, 위험 식별·평가·완화 절차 수립 | AI팀 + 법무팀 |
| 2 | 설명 방안 | XAI 기법 적용, 평가 리포트 양식 개발 | AI팀 |
| 3 | 이용자 보호 | 이의제기 절차 마련, 약관 및 동의서 개정 | 법무팀 + CS팀 |
| 4 | 사람의 관리·감독 | AI서비스 총괄 담당자 지정, 연락처 게시 | 경영지원팀 |
| 5 | 문서 작성·보관 | 문서관리 체계 구축, 5년 보관 정책 수립 | 법무팀 + IT팀 |
| 6 | 홈페이지 게시 | 위험관리·설명·보호 방안 및 담당자 정보 게시 | 마케팅팀 |
| 7 | 영향평가 (권고) | 기본권 영향평가 실시 및 결과 문서화 | 법무팀 + 외부전문가 |
이서준 대표: “생각보다 많네요. 하지만 미리 준비하면 문제없겠죠.”
김민수 법무팀장: “맞습니다. 서비스 런칭 전에 체계를 잡아두면, 나중에 문제가 생겼을 때 훨씬 수월하게 대응할 수 있어요.”
본 가이드는 「인공지능 발전과 신뢰 기반 조성 등에 관한 기본법」 및 동법 시행령, 관계 가이드라인을 바탕으로 작성된 실무 참고자료이고 법적 효력을 갖지 않습니다. 구체적인 법률 자문이 필요한 경우 이정봉 변호사와 상담하시기 바랍니다.
댓글 남기기