AIGA AI거버넌스협회
AI 거버넌스 연구소

[장도균의 AI 거버넌스 연구소 ①] AI 챗봇이 답변했지만, 법원은 사업주의 책임으로 봤다

글 · 장도균 (AI거버넌스협회) · 2026-10-30

원문: AI에이전트타임즈

— 2026년 독일 판결과 우리 AI 기본법으로 살펴본, 상담 챗봇을 붙이기 전에 확인할 다섯 가지

미용 시술 업체 홈페이지 위에 뜬 챗봇 답변 창, 금색 자격 인증 마크에 금이 가 있다

예약 받던 챗봇이 없는 자격을 지어내서 응답했다

독일 서부에 의사 두 명이 운영하는 작은 미용 시술 업체가 있다. 이 업체는 홈페이지에 챗봇을 붙여 손님 질문에 실시간으로 답하고 예약까지 받게 했는데, 손님이 원장들의 자격을 묻자 챗봇은 두 사람을 '미용의학 전문의'라고 소개했다. 독일에는 그런 전문의 자격이 없고, 두 의사가 가진 자격도 아니었다.

이 일을 알게 된 노르트라인베스트팔렌주 소비자센터가 경고를 보내자 업체는 챗봇을 껐다. 다시 그러지 않겠다는 서약서에는 서명도 하지 않았고, 사건은 법원으로 갔다. 2026년 5월 12일 함 고등법원은 소비자센터의 청구를 받아들였다(사건번호 4 UKl 3/25). 챗봇의 답변을 업체가 직접 한 광고로 보고, 손님을 오해하게 만든 광고라고 판단한 것이다.

업체가 꺼낸 항변 네 가지, 법원은 하나도 받아들이지 않았다

이 판결을 사장님들께 소개하는 이유는 업체가 법정에서 한 말이 우리가 챗봇 사고를 두고 흔히 떠올리는 말과 거의 같기 때문이다.

첫째, 챗봇에는 올바른 정보만 넣었다는 항변에 법원은 무엇을 넣었든 손님에게 나간 거짓 답변은 업체 책임이라고 봤다. 둘째, 챗봇은 업체와 따로 떨어진 제3자라는 항변도 받아들이지 않았다. 셋째, AI는 속을 들여다볼 수 없는 블랙박스라는 사정도 판단을 바꾸지 못했다. 넷째, 손님들도 AI가 틀릴 수 있다는 걸 안다는 항변에 대해서는 많은 사람이 기계의 답을 사람 말보다 더 믿는 편이라며 물리쳤다.

법원은 여기에 한 가지를 더 짚었다. 자격을 묻는 질문은 충분히 예상할 수 있었고 적은 노력으로도 막을 수 있었으니, 챗봇을 처음 내놓기 전에 막았어야 한다는 것이다. 이 사건은 연방대법원 상고가 허가되어 아직 확정되지 않았지만, 이 대목은 작은 가게가 챗봇을 붙이기 전에 무엇을 해 둬야 하는지 꽤 분명하게 알려 준다.

노트북 화면의 상담 챗봇 대화 옆에 법봉과 저울이 놓여 있다

우리나라 소비자상담센터에도 같은 상담이 들어오고 있다

우리나라에서도 비슷한 일이 이미 생기고 있다. 소비자단체 여섯 곳이 모인 '소비자 신뢰와 AI혁신포럼'이 10월 22일 발표한 분석을 보면, 올해 상반기 1372 소비자상담센터에 들어온 AI 관련 상담 2,025건 가운데 챗봇 자동 응대에 대한 불만이 553건(27.3%)이었다. 그중에는 챗봇이 단순 문의를 예약 취소 요청으로 알아듣고 예약을 취소했는데 사업자가 책임을 인정하지 않았다는 사례도 있고, 국내 AI 서비스 상담에서 피해구제가 이뤄진 비율은 23.7%에 머물렀다.

정부가 만든 챗봇에서도 문제가 나왔다. 10월 27일 보도에 따르면 고용노동부의 AI 노동법 상담 챗봇은 8월 20일부터 바뀐 도산대지급금 기준(최종 6개월, 최대 3,150만 원)을 반영하지 못하고 옛 기준으로 안내하고 있었다. 기준이 바뀌었는데 챗봇에 넣어 둔 자료가 그대로이면 챗봇은 옛 정보를 자신 있게 말하게 되고, 가게로 치면 지난 시즌 가격표나 바뀌기 전 환불 규정으로 손님에게 답하는 셈이다.

영국 지침과 우리 AI 기본법이 가리키는 방향

올해 나온 다른 나라 지침도 같은 쪽을 가리킨다. 영국 경쟁시장청(CMA)은 3월 9일 낸 지침에서 AI 에이전트가 한 일은 직원이 한 일처럼 사업자가 책임진다고 정리했고, 외부 업체에서 사 온 에이전트를 써도 마찬가지라고 밝혔다. 권고는 AI임을 알리기, 내놓기 전에 시험하기, 사람이 살펴보며 운영하기, 문제를 빨리 고치기를 포함해 여섯 가지이고, 어기면 매출의 최대 10%까지 과징금을 매길 수 있다.

10월 23일 국정감사에서도 비슷한 답이 나왔다. 정부가 12월에 내놓을 '모두의 AI'가 틀린 안내를 하면 누가 배상하느냐는 질의에, 배경훈 부총리는 여러 모델을 쓰더라도 서비스를 제공하는 사업자 주체가 있다고 답했다.

우리나라는 1월 22일 AI 기본법이 시행되면서, 생성형 AI를 쓴 서비스를 고객에게 제공하는 사업자는 AI가 응대한다는 사실을 미리 알려야 한다. 모 법무법인에서 낸 해설을 보면 남의 AI를 가져다 상담창에 붙인 경우도 여기에 들어갈 가능성이 크다. 알리지 않으면 1차 500만 원의 과태료가 붙을 수 있고 소상공인은 절반까지 줄일 수 있는데, 정부가 최소 1년 이상 계도기간을 두어 지금은 과태료를 매기지 않을 뿐 의무는 시행일부터 적용되고 있다.

AI 기본법은 AI가 틀린 말을 했을 때 누가 책임지는지까지는 정하지 않았고, 그 부분은 약관법이나 전자문서법 같은 기존 법으로 따지게 된다. 약관법 제7조는 사업자의 고의나 중대한 과실로 생긴 책임까지 빼 주는 면책 조항을 처음부터 무효로 본다. 챗봇 안내를 다룬 우리 법원 판결은 아직 없지만, 올해 국내 학술지에 실린 한 논문은 챗봇이라는 이유만으로 책임을 가볍게 볼 수 없다고 결론 냈다.

가게 주인이 점검표에 체크하고, 옆 태블릿에는 챗봇 대화와 상담원 연결 아이콘이 보인다

상담 챗봇을 붙이기 전에 확인할 다섯 가지

  1. 상담창 첫 안내에 "AI가 답변합니다" 한 줄을 넣어 두면 AI 기본법이 요구하는 사전고지를 지킬 수 있다.
  2. 자격, 효능, 가격, 환불처럼 틀리면 바로 문제가 되는 질문은 정해 둔 답만 하거나 사람에게 넘기도록 설정해 두면, 독일 법원이 말한 '미리 막을 수 있었던 일'을 막을 수 있다.
  3. 가격, 환불 규정, 영업시간이 바뀔 때마다 챗봇 자료도 같이 고쳐 두어야 챗봇이 옛 정보로 답하지 않는다.
  4. 사람에게 바로 넘어가는 버튼을 두면 손님이 가장 답답해하는 부분이 풀린다. 서울시 조사에서 온라인쇼핑 이용자들이 가장 원한 개선이 챗봇과 직원 상담을 함께 운영하는 것(40.4%)이었다.
  5. 취소, 환불, 결제처럼 되돌리기 어려운 일은 손님에게 한 번 더 확인받고 대화 기록을 남겨 두면, 다툼이 생겼을 때 무슨 일이 있었는지 보여 줄 수 있다.

'AI는 틀릴 수 있습니다'라는 안내를 붙이는 것도 좋지만, 독일 판결과 약관법을 보면 그 문구만으로 책임이 사라지지는 않는다.

챗봇도 새 직원을 들이듯이

새 직원을 뽑으면 첫날 가게 규칙을 알려 주고, 손님에게 해도 되는 말과 하면 안 되는 말을 일러주고, 한동안은 옆에서 응대하는 걸 지켜본다. 챗봇도 같은 순서로 하면 되는데, 영국 경쟁당국이 AI 에이전트를 직원처럼 본 것도 같은 이유이고 우리 AI 기본법은 그 첫 단계인 'AI가 응대한다고 알리기'를 법으로 정해 두었다.

AI 거버넌스라는 말이 거창하게 들리지만, 작은 가게에서는 챗봇에게 어디까지 맡기고 어디서부터 사람이 받을지 정해 두는 일에서 출발한다. 다음 회에는 말에 그치지 않고 예약 장부를 고치고 주문을 넣는 AI 에이전트에게 권한을 얼마나 줄지, 2026년에 실제로 일어난 사고들로 살펴보려 한다.

장도균 | AI 거버넌스 협회 협회장, 자율제작연구소(CONTENTS LAB) 대표. 『AI 미디어 커머스 트렌드 2027』, 『왕초보도 바로 할 수 있는 바이브코딩』 공저.

참고한 자료

— 장도균, AI거버넌스협회

원문: AI에이전트타임즈

← 인사이트 목록으로 상담 문의하기