⛔️ AI를 가장 위험한 업무에 먼저 붙여 보았습니다 『AI 시그널 6호』
2026.09.06
안녕하세요. 『AI 시그널』입니다.
AI는 이미 회사 안에서 회의록 정리, 보고서 초안, 고객 문의 분류를 돕고 있습니다. 하지만 계약서나 고객 발송 문서처럼 책임이 따르는 일 앞에서는 질문이 달라집니다. 과연 AI가 도출한 결과를 어디까지 믿고 맡길 수 있을까요?
AI 도입이 가속화될수록 결국 ‘신뢰’의 영역이 중요해집니다. 우리 회사의 AI를 얼마나 믿고 사용할 수 있는지에 따라 도입 범위와 속도가 달라진다는 이야기죠.
그래서 저희는 AI의 신뢰도 문제를 해결하기 위해 가장 조심스러운 영역 중 하나인 ‘법률 업무’를 들여다보기로 했습니다. 쉬운 일부터 자동화하는 게 보통의 순서라면, 왜 저희는 상대적으로 리스크가 높은 법률 업무를 먼저 시도하고 있을까요? 이 질문을 따라가보면, AI를 ‘믿고 쓰게 만드는’ 회사의 조건을 찾을 수 있습니다. 오늘 뉴스레터에서는 AI를 믿고 쓰기 위한 신뢰성 조건을 짚어보겠습니다.
AI를 넓히는 순간, 신뢰가 병목이 됩니다
AI는 회의록 정리나 초안 작성처럼 결과를 쉽게 고칠 수 있는 업무에서는 빠르게 확산됩니다. 틀려도 바로 수정할 수 있고, 최종 판단은 사람이 하면 되기 때문입니다.
하지만 계약서 검토, 고객에게 발송하는 문서, 숫자가 들어간 보고서처럼 결과에 책임이 따르는 업무에서는 상황이 달라집니다. AI가 답을 내놓아도 담당자는 그대로 사용하지 못하고 다시 검토합니다. 답이 맞는지 판단할 근거가 충분히 보이지 않기 때문입니다.
AI가 틀릴 수 있다는 사실 자체가 문제는 아닙니다. 사람도 틀리고 기존 시스템도 틀립니다. 문제는 AI의 답이 무엇을 근거로 나왔는지, 잘못됐다면 어느 과정에서 문제가 생겼는지 확인하기 어렵다는 데 있습니다. 이를 알 수 없으면 담당자는 매번 처음부터 다시 검토해야 하고, AI를 쓰고도 업무는 빨라지지 않습니다.
결국 중요한 업무로 AI를 넓히려면 단순히 더 정확한 답을 만드는 것만으로는 부족합니다. 답을 믿을 근거가 보여야 하고, 틀렸을 때는 원인을 추적할 수 있어야 합니다.
이런 검증 구조가 없으면 AI는 중요한 업무로 확장되기 어렵습니다. 도입되더라도 담당자의 재검토에 계속 의존하게 되고, 결국 끝까지 믿고 사용하는 도구가 되지 못합니다.
그래서 저희는 AI 도입의 기준을 가장 조심스러운 업무에서 찾아보기로 했습니다. 잘못된 결과가 미치는 영향은 크지만, 판단을 검증할 근거는 분명히 남아 있는 업무. 저희가 법률 AI를 먼저 들여다본 이유가 여기에 있습니다.
법률 업무에서 AI 신뢰의 조건을 검증했습니다
법률 업무에는 판단을 확인할 단서가 비교적 명확하게 남습니다. 계약서 조항과 법령, 판례를 따라가면 AI가 무엇을 근거로 답했는지 확인할 수 있습니다. 저희는 이 특성을 활용해 AI의 답을 믿을 수 있는지 가장 엄격한 조건에서 검증해봤습니다.
예를 들어 AI가 계약서를 검토한 뒤 이렇게 답했다고 해보겠습니다.
“해지 조건은 일반적인 수준입니다.”
얼핏 보면 자연스러운 답입니다. 하지만 실제 업무에서는 이런 모호한 표현으로 판단기준을 세우기 어렵습니다. 해지 조건이 일반적이라는 말은 양쪽 모두 중도 해지가 가능하다는 뜻일까요, 아니면 상대방에게만 유리한 조건이라는 뜻일까요?
담당자는 결국 계약서를 다시 엽니다. AI의 답이 틀렸다는 사실을 발견해서가 아니라, 맞다고 판단할 근거가 보이지 않기 때문입니다. 이때 AI는 검토 시간을 줄여주는 대신 확인해야 할 답을 하나 더 만든 셈이 됩니다.
법률 AI의 목표는 답변을 더 그럴듯하게 만드는 데 있지 않았습니다. AI의 판단이 어떤 조항과 법령·판례에 근거했는지 확인하고, 잘못됐다면 오류가 생긴 단계를 추적할 수 있어야 했습니다.
그래서 법률 AI를 설계할 때 두 가지 신뢰성 조건을 먼저 세웠습니다.
AI 신뢰성 조건(1) 답보다 먼저, 통과 기준을 정합니다
위험한 업무에서 AI를 믿고 쓰려면 먼저 정해야 할 것이 있습니다.
AI가 어떤 답을 내야 하는지보다, 어떤 조건을 통과한 답만 믿을 것인지입니다.
계약서 요약이 매끄럽고 조항 설명이 자연스러우면 얼핏 좋아 보입니다. 판단까지 단정적이면 더 그렇고요. 하지만 법률 업무에서는 그 매끄러움이 오히려 위험할 수 있습니다. 근거가 약한 답도 그럴듯하게 보이면, 바쁜 담당자는 잠깐 안심하고 넘어갈 수 있기 때문입니다.
그래서 법률 AI를 설계할 때 가장 먼저 ‘통과 기준’부터 잡았습니다. 답이 나가기 전, 계약서 조항과 법령·판례로 어디까지 확인해야 하는지 정해둔 겁니다.
- 계약서의 어느 조항을 보고 한 말인가
- 관련 법령이나 판례로 확인되는 판단인가
- 근거가 부족할 때는 부족하다고 멈추는가
- 실무자가 그대로 써도 될 만큼 표현이 안전한가
이 기준은 현재 KT와 함께 진행하는 법률 AI 실증에도 적용하고 있습니다. 중소벤처기업부와 서울경제진흥원이 주관하는 ‘모두의 챌린지 AX’에 선정돼, KT의 AI 모델을 기반으로 이 검증 구조가 실제 법률 업무에서도 작동하는지 시험하고 있는데요.
👉 넥스트젠에이아이, ‘모두의 챌린지 AX’ 최종 선정… KT와 법률 AI 개발
실증에서는 답을 만드는 역할과 검증하는 역할을 나눴습니다. 한쪽이 계약서와 질문을 바탕으로 판단을 내리면, 다른 쪽은 계약서 조항과 법령·판례를 대조해 그 판단이 기준을 통과했는지 확인합니다.
이 검증 단계를 통과하지 못한 답은 밖으로 내보내지 않습니다. 관련 조항을 찾지 못하거나 법령과 판례로 확인할 수 없다면, 그럴듯한 결론을 이어가는 대신 멈춥니다. 담당자의 사후 검토에 기대기보다 시스템 안에서 근거 없는 답을 먼저 걸러내기 위한 구조입니다.
답이 없는 질문이나 전제가 잘못된 질문도 섞어, 근거가 부족할 때 AI가 멈추는지 확인했습니다. 반대로 답할 수 있는 질문까지 불필요하게 거부하지 않는지도 함께 살폈습니다.
여기서 중요한 것은 역할을 나눴다는 사실보다, 답을 만들기 전에 ‘어떤 답만 통과시킬 것인지’를 먼저 정했다는 점입니다. 중요한 업무일수록 AI에게 좋은 답을 요구하는 것만으로는 부족합니다. 믿을 수 있는 답의 기준을 먼저 세우고, 그 기준을 통과한 결과만 사용해야 합니다.
AI 신뢰성 조건(2) 틀렸을 때 원인을 남겨야 합니다
두 번째 조건은 실패를 다루는 방식입니다.
AI가 틀릴 수 있다는 사실보다 더 위험한 건, 왜 틀렸는지 알 수 없는 상태입니다.
틀린 답이 나왔을 때 원인을 모르면 개선도 막힙니다. 쟁점을 잘못 잡은 건지, 조항을 엉뚱하게 가져온 건지 알 수가 없습니다. 근거는 맞는데 해석이 무리였을 수도, 마지막 표현만 너무 단정적이었을 수도 있고요. 결국 모든 문제가 "AI가 별로다"로 뭉개집니다.
그래서 저희는 성능을 재기 전에, 실패 원인을 구분해 남길 수 있는 평가 구조부터 설계했습니다. 기존에 공개된 파이프라인을 같은 환경에서 돌려 기준선을 확인하고, 결과를 보기 전에 채점 기준을 정했습니다. 결과가 나온 뒤 기준을 바꾸면 무엇이 실제로 좋아졌는지 알 수 없기 때문입니다.
평가도 하나의 점수로 뭉뚱그리지 않았습니다. 쟁점 파악, 관련 조항 검색, 답과 근거의 연결, 최종 표현을 각각 나눠 확인했습니다. 그래야 점수가 낮을 때 어느 단계에서 문제가 생겼는지 찾을 수 있습니다.
이렇게 나누면 실패가 곧 개선할 지점이 됩니다. 쟁점을 잘못 잡았다면 질문을 이해하는 방식을 고치고, 검색 단계에서 틀렸다면 근거를 찾는 방식을 바꿉니다. 근거는 맞지만 결론이 위험하다면 해석과 표현을 손봐야 하고요.
AI가 어느 단계에서 왜 틀렸는지까지 남아야, 한 번의 실패를 다음 개선으로 연결할 수 있습니다.
법률에서 검증한 신뢰 기준은 다른 업무에도 적용됩니다
법률 AI 실험을 통해 확인한 신뢰의 조건은 두 가지였습니다. 답이 나가기 전에 근거를 통과했는지 확인하고, 틀렸을 때는 어느 단계에서 문제가 생겼는지 추적할 수 있어야 한다는 것입니다.
이 두 조건은 법률 업무에만 해당하지 않습니다. 법률에서 계약서와 판례가 판단의 근거가 되듯, 재무에서는 원장이, 고객 응대에서는 사내 규정이, HR에서는 취업규칙과 평가 기준이 그 역할을 할 수 있습니다. 업무는 달라도 AI의 답을 검증할 기준은 필요합니다.
중요한 업무에 AI를 도입하려면 도구 연결보다 '운영 원칙'이 먼저입니다.
어떤 답을 믿을지, 언제 멈출지, 실패를 어떻게 기록하고 개선할지를 정해야 합니다.
법률 에이전트는 이 운영 방식을 가장 엄격한 환경에서 검증하는 테스트베드입니다. NextgenAI는 여기서 확인한 기준을 바탕으로, 기업이 AI를 중요한 업무까지 믿고 확장할 수 있는 운영 체계를 함께 설계합니다.
리더가 오늘 확인해볼 것
거창한 진단이 아니어도 바로 볼 수 있습니다. 팀에 그대로 물어보셔도 됩니다.
이 질문에 답이 잘 안 나온다면 문제는 AI가 없다는 게 아닐 수 있습니다. AI는 붙였는데 검증할 자리가 비어 있는 거죠.
그래서, 지금 우리 회사는 어느 수준일까요
중요한 업무로 AI를 넓히려면, 우리 회사가 지금 어떤 기준으로 일하는지부터 봐야 합니다.
도구는 이미 샀는데 실무에서 안 쓰이고 있는지, 일부 팀만 잘 쓰고 있는지, 경영진이 예산과 우선순위를 잡고 있는지에 따라 다음 순서가 달라집니다.
👇 NextgenAI는 AX 벤치마크 진단을 열어뒀습니다.
여덟 개 문항에 답하면 도입 단계, 도구 스택, 실무 적용, 예산 확보, 경영진 주도 다섯 개 축으로 나눠 동종업계 평균과 비교해 드립니다.
이런 뉴스레터를 매주 받아보세요
구독하면 다음 호부터 메일로 보내드립니다.